Informe: Los estados deben focalizarse en la validez de las calificaciones cuando usan calificación automatizada para evaluar el dominio oral del idioma inglés

USA - español

• USA - English

PRINCETON, Nueva Jersey, 1 de junio de 2017 /PRNewswire-HISPANIC PR WIRE/ -- Un nuevo informe de Educational Testing Service (ETS), insta a estados, distritos y escuelas a que se focalicen en la validez de la calificación al pasar a calificación automatizada del dominio del inglés oral de las crecientes cantidades de estudiantes de inglés, desde el jardín y hasta la secundaria (K-12). Los autores ofrecen recomendaciones para que los abordajes más efectivos den como resultado calificaciones significativas.

El informe –Approaches to Automated Scoring of Speaking for K-12 English Language Proficiency Assessments (Abordajes a la calificación automatizada del habla para evaluaciones del dominio del idioma inglés en alumnos K-12)– es una guía para los estados y distritos que están considerando el uso de calificación automatizada de habilidades orales para alumnos K-12. Evalúa las principales consideraciones sobre diseño (componentes de sistemas de vanguardia para calificación automatizada de las habilidades orales, tareas del habla a las que han sido aplicados) e implementación (formas de evaluación, informe sobre la evaluación y costos) y hace recomendaciones para ayudar a los estados a determinar el camino a seguir. El informe es el quinto de una serie relacionada con las evaluaciones de dominio del idioma inglés (English language proficiency, ELP) y los estudiantes de inglés, realizado por Investigación y Desarrollo de ETS.

"Hay una cantidad de consideraciones que los estados deben equilibrar", dice Keelan Evanini, el autor principal. "Deben pensar en temas de mediciones clave como validez, confiabilidad y ecuanimidad, y, por supuesto, hay consideraciones prácticas relacionadas con la usabilidad y la eficiencia. Por sobre todas las cosas, es esencial que la evaluación se base en la representación significativa de las habilidades orales del estudiante".

Los autores escriben que el habla sigue siendo excepcionalmente desafiante para la calificación, pero puede brindar información esencial sobre el dominio lingüístico de los estudiantes. Los sistemas de calificación pueden aliviar la carga de la calificación, pero se debe tener cuidado de implementar un sistema de calificación automatizado que sea apropiado para las habilidades que se están evaluando.

Los sistemas de calificación automatizada del habla más efectivos brindan una cobertura amplia del concepto (constructo) del habla, incluso la pronunciación, la fluidez, la entonación, el vocabulario y la gramática. Según la naturaleza de la tarea del habla, ellos pueden realizar calificaciones equivalentes a las de los calificadores humanos, y donde la variación entre las calificaciones automatizadas y humanas no son superiores que entre dos calificadores humanos. Los autores nos recuerdan que los sistemas automatizados de evaluación todavía no están completamente maduros para la mayoría de los tipos de tareas que genera el habla espontánea, porque su habilidad para evaluar el contenido de la respuesta hablada todavía está en desarrollo.

"La necesidad de evaluar el discurso espontáneo de manera efectiva es importante porque los actuales estándares de ELP, que están escritos para ajustarse a los estándares de preparación para la carrera y la facultad (Career and College Readiness, CCR), a menudo enfatizan aspectos del dominio lingüístico requerido para expresar capacidades de un orden superior que involucran pensamiento crítico", explica el coautor Kenji Hakuta. "Estos aspectos del dominio oral se evalúan mejor mediante tareas que generan el discurso espontáneo y se corresponden con el lenguaje objetivo de la clase. Por lo tanto, es crucial encontrar un equilibrio entre estas limitaciones cuando se diseñan tareas a ser incluidas en la evaluación de un ELP que emplea evaluación automatizada".

Una decisión clave que los estados deben tomar cuando consideran el uso de sistemas de evaluación automatizada es si se usarán como un único mecanismo de calificación para una evaluación del habla (totalmente automatizada) o junto con calificación humana (abordaje híbrido). Los autores recomiendan un abordaje híbrido para la mayoría de las evaluaciones para asegurar que se abarca todo el concepto.

"En los abordajes híbridos, los beneficios prácticos de la calificación automatizada –con respecto a ahorros de costos y tiempos de entrega de las calificaciones– no son tan impresionantes como lo son en el modelo totalmente automatizado", dice el coautor Maurice Cogan Hauck, "pero la tecnología de calificación automatizada sí reduce considerablemente la cantidad de tarea humana requerida. Incluso algunos estudios han demostrado que la combinación de calificaciones humanas y automatizadas pueden dar como resultado calificaciones más confiables que con el solo uso de calificaciones humanas o automatizadas. Un abordaje híbrido también ayuda a asegurar que las calificaciones del habla son válidas para el objetivo que se busca".

Además de brindar esquemas para desarrollar un sistema de calificación automatizado del habla, los autores brindan recomendaciones sobre pruebas piloto, tamaño de la muestra y longitud del desarrollo antes de la implementación. Con el uso de discurso automatizado vienen los requisitos para plataformas para realizar las evaluaciones comunes (computadoras o tablets) y procesos estandarizados para capturar grabaciones digitales de alta calidad de muestras del habla de los estudiantes. El informe también evalúa los costos iniciales y los recurrentes para la implementación.

Recomendaciones para los estados que están considerando la evaluación automatizada

Dados los considerables avances en tecnología de evaluación automatizada, así como la gran y creciente cantidad de estudiantes K-12 que deben ser evaluados, es este un momento oportuno para considerar el potencial de uso de calificación automatizada para evaluar el habla de estudiantes K-12 de idioma inglés. Los autores hacen las siguientes recomendaciones:

• la validez de la evaluación debe ser la primera consideración y la más importante
• la calificación automatizada debe ser considerada durante la fase de diseño de pruebas para que la prueba incluya tareas del habla que generan evidencia del conocimiento objetivo, habilidades y aptitudes de un modo que sea compatible con capacidades de evaluación automatizadas de vanguardia.
• para cubrir la integridad del concepto para determinados estándares de ELP, un abordaje híbrido –en el que las respuestas a algunas tareas son evaluadas por calificadores humanos y las respuestas a otras tareas son evaluadas por un sistema automatizado– parece ser óptimo.
• los estados deberían considerar no solo los beneficios más obvios, como ahorros de costos y un aumento en el tiempo de entrega, sino también los beneficios menos aparentes, por ejemplo, calificaciones más confiables con el abordaje híbrido, la posibilidad de brindar información detallada sobre el dominio del habla de un estudiante en tiempo real para que maestros y alumnos lo usen como información formativa, y brindar beneficios adicionales para aprendizaje y monitoreo continuo del avance del estudiante.

"A medida que continúan los avances en los campos de reconocimiento automatizado de la voz y calificación automatizada del habla, se estima que continuará aumentando la capacidad de los sistemas automatizados de calificación del habla de brindar un análisis válido del dominio del habla del idioma inglés de alumnos K-12, en una amplia variedad de tipos de tareas. Por lo tanto, los potenciales usuarios de la tecnología deberían rutinariamente reevaluar en qué casos es apropiado el uso de la evaluación automatizada del habla para dar una determinada evaluación", finaliza el informe.

En la biblioteca en línea Wiley http://onlinelibrary.wiley.com/doi/10.1002/ets2.12147/abstract se pueden descargar copias del informe sin costo alguno.

Descargue otros artículos de la serie:

1. Creating a Next-Generation System of K–12 English Learner (EL) Language Proficiency Assessments (Creando un sistema de próxima generación de evaluaciones del dominio lingüístico de estudiantes de inglés K-12)
2. Conceptualizing Accessibility for English Language Proficiency Assessments (Conceptualizando la accesibilidad para evaluaciones de dominio del idioma inglés)
3. Next-Generation Summative English Language Proficiency Assessments for English Learners: Priorities for Policy and Research (Evaluaciones sumativas de próxima generación del dominio del idioma inglés para estudiantes de inglés: prioridades para políticas e investigación)
4. Key Issues and Opportunities in the Initial Identification and Classification of English Learners (Cuestiones y oportunidades clave en la identificación inicial y clasificación de estudiantes de inglés)

Acerca de ETS  
En ETS, impulsamos la calidad y la equidad en la educación de las personas de todo el mundo creando evaluaciones basadas en investigaciones rigurosas. ETS brinda servicio a particulares, instituciones educativas y agencias de gobierno brindando soluciones personalizadas para certificación de maestros, aprendizaje del idioma inglés, y educación primaria, secundaria y superior, y mediante investigación educativa, análisis y estudios de políticas. Creada como una organización sin fines de lucro en 1947, ETS desarrolla, imparte y califica más de 50 millones de exámenes por año —incluso los exámenes TOEFL® y TOEIC®, los exámenes GRE® y las evaluaciones The Praxis Series^®— en más de 180 países, en más de 9,000 lugares en todo el mundo. www.ets.org            

Logo: http://mma.prnewswire.com/media/175902/educational_testing_service_logo.jpg

FUENTE Educational Testing Service

Related Links

http://www.ets.org