Prepublicación: Las rúbricas detalladas de IA no siempre distinguen distintos problemas de aprendizaje

Xi Zhao y sus colegas examinaron la calidad diagnóstica de la evaluación estructurada mediante IA, utilizando 3041 respuestas a 50 preguntas de informática. Tres modelos comerciales generaron puntuaciones y comentarios, los cuales se compararon con las evaluaciones realizadas por los docentes. Las dimensiones de las puntuaciones mostraron una fuerte correlación entre sí, con valores de entre 0,82 y 0,99. Según la clasificación de los autores, los comentarios de los modelos identificaron conceptos erróneos en un porcentaje de entre el 4,8 % y el 7,4 % de los casos, frente al 15,0 % registrado en las evaluaciones de los docentes. Esta cifra ascendió al 31,5 % en el caso de los docentes al analizar las respuestas con las puntuaciones más bajas. La prepublicación, fechada el 7 de octubre, constituye un análisis observacional y no una intervención en el aula que demuestre una mejora en el aprendizaje.

El estudio se centra en un entorno institucional específico y en una generación concreta de modelos. Sus categorías de comentarios se basan en la correspondencia de patrones lingüísticos, y su análisis del tono utiliza un léxico de sentimientos; ambos enfoques pueden pasar por alto matices importantes. Estas limitaciones deben tenerse en cuenta al interpretar los porcentajes. Los hallazgos respaldan la idea de evaluar la calidad diagnóstica de forma independiente a la concordancia de las puntuaciones agregadas, sin que ello implique que todos los sistemas de evaluación basados ​​en IA se comporten de la misma manera.

Para los lectores de AIEDHK: consideren el caso de una revisión de evaluaciones en un curso de programación. Un docente podría observar dos respuestas que obtienen puntuaciones totales similares, pero que reflejan razonamientos distintos. Por ejemplo, un estudiante podría omitir una explicación necesaria, mientras que otro podría aplicar, con total seguridad, una regla incorrecta. Quienes revisen el material podrían plantearse si la retroalimentación generada identifica dicha diferencia, cita la evidencia pertinente y propone un paso a seguir para abordarla. Esta sugerencia tiene un carácter editorial, más que tratarse de un procedimiento validado en el propio estudio.

Un ejemplo concreto podría ser la explicación de por qué una prueba de software resultó exitosa. Una respuesta incompleta podría describir la prueba, pero omitir sus limitaciones. Una respuesta errónea podría afirmar que una única prueba exitosa demuestra que el programa completo es correcto. Ambas pueden emplear un vocabulario técnico adecuado. Un comentario útil debería ayudar al estudiante a distinguir entre la falta de detalles y una inferencia incorrecta. Pedir al estudiante que formule un contraejemplo proporcionaría al docente un elemento más informativo para evaluar que, simplemente, observar varios indicadores de una rúbrica que resultan muy similares entre sí.

Una pequeña prueba piloto a nivel local podría conservar la respuesta original, el comentario generado, el diagnóstico del docente y la revisión realizada por el estudiante. Los docentes podrían analizar cualquier discrepancia antes de entregar la retroalimentación y registrar aquellos casos en los que el diagnóstico del modelo resultó incierto. Una tarea posterior, realizada sin la ayuda del asistente, permitiría comprobar si el estudiante es capaz de aplicar esta distinción de forma autónoma. Un diseño de este tipo vincularía la evaluación con una decisión pedagógica observable, manteniendo al mismo tiempo una carga de trabajo manejable.

En un curso bilingüe, se podrían analizar ejemplos equivalentes en cada uno de los idiomas de instrucción y pedir a los estudiantes que expliquen un comentario controvertido en su lengua preferida. Quienes realicen la revisión deberían centrarse en el significado de la explicación, en lugar de asumir que una redacción fluida o el uso de un término técnico conocido demuestran una comprensión conceptual real.

Los equipos responsables de la plataforma también podrían hacer visible la incertidumbre en la interfaz. Una puntuación debería estar vinculada al fragmento o a la acción que la sustenta, y cualquier posible idea errónea debería poder ser corregida tanto por el docente como por el estudiante. Solo deberían añadirse nuevas dimensiones si estas aportan distinciones realmente útiles. El objetivo práctico es ofrecer una retroalimentación que ayude al estudiante a decidir qué aspectos reconsiderar y por qué. Determinar si un flujo de trabajo concreto logra este propósito requiere obtener evidencias de los propios estudiantes y del entorno en el que se aplicará.