Prépublication : Des grilles de notation détaillées par IA ne distinguent pas nécessairement les difficultés d’apprentissage

Xi Zhao et ses collègues ont examiné la qualité diagnostique d’évaluations structurées générées par l’IA, en s’appuyant sur 3 041 réponses à 50 questions d’informatique. Trois modèles commerciaux ont produit des scores et des commentaires, parallèlement aux évaluations réalisées par des enseignants. Les dimensions des scores présentaient de fortes corrélations entre elles, allant de 0,82 à 0,99. Selon la classification établie par les auteurs, les commentaires générés par les modèles ont permis d’identifier des idées fausses dans 4,8 à 7,4 % des cas, contre 15,0 % pour les enseignants (toutes réponses confondues). Ce chiffre atteint 31,5 % pour les enseignants lorsqu’il s’agit des réponses ayant obtenu les scores les plus faibles. Cette prépublication, datée du 7 octobre, constitue une analyse observationnelle et non une intervention en classe démontrant une amélioration de l’apprentissage.

L’étude porte sur un contexte institutionnel spécifique et sur une génération donnée de modèles. Les catégories de commentaires reposent sur la reconnaissance de motifs linguistiques, tandis que l’analyse du ton utilise un lexique de sentiments ; ces approches peuvent omettre certaines nuances. Il convient de tenir compte de ces limites lors de l’interprétation des pourcentages. Ces résultats soulignent l’intérêt d’évaluer la qualité diagnostique indépendamment de la concordance des scores globaux, sans pour autant affirmer que tous les systèmes d’évaluation par IA fonctionnent de la même manière.

Pour les lecteurs d’AIEDHK, prenons l’exemple d’une évaluation dans un cours de programmation. Un enseignant pourrait observer deux réponses ayant obtenu des scores totaux similaires, mais reflétant des raisonnements différents. Un apprenant pourrait omettre une explication nécessaire, tandis qu’un autre pourrait appliquer, avec assurance, une règle erronée. Les évaluateurs pourraient examiner si le commentaire généré identifie cet écart, cite les éléments probants pertinents et propose une étape suivante permettant d’y remédier. Il s’agit ici d’une suggestion d’ordre éditorial, plutôt que d’une procédure ayant fait l’objet d’un test dans l’étude.

Un exemple concret consisterait à expliquer pourquoi un test logiciel a été réussi. Une réponse incomplète pourrait décrire le test tout en omettant ses limites. Une réponse erronée pourrait, quant à elle, affirmer à tort qu’un test réussi prouve que le programme entier est correct. Dans les deux cas, le vocabulaire technique employé peut être tout à fait approprié. Un commentaire utile devrait aider l’apprenant à faire la distinction entre un détail manquant et une déduction erronée. Demander à l’élève de formuler un contre-exemple fournirait à l’enseignant un élément plus riche en informations à analyser que de simples indicateurs issus d’une grille d’évaluation.

Une expérimentation locale à petite échelle pourrait conserver la réponse initiale, le commentaire généré, le diagnostic de l’enseignant et la révision effectuée par l’apprenant. Les enseignants pourraient examiner les éventuels désaccords avant la transmission du commentaire et noter les situations où le diagnostic du modèle s’est avéré incertain. Une tâche ultérieure, réalisée sans l’assistance de l’outil, permettrait de vérifier si l’apprenant est capable d’appliquer cette distinction de manière autonome. Une telle approche permettrait de lier l’évaluation à une décision pédagogique concrète, tout en maintenant une charge de travail raisonnable.

Dans le cadre d’un cours bilingue, il serait possible d’examiner des exemples équivalents dans chacune des langues d’enseignement et d’inviter les apprenants à expliquer un commentaire sujet à débat dans la langue de leur choix. Les évaluateurs se pencheraient alors sur le sens de l’explication fournie, plutôt que de supposer qu’une formulation fluide ou l’usage d’un terme technique familier témoignent d’une réelle compréhension conceptuelle.

Les équipes en charge de la plateforme pourraient également rendre visible le degré d’incertitude au sein de l’interface. Un score devrait être lié au passage ou à l’action qui le justifie, et toute idée fausse supposée devrait pouvoir être corrigée, tant par l’enseignant que par l’élève. L’ajout de dimensions supplémentaires ne se justifie que si elles apportent des distinctions réellement utiles. L’objectif pratique est de proposer des commentaires qui aident l’apprenant à déterminer quels éléments reconsidérer, et pour quelles raisons. La capacité d’un processus donné à atteindre cet objectif doit être étayée par des données recueillies auprès des apprenants et dans le contexte spécifique où il sera utilisé.