Preprint: Detaillierte KI-Bewertungsraster unterscheiden Lernprobleme nicht unbedingt zuverlässig

Xi Zhao und Kollegen untersuchten die diagnostische Qualität strukturierter KI-Bewertungen anhand von 3.041 Antworten auf 50 Informatikaufgaben. Drei kommerzielle Modelle erstellten – parallel zu den Bewertungen durch Lehrende – Punktzahlen und Kommentare. Die Bewertungsdimensionen korrelierten stark miteinander (Werte zwischen 0,82 und 0,99). Nach der Klassifizierung durch die Autoren identifizierten die KI-Modelle in 4,8 bis 7,4 Prozent der Fälle Fehlvorstellungen, während dies bei den Lehrenden in insgesamt 15,0 Prozent der Fälle der Fall war. Bei den Antworten mit den niedrigsten Punktzahlen stieg dieser Wert bei den Lehrenden sogar auf 31,5 Prozent. Bei dem Preprint vom 7. Oktober handelt es sich um eine Beobachtungsstudie, nicht um eine pädagogische Intervention, die einen tatsächlichen Lernerfolg belegen würde.

Die Studie bezieht sich auf ein spezifisches institutionelles Umfeld und eine bestimmte Generation von KI-Modellen. Die Kategorien für die Kommentare basieren auf dem Abgleich sprachlicher Muster, und die Analyse des Tons nutzt ein Sentiment-Lexikon – beides kann dazu führen, dass Nuancen übersehen werden. Diese Einschränkungen sollten bei der Interpretation der Prozentwerte berücksichtigt werden. Die Ergebnisse legen nahe, die diagnostische Qualität getrennt von der Übereinstimmung der Gesamtpunktzahlen zu betrachten – wobei allerdings nicht davon ausgegangen werden kann, dass sich alle KI-Bewertungssysteme auf die gleiche Weise verhalten.

Für die Leserschaft von AIEDHK: Stellen Sie sich eine Überprüfung von Bewertungen in einem Programmierkurs vor. Eine Lehrkraft könnte zwei Antworten auswählen, die zwar eine ähnliche Gesamtpunktzahl erhalten haben, aber auf unterschiedlichen Denkprozessen beruhen. So könnte ein Lernender eine erforderliche Erklärung ausgelassen haben, während ein anderer selbstbewusst eine falsche Regel anwendet. Die Gutachter würden prüfen, ob das generierte Feedback den Unterschied aufzeigt, die relevanten Belege anführt und einen nächsten Schritt zur Behebung des Unterschieds vorschlägt. Diese Vorgehensweise ist ein redaktioneller Vorschlag und kein im Artikel getestetes Verfahren.

Ein konkretes Beispiel wäre die Erklärung, warum ein Softwaretest bestanden wurde. Eine unvollständige Antwort könnte den Test zwar beschreiben, aber seine Grenzen auslassen. Eine fehlerhafte Antwort könnte behaupten, ein erfolgreicher Test beweise die Korrektheit des gesamten Programms. Beide können angemessenes Fachvokabular enthalten. Ein hilfreicher Kommentar sollte dem Lernenden helfen, fehlende Details von einer unzutreffenden Schlussfolgerung zu unterscheiden. Die Aufforderung an den Lernenden, ein Gegenbeispiel zu erstellen, würde dem Lehrer ein aussagekräftigeres Ergebnis liefern als mehrere eng beieinanderliegende Bewertungskriterien.

In einem kleinen lokalen Pilotprojekt könnten die ursprüngliche Antwort, der generierte Kommentar, die Diagnose des Lehrers und die Überarbeitung des Lernenden gespeichert werden. Die Lehrer könnten Unstimmigkeiten vor der Feedback-Freigabe klären und Fälle dokumentieren, in denen die Diagnose des Modells unsicher war. Eine spätere, ohne Unterstützung durchgeführte Aufgabe könnte überprüfen, ob der Lernende die Unterscheidung selbstständig anwenden kann. Ein solches Design würde die Evaluation mit einer beobachtbaren pädagogischen Entscheidung verknüpfen und gleichzeitig die Arbeitsbelastung überschaubar halten.

Ein zweisprachiger Kurs könnte gleichwertige Beispiele in jeder Unterrichtssprache besprechen und die Lernenden einladen, eine strittige Aussage in ihrer bevorzugten Sprache zu erläutern. Die Prüfer würden die Bedeutung der Erklärung untersuchen, anstatt anzunehmen, dass flüssige Formulierungen oder ein bekannter Fachbegriff ein konzeptionelles Verständnis belegen.

Plattformteams könnten Unsicherheiten auch in der Benutzeroberfläche sichtbar machen. Eine Bewertung sollte mit der entsprechenden Textstelle oder Handlung verknüpft sein, und ein vermutetes Missverständnis sollte sowohl von Lehrenden als auch von Lernenden korrigiert werden können. Weitere Dimensionen sollten nur dann hinzugefügt werden, wenn sie sinnvolle Unterscheidungen ermöglichen. Das praktische Ziel ist Feedback, das den Lernenden hilft, zu entscheiden, was sie überdenken sollten und warum. Ob ein bestimmter Workflow dieses Ziel erreicht, erfordert Belege von den Lernenden und aus dem Kontext, in dem er eingesetzt wird.