プレプリント：詳細なAI採点基準が異なる学習上の問題を診断できるとは限らない

Xi Zhao氏らは、コンピュータサイエンスの50問に対する3,041件の解答を用いて、構造化されたAI評価の診断品質を調査した。 3種類の商用モデルがスコアとコメントを生成し、それらが講師による評価と比較された。 スコア項目間には0.82から0.99という非常に強い相関が見られた。 著者らの分類によると、モデルのコメントが誤概念を特定できた割合は4.8〜7.4％であったのに対し、講師の場合は全体で15.0％であった。 特にスコアが低い解答群に限ると、講師が誤概念を特定できた割合は31.5％にまで上昇した。 10月7日に公開されたこのプレプリントは観察的な分析であり、学習の改善を実証するような授業介入研究ではない。

本研究は、特定の教育機関における事例であり、特定の世代のモデルを対象としている。 コメントの分類には言語的なパターンマッチングが用いられ、トーン（調子）の分析には感情辞書が使われているが、どちらの手法もニュアンスを見落とす可能性がある。 これらの限界は、提示された割合を解釈する際に考慮すべき点である。 本研究の結果は、すべてのAI採点システムが同様に機能すると仮定するのではなく、総合スコアの一致度とは別に、診断品質を個別に検討することの重要性を示唆している。

AIEDHKの読者の皆さんは、プログラミングコースにおける評価の見直しについて考えてみてほしい。 例えば、合計スコアは似ていても、その背後にある推論プロセスが異なる2つの解答があったとする。 一方の学習者は必要な説明を書き忘れているかもしれないし、もう一方の学習者は誤ったルールを確信を持って適用しているかもしれない。 レビュー担当者は、生成されたフィードバックがその「差異」を特定できているか、関連する根拠を提示しているか、そしてその差異に対処するための次のステップを提案できているかを確認するだろう。 この活動は、論文内で検証された手順というよりは、編集上の提案に近いものである。

具体的な例として、ソフトウェアテストがなぜ合格したのかを説明する場面が挙げられる。 不完全な回答であれば、テストの内容は説明していても、その限界については触れていないかもしれない。 誤った回答であれば、一度のテストの成功をもって、プログラム全体が正しいと主張してしまうかもしれない。 どちらの回答にも、適切な専門用語が含まれている可能性がある。 有益なコメントとは、学習者が「情報の欠落」と「根拠のない推論」を区別できるように助けるものであるべきだ。 学生に反例を考えさせることは、ルーブリックの項目をいくつか照らし合わせるよりも、教師にとって検討の価値がある有益な情報をもたらすはずだ。

小規模なパイロット運用において、元の回答、生成されたコメント、教師による診断、そして学習者による修正内容を記録しておくことができる。 教師はフィードバックを学習者に提示する前に、AIの診断と自身の見解が一致しているかを確認し、AIの診断が不確実であった事例を記録しておくとよいだろう。 その後、AIアシスタントを使わずに別の課題に取り組ませることで、学習者がその「区別」を自力で適用できるかどうかを検証できる。 このような設計にすれば、評価を具体的な教育上の意思決定へと結びつけつつ、教師の作業負荷も管理可能な範囲に抑えることが可能になる。 ​​

バイリンガル（二言語）のコースであれば、それぞれの言語で同様の事例を検討し、学習者が納得のいかないコメントについて、自身の使い慣れた言語で説明できるようにするとよい。 レビュー担当者は、流暢な言い回しや使い慣れた専門用語があるからといって、それが概念的な理解を示していると即断するのではなく、学習者が提示した説明そのものの意味を精査すべきである。

プラットフォーム開発チームは、AIの判断における「不確実性」をインターフェース上で可視化することもできる。 スコアは、その根拠となった箇所や行動と紐付けられるべきであり、誤解の疑いがある箇所については、教師と学生の双方が修正できるようにしておくべきだ。 評価の項目（次元）は、それが有益な区別をもたらす場合にのみ追加されるべきである。 実用上の目的は、学習者が「何を、なぜ再考すべきか」を判断する助けとなるフィードバックを提供することにある。 特定のワークフローがその目的を達成できているかどうかは、実際にそれを使用する学習者や環境からの証拠に基づいて判断する必要がある。