预印本：细化的 AI 评分量表未必能诊断不同的学习问题

Xi Zhao 及其同事使用 50 道计算机科学题目的 3,041 份答案，考察结构化 AI 评估的诊断质量。三种商业模型给出评分和评语，研究者将其与教师评估比较。AI 评分维度之间的相关系数为 0.82–0.99。按作者的分类方法，模型评语识别出概念误解的比例为 4.8%–7.4%，教师评语的总体比例为 15.0%，在最低分答案中升至 31.5%。这份于 10 月 7 日提交的预印本属于观察性分析，并非证明学习效果改善的课堂干预研究。

研究来自单一机构环境，考察的是特定一代模型。评语分类依靠语言模式匹配，语气分析使用情感词典，两者都可能遗漏细微含义。解读百分比时应考虑这些局限。研究支持分别考察诊断质量与总分一致性，但不能据此认定所有 AI 评分系统都有相同行为。

对 AIEDHK 读者而言，可以考虑在编程课中试行一次小规模评估审阅。教师选取两份总分接近、推理却不同的答案：一份可能漏写必要解释，另一份则自信地使用了错误规则。审阅者检查生成的反馈能否指出差别、引用相应证据，并提出有针对性的下一步。这是本站提出的教学建议，并非论文已经验证的程序。

例如，让学生解释一项软件测试为什么通过。不完整的答案可能只描述测试过程，没有交代局限；错误的答案则可能声称一次测试通过就证明整个程序正确。两者都可能使用恰当的术语。有效的评语应帮助学生区分细节遗漏与推论错误。要求学生构造反例，可让教师获得比若干相近评分条更有意义的证据。

本地试点可保留原始答案、生成评语、教师诊断和学生修改稿。教师在发出反馈前审阅分歧，并记录模型无法确定的诊断。随后安排不使用助手的任务，检查学生能否独立运用上述区分。这样的设计把评估联系到可观察的教学决策，同时控制教师的工作量。

双语课程还可对照不同教学语言中的同类例子，让学生用较熟悉的语言解释有争议的评语。审阅重点应是解释的含义，而不应因表达流利或使用熟悉术语，就认定学生已经理解概念。

平台设计也可让不确定性更清楚：每项评分链接到支撑它的段落或行为，疑似概念误解允许师生共同纠正。只有新增维度确实提供有用区分时，才值得加入。目标是帮助学生判断需要重新思考什么、为什么；具体流程能否做到这一点，仍需实际学习者和使用场景中的证据。