預印本：細化的 AI 評分量表未必能診斷不同的學習問題

Xi Zhao 及其同事使用 50 道計算機科學題目的 3,041 份答案，考察結構化 AI 評估的診斷質量。三種商業模型給出評分和評語，研究者將其與教師評估比較。AI 評分維度之間的相關係數為 0.82–0.99。按作者的分類方法，模型評語識別出概念誤解的比例為 4.8%–7.4%，教師評語的總體比例為 15.0%，在最低分答案中升至 31.5%。這份於 10 月 7 日提交的預印本屬於觀察性分析，並非證明學習效果改善的課堂干預研究。

研究來自單一機構環境，考察的是特定一代模型。評語分類依靠語言模式匹配，語氣分析使用情感詞典，兩者都可能遺漏細微含義。解讀百分比時應考慮這些侷限。研究支持分別考察診斷質量與總分一致性，但不能據此認定所有 AI 評分系統都有相同行為。

對 AIEDHK 讀者而言，可以考慮在編程課中試行一次小規模評估審閲。教師選取兩份總分接近、推理卻不同的答案：一份可能漏寫必要解釋，另一份則自信地使用了錯誤規則。審閲者檢查生成的反饋能否指出差別、引用相應證據，並提出有針對性的下一步。這是本站提出的教學建議，並非論文已經驗證的程序。

例如，讓學生解釋一項軟件測試為什麼通過。不完整的答案可能只描述測試過程，沒有交代侷限；錯誤的答案則可能聲稱一次測試通過就證明整個程序正確。兩者都可能使用恰當的術語。有效的評語應幫助學生區分細節遺漏與推論錯誤。要求學生構造反例，可讓教師獲得比若干相近評分條更有意義的證據。

本地試點可保留原始答案、生成評語、教師診斷和學生修改稿。教師在發出反饋前審閲分歧，並記錄模型無法確定的診斷。隨後安排不使用助手的任務，檢查學生能否獨立運用上述區分。這樣的設計把評估聯繫到可觀察的教學決策，同時控制教師的工作量。

雙語課程還可對照不同教學語言中的同類例子，讓學生用較熟悉的語言解釋有爭議的評語。審閲重點應是解釋的含義，而不應因表達流利或使用熟悉術語，就認定學生已經理解概念。

平台設計也可讓不確定性更清楚：每項評分鏈接到支撐它的段落或行為，疑似概念誤解允許師生共同糾正。只有新增維度確實提供有用區分時，才值得加入。目標是幫助學生判斷需要重新思考什麼、為什麼；具體流程能否做到這一點，仍需實際學習者和使用場景中的證據。