
會議論文:FeedType 檢驗 AI 寫作反饋能否隨修改過程調整重點
Norah Almousa, Shayan Peyghambari Oskoui, Raquel Coelho, Gayle Rogers, Xiang Lorraine Li, Diane Litman
Proceedings of the Artificial Intelligence in Measurement and Education Conference (AIME-Con): Full Papers
500 字摘要

Norah Almousa 及其同事在 10 月 5–7 日舉行的 AIME-Con 會議論文集中發表 FeedType。基準使用三門大學寫作課程的 1,966 個段落,在三種提示策略下比較教師反饋和六種語言模型,並以七類內容描述反饋重點。自動標註經過人工判斷核對。模型雖然覆蓋了大多數類別,卻沒有完全再現教師的適應性模式。修改階段與表現水平的分析僅限寫作課程中的 composition 課程。論文考察反饋行為,沒有檢驗干預對學習的影響。
這項研究提供了一種提問方式:評語針對什麼問題,其重點是否會適當改變?即使另一種回應更有用,系統也可能反覆要求學生補充細節。即使模型的類別分佈與教師接近,也不能單憑這一點證明每條評語準確或有幫助。課程、標註選擇和受測模型版本,同樣限制了結論適用的範圍。
對 AIEDHK 讀者而言,可考慮圍繞同一段落的兩版草稿開展寫作工作坊。閲讀生成反饋前,教師先判斷當前作業階段最重要的下一步。學生隨後比較建議,找出每條建議針對的文字證據,並解釋為什麼某個問題應優先修改。這是本站提出的教學設計,並非基準研究已經評估的活動。
例如,關於本地環境議題的初稿可能需要更清楚的主張和適當來源;後續稿件也許已解決這項問題,轉而需要精確説明一項限制條件。兩次都要求“增加細節”,就可能遺漏不同階段的修改重點。學生可解釋為什麼一條表面有用的建議會分散當前任務的注意力,讓教師看到其寫作判斷。
本地試點可保留草稿、建議、學生選擇的行動及簡短理由。教師抽查有分歧和無分歧的案例,而不應假定接受更多建議就代表學習更好。審閲也應包含類別判斷正確、但修改方案不適當的評語。目標是瞭解反饋如何支持寫作過程中特定時刻的決策。
雙語寫作課還可檢查評語是否在跨語言表達時保留作者原意。學生可依據作業目的解釋修改,教師則考察語言潤色是否掩蓋了尚未解決的論證或缺乏依據的主張。
產品團隊可在發佈前明確一個評估問題:反饋是否回應了作業、當前草稿和學生表現出的困難?這能指導範圍明確的審閲樣本,又不必把教師過去的做法當作不可質疑的標準。之後減少輔助的獨立寫作可提供補充學習證據。FeedType 是檢查反饋適應性的研究資源;課堂或機構採用系統,仍需瞭解學生實際收到的評語質量及其後果。


