
会议论文:FeedType 检验 AI 写作反馈能否随修改过程调整重点
Norah Almousa, Shayan Peyghambari Oskoui, Raquel Coelho, Gayle Rogers, Xiang Lorraine Li, Diane Litman
Proceedings of the Artificial Intelligence in Measurement and Education Conference (AIME-Con): Full Papers
500 字摘要

Norah Almousa 及其同事在 10 月 5–7 日举行的 AIME-Con 会议论文集中发表 FeedType。基准使用三门大学写作课程的 1,966 个段落,在三种提示策略下比较教师反馈和六种语言模型,并以七类内容描述反馈重点。自动标注经过人工判断核对。模型虽然覆盖了大多数类别,却没有完全再现教师的适应性模式。修改阶段与表现水平的分析仅限写作课程中的 composition 课程。论文考察反馈行为,没有检验干预对学习的影响。
这项研究提供了一种提问方式:评语针对什么问题,其重点是否会适当改变?即使另一种回应更有用,系统也可能反复要求学生补充细节。即使模型的类别分布与教师接近,也不能单凭这一点证明每条评语准确或有帮助。课程、标注选择和受测模型版本,同样限制了结论适用的范围。
对 AIEDHK 读者而言,可考虑围绕同一段落的两版草稿开展写作工作坊。阅读生成反馈前,教师先判断当前作业阶段最重要的下一步。学生随后比较建议,找出每条建议针对的文字证据,并解释为什么某个问题应优先修改。这是本站提出的教学设计,并非基准研究已经评估的活动。
例如,关于本地环境议题的初稿可能需要更清楚的主张和适当来源;后续稿件也许已解决这项问题,转而需要精确说明一项限制条件。两次都要求“增加细节”,就可能遗漏不同阶段的修改重点。学生可解释为什么一条表面有用的建议会分散当前任务的注意力,让教师看到其写作判断。
本地试点可保留草稿、建议、学生选择的行动及简短理由。教师抽查有分歧和无分歧的案例,而不应假定接受更多建议就代表学习更好。审阅也应包含类别判断正确、但修改方案不适当的评语。目标是了解反馈如何支持写作过程中特定时刻的决策。
双语写作课还可检查评语是否在跨语言表达时保留作者原意。学生可依据作业目的解释修改,教师则考察语言润色是否掩盖了尚未解决的论证或缺乏依据的主张。
产品团队可在发布前明确一个评估问题:反馈是否回应了作业、当前草稿和学生表现出的困难?这能指导范围明确的审阅样本,又不必把教师过去的做法当作不可质疑的标准。之后减少辅助的独立写作可提供补充学习证据。FeedType 是检查反馈适应性的研究资源;课堂或机构采用系统,仍需了解学生实际收到的评语质量及其后果。


