
Статья конференции: FeedType исследует изменение фокуса обратной связи ИИ при доработке текста
Norah Almousa, Shayan Peyghambari Oskoui, Raquel Coelho, Gayle Rogers, Xiang Lorraine Li, Diane Litman
Proceedings of the Artificial Intelligence in Measurement and Education Conference (AIME-Con): Full Papers
Резюме на 500 слов

Norah Almousa и коллеги опубликовали FeedType в материалах AIME-Con, проходившей 5–7 октября 2026 года. В набор вошли 1 966 абзацев из трех университетских курсов письма. Обратная связь преподавателей сравнивалась с ответами шести языковых моделей при трех стратегиях формулирования запросов. Семь категорий описывают фокус обратной связи; автоматические аннотации сверяли с человеческими суждениями. Модели охватывали большинство категорий, но ни одна полностью не воспроизвела адаптацию преподавателей. Анализ стадий доработки текста и уровня учебных результатов ограничивался курсом письма composition. Работа изучает обратную связь, а не проверяет влияние вмешательства на обучение.
Его вклад — это способ спросить, на чем фокусируется комментарий и меняется ли этот фокус соответствующим образом. Система может неоднократно запрашивать уточнения, даже если другой ответ был бы более полезным. Сопоставление категорий с распределением учителей само по себе не доказывает, что каждый комментарий точен и полезен. Курсы эталонных тестов, выбор аннотаций и протестированные версии моделей также ограничивают то, насколько далеко результаты могут выходить за пределы заявленных настроек.
Что касается AIEDHK, рассмотрите предлагаемый семинар по написанию текстов, построенный на двух черновиках одного и того же абзаца. Прежде чем читать отзывы, учитель определял наиболее важный следующий шаг на этом этапе задания. Затем учащиеся могли сравнить предложения, найти текстовые доказательства, к которым обращается каждое из них, и объяснить, какой вопрос заслуживает внимания в первую очередь. Это редакционное предложение по обучению, а не деятельность, оцениваемая в ходе сравнительного исследования.
Например, ранний проект о местной экологической проблеме может потребовать более четкого утверждения, подкрепленного соответствующим источником. В более позднем проекте уже может быть указана эта связь, и вместо этого потребуется точное объяснение квалификации. Запрос на более подробную информацию в обоих случаях приведет к упущению различных приоритетов пересмотра. Учащиеся могли объяснить, почему явно полезный комментарий отвлекает от текущей задачи, давая учителю подтверждение своего суждения о письме.
Местный пилот мог сохранить черновик, предложенный комментарий, выбранное действие учащегося и краткое обоснование этого выбора. Учителя могли бы проверить небольшую выборку соглашений и разногласий, вместо того чтобы предполагать, что принятие большего количества предложений означает лучшее обучение. Рецензенты также должны изучить комментарии, которые идентифицируют правильную категорию, но предлагают неподходящие изменения. Целью будет понять, как обратная связь поддерживает решение в конкретный момент процесса написания.
На уроках двуязычного письма можно было бы проверить, сохраняет ли комментарий задуманное автором значение на разных языках. Учащиеся могут защитить исправление, используя цель задания, в то время как учитель размышляет, не отвлекает ли языковая полировка от неразрешенного аргумента или неподтвержденного утверждения.
Для продуктовых команд исследование предлагает оценочный вопрос, который можно конкретизировать перед развертыванием: соответствует ли обратная связь заданию, текущему проекту и продемонстрированным трудностям учащегося? Этот вопрос может служить основой для ограниченного набора проверок, не превращая предыдущее поведение учителя в несомненный стандарт. Более позднее письмо, выполненное с меньшей помощью, может предоставить дополнительные доказательства обучения. FeedType предоставляет полезный исследовательский ресурс для изучения адаптивной обратной связи; решение об усыновлении в классе или учреждении по-прежнему нуждается в доказательствах качества и последствий комментариев, которые фактически получают учащиеся.


