Препринт: Подробные критерии оценивания ИИ не обязательно различают разные учебные трудности

Си Чжао (Xi Zhao) с коллегами исследовали диагностическую точность структурированного оценивания с помощью ИИ, проанализировав 3041 ответ на 50 вопросов по компьютерным наукам. Три коммерческие модели выставили оценки и подготовили комментарии, которые затем сравнили с оценками преподавателей. Показатели по разным критериям оказались сильно взаимосвязаны (коэффициенты корреляции от 0,82 до 0,99). Согласно классификации авторов, комментарии моделей выявляли ошибочные представления в 4,8–7,4% случаев, тогда как у преподавателей этот показатель составил 15,0% (а для ответов с самыми низкими баллами — 31,5%). Данный препринт от 7 октября представляет собой наблюдательное исследование, а не педагогический эксперимент, демонстрирующий улучшение результатов обучения.

Исследование проводилось в рамках одного учебного заведения с использованием моделей определенного поколения. Категории комментариев основаны на сопоставлении языковых шаблонов, а анализ тональности — на словаре эмоционально окрашенной лексики; оба подхода могут упускать из виду важные нюансы. Эти ограничения следует учитывать при интерпретации приведенных процентных показателей. Результаты работы подчеркивают необходимость раздельного анализа диагностической точности и общего совпадения оценок, при этом не утверждая, что все системы оценивания на базе ИИ работают одинаково.

Читателям AIEDHK предлагается рассмотреть пример анализа оценивания в курсе программирования. Преподаватель может сравнить два ответа, получивших одинаковые баллы, но отражающих совершенно разную логику рассуждений: один учащийся мог пропустить обязательное пояснение, в то время как другой — уверенно применить неверное правило. Рецензенты могут оценить, указывает ли сгенерированный отзыв на конкретное расхождение, приводит ли соответствующие доказательства и предлагает ли дальнейший шаг для его устранения. По сути, это скорее редакционная рекомендация, чем процедура, прошедшая проверку в рамках исследования.

Конкретным примером может служить объяснение того, почему программный тест оказался успешным. Неполный ответ может описывать сам тест, но упускать из виду его ограничения. Ошибочный ответ может содержать утверждение, что один успешный тест доказывает корректность всей программы. В обоих случаях может использоваться корректная техническая терминология. Полезный комментарий должен помочь учащемуся отличить отсутствие важных деталей от неверного логического вывода. Если попросить студента привести контрпример, преподаватель получит гораздо более информативный материал для анализа, чем просто набор оценок по критериям (рубрикам).

В рамках небольшого пилотного проекта можно сохранять исходный ответ учащегося, сгенерированный комментарий, оценку преподавателя и последующую доработку ответа учащимся. Преподаватели могут обсуждать спорные моменты перед отправкой обратной связи, а также фиксировать случаи, когда модель выражала неуверенность в своей оценке. В ходе последующего задания, выполняемого уже без помощи ассистента, можно проверить, способен ли учащийся самостоятельно применять это разграничение. Такой подход связывает оценивание с конкретными образовательными решениями, сохраняя при этом приемлемый уровень рабочей нагрузки.

В двуязычных курсах можно анализировать аналогичные примеры на каждом из языков обучения и предлагать учащимся объяснить спорный комментарий на том языке, который им удобнее. При этом рецензентам следует оценивать суть объяснения, а не полагаться на то, что грамотная формулировка или использование знакомых технических терминов автоматически свидетельствуют о глубоком понимании концепции.

Разработчики платформ могут сделать степень уверенности системы видимой в интерфейсе. Оценка должна быть привязана к конкретному фрагменту или действию, на основании которых она была выставлена, а выявленное (или предполагаемое) неверное представление должно оставаться доступным для корректировки как со стороны преподавателя, так и со стороны учащегося. Дополнительные критерии оценки стоит вводить только тогда, когда они действительно помогают проводить значимые различия. Практическая цель состоит в том, чтобы обратная связь помогала учащемуся понять, что именно стоит переосмыслить и почему. Чтобы определить, достигает ли конкретный рабочий процесс этой цели, необходимы данные, полученные от самих учащихся в реальных условиях использования.