프리프린트: 세분화된 AI 채점 기준이 서로 다른 학습 문제를 반드시 진단하는 것은 아니다

Xi Zhao 연구팀은 컴퓨터 과학 문제 50개에 대한 답안 3,041개로 구조화된 AI 평가의 진단적 품질을 조사했다. 세 상용 모델의 점수와 평가 의견을 교사의 평가와 비교했다. 세부 점수 항목 사이의 상관계수는 0.82~0.99였다. 연구진의 분류에 따르면, 학생 답안의 오개념을 지적한 평가 의견의 비율은 모델에서 4.8~7.4%, 교사에게서는 전체적으로 15.0%였다. 가장 낮은 점수를 받은 답안에 한정하면 교사의 비율은 31.5%였다. 10월 7일 제출된 이 프리프린트는 관찰 분석이며, 수업 개입으로 학습이 개선되었음을 입증한 연구가 아니다.

이 연구는 특정 교육 기관과 특정 세대의 AI 모델들을 대상으로 진행되었다. AI 모델의 의견 분류 방식은 언어적 패턴 매칭에 의존하며, 어조 분석에는 감성 사전(sentiment lexicon)이 사용되는데, 이러한 방식들은 미묘한 뉘앙스를 놓칠 수 있다. 이러한 한계점들은 연구 결과의 수치를 해석할 때 고려해야 할 요소이다. 이번 연구 결과는 모든 AI 채점기가 동일하게 작동한다고 단정할 수는 없지만, '종합 점수의 일치 여부'와는 별개로 '진단적 품질'을 따로 평가해 볼 필요가 있음을 시사한다.

AIEDHK 독자라면, 프로그래밍 과정에서 이루어지는 평가 검토 사례를 생각해 보자. 교사는 총점은 비슷하지만 서로 다른 사고 과정을 보여주는 두 개의 답안을 선택해 볼 수 있다. 한 학습자는 필요한 설명을 누락했을 수 있고, 다른 학습자는 잘못된 규칙을 확신을 가지고 적용했을 수도 있다. 검토자들은 생성된 피드백이 그러한 차이를 정확히 짚어내는지, 관련 근거를 제시하는지, 그리고 그 차이를 해결하기 위한 다음 단계를 제안하는지 살펴볼 것입니다. 이는 논문에서 검증된 절차라기보다는 편집상의 제안에 가깝습니다.

구체적인 예로, 소프트웨어 테스트가 왜 통과했는지 설명하는 상황을 들 수 있습니다. 불완전한 답변은 테스트에 대해 설명하더라도 그 한계점은 언급하지 않을 수 있습니다. 잘못된 답변은 단 한 번의 성공적인 테스트만으로 프로그램 전체가 올바르다고 주장할 수도 있습니다. 두 경우 모두 적절한 기술 용어를 포함하고 있을 수 있습니다. 유용한 피드백이라면 학습자가 '누락된 세부 사항'과 '타당하지 않은 추론'을 구분할 수 있도록 도와야 합니다. 학생에게 반례를 찾아보게 한다면, 교사는 단순히 평가 기준표(루브릭)상의 여러 항목을 확인하는 것보다 훨씬 더 의미 있는 정보를 얻을 수 있을 것입니다.

소규모 시범 운영을 통해 원래의 답변, 생성된 피드백, 교사의 진단, 그리고 학습자의 수정 내용을 모두 기록해 볼 수 있습니다. 교사는 피드백을 제공하기 전에 의견이 일치하지 않는 부분을 검토하고, 모델의 진단이 불확실했던 사례를 기록해 둘 수 있습니다. 이후 보조 도구 없이 수행하는 과제를 통해, 학습자가 이러한 차이를 스스로 구분하여 적용할 수 있는지 확인해 볼 수 있습니다. 이러한 설계는 평가를 실제 교육적 의사결정과 연결하면서도, 교사의 업무 부담은 적절한 수준으로 유지할 수 있게 해줍니다.

이중 언어 교육 과정에서는 각 언어로 된 동일한 사례를 검토하고, 학습자가 논란이 되는 피드백에 대해 자신이 선호하는 언어로 설명하도록 할 수 있습니다. 이때 검토자는 단순히 유창한 표현이나 익숙한 기술 용어가 사용되었다고 해서 이를 개념적 이해가 완벽하다는 증거로 간주하는 대신, 학습자가 제시한 설명의 의미를 면밀히 살펴봐야 합니다.

플랫폼 개발팀은 인터페이스상에서 '불확실성'을 시각적으로 나타낼 수도 있습니다. 점수는 그 근거가 되는 본문 내용이나 활동과 연결되어야 하며, 잘못된 개념(오개념)으로 의심되는 부분은 교사와 학생 모두가 수정할 수 있도록 열어두어야 합니다. 새로운 평가 항목은 그것이 유의미한 구분을 제공할 때만 추가해야 합니다. 실질적인 목표는 학습자가 무엇을, 왜 다시 고려해야 할지 스스로 판단할 수 있도록 돕는 피드백을 제공하는 것입니다. 특정 작업 방식이 이러한 목표를 달성하는지는 실제 학습자와 해당 교육 환경에서 얻은 증거를 통해 확인해야 합니다.