학술대회 시연 논문: AICoFe가 동료 평가·자기 평가와 교사가 검토한 AI 피드백을 연결하다

AICoFe는 동료, 자기 평가, 교사 평가를 구두 프레젠테이션에 대한 AI 지원 피드백과 결합합니다. EC-TEL 데모 문서의 공개 저자 버전에서는 Universidad Autónoma de Madrid의 학부생 46명과 석사 학생 19명이 참여하는 2024~2025년 배포에 대해 설명합니다. 교사는 생성된 댓글을 보내기 전에 선택, 편집 또는 결합할 수 있습니다. 만족도는 긍정적이었습니다. 31명의 참가자가 사용성 질문지를 작성하여 평균 시스템 사용성 척도 점수 79.91점을 얻었습니다. 이러한 관찰은 프레젠테이션 기술의 인과적 향상을 입증하지 못한 채 학생들의 시스템 경험과 관련이 있습니다.

워크플로우는 여러 관점을 하나의 검토 프로세스로 가져옵니다. 학습자는 녹음 내용을 다시 확인하고 자신이 받은 피드백과 기준표 판단을 비교할 수 있습니다. 저자는 또한 초안과 전송된 버전을 구별 가능하게 유지하는 방법에 대해 설명합니다. 소규모 배포 및 설문지 응답 수로 인해 도출할 수 있는 결론이 제한됩니다. 교사의 참여는 보고된 설정의 일부이므로 중재 없이 결과를 자율적 피드백의 증거로 읽어서는 안 됩니다.

AIEDHK의 경우 하나의 짧은 프레젠테이션을 중심으로 제안된 세미나 활동을 고려해보세요. 피드백을 보기 전에 발표자는 명확해 보이는 순간과 변화할 순간을 식별합니다. 동료는 동일한 기준을 사용하여 독립적으로 증거를 선택합니다. 그런 다음 교사는 관찰 내용과 함께 생성된 제안을 검사할 수 있습니다. 어떤 코멘트가 프레젠테이션을 정확하게 설명하는지, 학습자가 현실적으로 어떤 행동을 취할 수 있는지에 대한 논의가 목표가 될 것입니다.

예를 들어, 도시의 물 사용을 설명하는 학습자는 명확성을 높이기 위해 모호한 제안을 받을 수도 있습니다. 보다 유용한 토론은 청중이 다이어그램과 주장 사이의 연결을 잃은 전환을 찾는 것입니다. 발표자는 수정된 설명을 연습하고 새로운 청취자에게 관계를 설명하도록 요청할 수 있습니다. 편집실 제안서입니다. 데모 문서는 특정 활동을 테스트하거나 예제의 효율성을 확립하지 않습니다.

유사한 워크플로를 시도하는 기관에서는 파일럿 규모를 작게 유지하고 녹음 대상과 보존 기간을 미리 정의할 수 있습니다. 검토자는 동료로부터 나온 의견, 생성된 의견, 교사가 변경한 의견을 알아야 합니다. 또한 학습자는 의견이 부정확하거나 부적합한 이유를 설명할 수 있어야 합니다. 이러한 실질적인 결정을 통해 피드백 프로세스를 더 쉽게 검사할 수 있으며 불일치를 인터페이스 오류로 처리하는 대신 교육 목적으로 사용할 수 있습니다.

참가자들은 하나의 기준에 대한 첫 번째 설명과 수정된 설명을 비교하여 녹화를 본 후 판단에 어떤 변화가 있었는지 확인할 수 있었습니다. 해당 설명을 간략하게 유지하면 교사가 피드백에 대한 신중한 반응과 눈에 보이는 점수를 만족시키기 위해 만들어진 수정을 구별하는 데 도움이 될 것입니다.

더 강력한 평가를 통해 독립적인 작업과 명확하게 지정된 기준을 포함하여 다음 프레젠테이션을 검토할 수 있습니다. 교사의 검토 시간, 생성된 댓글의 변경 사항, 학생들이 선택한 수정 사항을 정당화할 수 있는지 여부를 기록할 수 있습니다. 만족감과 유용성은 이러한 조치와 함께 여전히 유용할 것입니다. AICoFe는 피드백 관점을 조정하기 위한 구체적인 시스템 설계를 제공합니다. 조정이 학습을 향상하는지 여부를 결정하려면 학습자가 나중에 무엇을 이해하고 무엇을 할 수 있는지에 대한 추가적인 증거가 필요합니다.