学会デモ論文：AICoFeが相互評価・自己評価と教師が確認したAIフィードバックをつなぐ

AICoFe は、仲間、自己、教師の評価と、口頭発表に対する AI サポートのフィードバックを組み合わせたものです。 EC-TELのデモ論文の著者公開版では、マドリッド自治大学の学部生 46 名と修士課程 19 名による 2024 年から 2025 年の導入について説明されています。 教師は、生成されたコメントを送信する前に、選択、編集、または結合できます。 満足度評価は肯定的でした。 31 人の参加者がユーザビリティ アンケートに回答し、システム ユーザビリティ スケールの平均スコアは 79.91 でした。 これらの観察は、学生のシステム体験に関するものであり、プレゼンテーション能力の向上という因果的効果を示すものではありません。

ワークフローでは、複数の視点が 1 つのレビュー プロセスに組み込まれます。 学習者は記録を再確認し、自分のルーブリック判断と受け取ったフィードバックを比較できます。 著者らは、下書きと送信されたバージョンを区別できるようにすることについても説明しています。 導入とアンケートの回答数が少ないため、導き出せる結論は限られています。 教師の関与は報告された設定の一部であるため、その調停なしに調査結果を自主的なフィードバックの証拠として読み取るべきではありません。

AIEDHK の場合は、1 つの短いプレゼンテーションを中心としたセミナー活動の提案を検討してください。 プレゼンターはフィードバックを見る前に、明確に見える瞬間と変化する瞬間を特定します。 ピアは、同じ基準を使用して独立して証拠を選択します。 教師は、生成された提案をそれらの観察とともに検査することができます。 目的は、どのコメントがプレゼンテーションを正確に説明しているのか、そして学習者が現実的にどのような行動を取ることができるのかについて議論することです。

たとえば、都市の水利用について説明する学習者は、明確さを高めるためのあいまいな提案を受ける可能性があります。 より有益な議論は、聴衆が図と主張の間のつながりを失った移行を特定することになるでしょう。 発表者は、修正された説明をリハーサルし、新しい聞き手にその関係について説明するよう求めることができます。 編集教室のご提案です。 このデモペーパーは、その特定のアクティビティをテストしたり、例の有効性を確立したりするものではありません。

同様のワークフローを試みている教育機関は、パイロットを小規模に保ち、録画の視聴者と保存期間を事前に定義することができます。 査読者は、どのコメントが同僚から来たのか、どのコメントが生成されたのか、どのコメントを教師が変更したのかを知っておく必要があります。 学習者は、コメントが不正確または不適切である理由を説明する方法も必要です。 これらの実践的な決定により、フィードバック プロセスの検査が容易になり、意見の相違をインターフェイスのエラーとして扱うのではなく、教育的な目的が与えられます。

参加者は、1 つの基準についての最初の説明と改訂された説明を比較し、録画を見た後に判断の何が変わったのかを特定できました。 この説明を簡潔にしておくことは、教師がフィードバックに対する熟慮された対応と、目に見えるスコアを満たすためだけに行われた改訂とを区別するのに役立ちます。

より強力な評価により、独立したタスクや明確に指定された基準など、次のプレゼンテーションを検討することができます。 教師のレビュー時間、生成されたコメントに加えられた変更、および生徒が選択した修正を正当化できるかどうかを記録できます。 満足度と使いやすさは、これらの対策と並行して引き続き役立ちます。 AICoFe は、フィードバックの観点を調整するための具体的なシステム設計を提供します。 その調整によって学習が改善されるかどうかを判断するには、学習者がその後何を理解し、何ができるようになるかについての追加の証拠が必要です。