Makalah demo konferensi: AICoFe menghubungkan penilaian teman sebaya, penilaian diri, dan umpan balik AI yang ditinjau guru

AICoFe menggabungkan penilaian rekan, diri sendiri, dan guru dengan umpan balik yang didukung AI pada presentasi lisan. Versi penulis terbuka dari makalah demonstrasi EC-TEL menggambarkan penerapan pada tahun 2024-2025 dengan 46 mahasiswa sarjana dan 19 mahasiswa master di Universidad Autónoma de Madrid. Guru dapat memilih, mengedit, atau menggabungkan komentar yang dihasilkan sebelum mengirimkannya. Peringkat kepuasan adalah positif; 31 peserta menyelesaikan kuesioner kegunaan, menghasilkan skor rata-rata Skala Kegunaan Sistem sebesar 79,91. Pengamatan ini menyangkut pengalaman siswa terhadap sistem, tanpa menetapkan peningkatan kausal dalam keterampilan presentasi.

Alur kerja menghadirkan beberapa perspektif ke dalam satu proses peninjauan. Peserta didik dapat meninjau kembali rekaman dan membandingkan penilaian rubrik mereka sendiri dengan umpan balik yang mereka terima. Penulis juga menjelaskan cara menjaga agar draf dan versi yang dikirim dapat dibedakan. Jumlah penyebaran dan respons kuesioner yang kecil membatasi kesimpulan yang dapat diambil. Keterlibatan guru adalah bagian dari situasi yang dilaporkan, sehingga temuan tidak boleh dibaca sebagai bukti umpan balik yang otonom tanpa mediasi tersebut.

Bagi AIEDHK, pertimbangkan usulan kegiatan seminar yang berpusat pada satu presentasi singkat. Sebelum melihat feedback, presenter akan mengidentifikasi momen yang tampak jelas dan momen yang akan diubah. Seorang rekan akan secara mandiri memilih bukti menggunakan kriteria yang sama. Guru kemudian dapat memeriksa saran yang dihasilkan bersamaan dengan observasi tersebut. Tujuannya adalah diskusi tentang komentar mana yang secara akurat menggambarkan presentasi dan tindakan apa yang dapat diambil oleh pelajar secara realistis.

Misalnya, pelajar yang menjelaskan penggunaan air perkotaan mungkin menerima saran yang tidak jelas untuk meningkatkan kejelasan. Diskusi yang lebih bermanfaat akan menemukan transisi di mana audiens kehilangan hubungan antara diagram dan klaim. Presenter dapat melatih penjelasan yang telah direvisi dan meminta pendengar baru untuk menjelaskan hubungan tersebut. Ini adalah proposal kelas editorial. Makalah demonstrasi tidak menguji aktivitas spesifik tersebut atau menetapkan efektivitas contoh.

Sebuah institusi yang mencoba alur kerja serupa dapat menjaga skala percontohan tetap kecil dan menentukan audiens rekaman serta periode retensinya terlebih dahulu. Peninjau harus mengetahui komentar mana yang datang dari rekan-rekannya, mana yang dihasilkan, dan mana yang diubah oleh guru. Peserta didik juga harus mempunyai cara untuk menjelaskan mengapa suatu komentar tidak akurat atau tidak sesuai. Keputusan-keputusan praktis ini membuat proses umpan balik lebih mudah untuk diperiksa dan memberikan tujuan pendidikan pada perbedaan pendapat daripada memperlakukannya sebagai kesalahan antarmuka.

Peserta dapat membandingkan penjelasan mereka yang pertama dan yang telah direvisi mengenai satu kriteria, mengidentifikasi apa yang berubah dalam penilaian mereka setelah menonton rekaman tersebut. Membuat penjelasan singkat akan membantu guru membedakan tanggapan yang dipertimbangkan terhadap umpan balik dari revisi yang dibuat hanya untuk memenuhi skor yang terlihat.

Evaluasi yang lebih kuat dapat memeriksa presentasi berikutnya, termasuk tugas independen dan kriteria yang ditentukan dengan jelas. Hal ini dapat mencatat waktu peninjauan guru, perubahan yang dilakukan pada komentar yang dihasilkan, dan apakah siswa dapat membenarkan pilihan revisi mereka. Kepuasan dan kegunaan akan tetap bermanfaat seiring dengan langkah-langkah ini. AICoFe menawarkan desain sistem yang konkrit untuk mengoordinasikan perspektif umpan balik; memutuskan apakah koordinasi tersebut meningkatkan pembelajaran memerlukan bukti tambahan tentang apa yang kemudian dipahami dan dapat dilakukan oleh peserta didik.