Pracetak: Rubrik penilaian AI yang terperinci belum tentu mendiagnosis masalah belajar yang berbeda

Xi Zhao dan rekan-rekannya meneliti kualitas diagnostik penilaian berbasis AI yang terstruktur dengan menggunakan 3.041 jawaban untuk 50 pertanyaan ilmu komputer. Tiga model komersial menghasilkan skor dan komentar yang disandingkan dengan evaluasi dari pengajar. Dimensi skor menunjukkan korelasi yang kuat satu sama lain, dengan nilai antara 0,82 hingga 0,99. Berdasarkan klasifikasi penulis, komentar dari model berhasil mengidentifikasi miskonsepsi dalam 4,8–7,4 persen kasus, dibandingkan dengan 15,0 persen untuk pengajar secara keseluruhan. Angka untuk pengajar bahkan meningkat menjadi 31,5 persen pada jawaban dengan skor terendah. Pracetak tertanggal 7 Oktober ini merupakan analisis observasional, bukan intervensi di dalam kelas yang menunjukkan adanya peningkatan pembelajaran.

Studi ini berfokus pada satu lingkungan institusional dan generasi model tertentu. Kategori komentar dalam studi ini bergantung pada pencocokan pola linguistik, sementara analisis nada menggunakan leksikon sentimen; keduanya berpotensi melewatkan nuansa. Keterbatasan tersebut perlu diperhatikan saat menafsirkan persentase yang ada. Temuan ini mendukung perlunya meneliti kualitas diagnostik secara terpisah dari kesesuaian skor agregat, tanpa menyimpulkan bahwa setiap sistem penilaian AI berperilaku dengan cara yang sama.

Bagi pembaca AIEDHK, pertimbangkan sebuah tinjauan penilaian dalam mata kuliah pemrograman. Seorang pengajar mungkin menemukan dua jawaban yang memperoleh total skor serupa, namun mencerminkan penalaran yang berbeda. Satu pembelajar mungkin melewatkan penjelasan yang seharusnya disertakan, sementara pembelajar lain dengan percaya diri menerapkan aturan yang keliru. Para peninjau akan memeriksa apakah umpan balik yang dihasilkan mampu menunjukkan perbedaan tersebut, menyertakan bukti yang relevan, serta mengusulkan langkah selanjutnya untuk menindaklanjutinya. Aktivitas ini lebih bersifat sebagai saran editorial, bukan prosedur yang telah diuji dalam makalah tersebut.

Sebagai contoh konkret, bayangkan penjelasan mengenai alasan sebuah pengujian perangkat lunak dinyatakan berhasil. Jawaban yang tidak lengkap mungkin hanya mendeskripsikan pengujian tersebut tanpa menyebutkan keterbatasannya. Sebaliknya, jawaban yang keliru mungkin mengklaim bahwa satu pengujian yang berhasil membuktikan keseluruhan program sudah benar. Keduanya bisa saja menggunakan kosakata teknis yang tepat. Umpan balik yang bermanfaat harus membantu peserta didik membedakan antara detail yang terlewatkan dengan kesimpulan yang tidak tepat. Meminta peserta didik untuk menyusun contoh penyanggah (counterexample) akan memberikan materi yang lebih informatif bagi pengajar untuk diperiksa, dibandingkan sekadar mencocokkan poin-poin pada rubrik penilaian.

Sebuah uji coba skala kecil dapat mendokumentasikan jawaban awal, umpan balik yang dihasilkan, diagnosis dari pengajar, serta revisi yang dibuat oleh peserta didik. Para pengajar dapat meninjau perbedaan pendapat sebelum umpan balik diberikan kepada peserta didik, sekaligus mencatat kasus-kasus di mana diagnosis model dianggap tidak pasti. Tugas lanjutan yang dikerjakan tanpa bantuan sistem dapat digunakan untuk melihat apakah peserta didik mampu menerapkan pemahaman tersebut secara mandiri. Rancangan seperti ini menghubungkan evaluasi dengan keputusan pendidikan yang nyata, sembari tetap menjaga beban kerja agar tetap terkendali.

Dalam kursus dwibahasa, contoh-contoh yang setara dapat ditinjau dalam setiap bahasa pengantar, dan peserta didik dapat diminta untuk menjelaskan umpan balik yang diperdebatkan menggunakan bahasa pilihan mereka. Peninjau akan memeriksa substansi penjelasan tersebut, alih-alih berasumsi bahwa penggunaan frasa yang lancar atau istilah teknis yang familier merupakan bukti adanya pemahaman konseptual.

Tim pengembang platform juga dapat menampilkan tingkat ketidakpastian pada antarmuka pengguna. Sebuah skor harus terhubung dengan bagian atau tindakan yang mendasarinya, dan dugaan adanya miskonsepsi harus tetap dapat dikoreksi, baik oleh pengajar maupun peserta didik. Penambahan dimensi baru sebaiknya hanya dilakukan jika hal tersebut memberikan pembedaan yang bermanfaat. Tujuan praktisnya adalah menghasilkan umpan balik yang membantu peserta didik menentukan apa yang perlu ditinjau kembali dan mengapa. Apakah suatu alur kerja tertentu berhasil mencapai tujuan tersebut, hal ini memerlukan bukti dari peserta didik dan konteks lingkungan tempat alur kerja itu diterapkan.