Makalah konferensi: FeedType menguji perubahan fokus umpan balik AI selama revisi tulisan

Norah Almousa dan rekan-rekannya menerbitkan FeedType dalam prosiding AIME-Con yang berlangsung pada 5–7 Oktober 2026. Tolok ukur ini menggunakan 1.966 paragraf dari tiga mata kuliah penulisan tingkat universitas. Umpan balik pengajar dibandingkan dengan enam model bahasa melalui tiga strategi penyusunan prompt. Tujuh kategori menggambarkan fokus umpan balik, dan anotasi otomatis diperiksa terhadap penilaian manusia. Model mencakup sebagian besar kategori, tetapi tidak ada yang sepenuhnya meniru pola penyesuaian pengajar. Analisis tahap revisi draf dan tingkat kinerja mahasiswa terbatas pada mata kuliah penulisan bernama composition. Penelitian ini mengkaji perilaku umpan balik, bukan menguji dampak intervensi terhadap pembelajaran.

Kontribusinya adalah cara untuk menanyakan fokus komentar dan apakah fokus tersebut berubah dengan tepat. Suatu sistem mungkin berulang kali meminta penjelasan bahkan ketika tanggapan lain akan lebih berguna. Mencocokkan distribusi kategori guru tidak dengan sendirinya membuktikan bahwa setiap komentar akurat atau bermanfaat. Kursus tolok ukur, pilihan anotasi, dan versi model yang diuji juga membatasi seberapa jauh hasil dapat melampaui pengaturan yang dilaporkan.

Untuk AIEDHK, pertimbangkan usulan lokakarya penulisan yang dibuat berdasarkan dua draf paragraf yang sama. Sebelum membaca umpan balik yang dihasilkan, guru akan mengidentifikasi langkah berikutnya yang paling penting untuk tahap tugas tersebut. Siswa kemudian dapat membandingkan saran-saran, menemukan bukti tekstual yang dibahas masing-masing, dan menjelaskan isu mana yang perlu mendapat perhatian terlebih dahulu. Ini merupakan proposal pengajaran editorial, dan bukan kegiatan yang dievaluasi melalui studi patokan.

Misalnya, draf awal mengenai isu lingkungan setempat mungkin memerlukan klaim yang lebih jelas dan didukung oleh sumber yang tepat. Draf selanjutnya sudah bisa menghubungkan hal tersebut dan memerlukan penjelasan yang tepat tentang suatu kualifikasi. Meminta rincian lebih lanjut dalam kedua kasus tersebut akan mengabaikan prioritas revisi yang berbeda. Peserta didik dapat menjelaskan mengapa komentar yang tampaknya bermanfaat akan mengalihkan perhatian dari tugas saat ini, sehingga memberikan bukti kepada guru mengenai penilaian mereka mengenai menulis.

Percontohan lokal dapat menyimpan draf, komentar yang disarankan, tindakan yang dipilih pelajar, dan alasan singkat atas pilihan tersebut. Guru dapat memeriksa sampel kecil dari kesepakatan dan ketidaksepakatan daripada berasumsi bahwa menerima lebih banyak saran menunjukkan pembelajaran yang lebih baik. Peninjau juga harus memeriksa komentar yang mengidentifikasi kategori yang tepat namun mengusulkan perubahan yang tidak sesuai. Tujuannya adalah untuk memahami bagaimana umpan balik mendukung keputusan pada saat tertentu dalam proses penulisan.

Kelas menulis bilingual dapat memeriksa apakah sebuah komentar mempertahankan makna yang dimaksudkan penulis dalam berbagai bahasa. Siswa dapat mempertahankan revisi menggunakan tujuan tugas, sementara guru mempertimbangkan apakah penyempurnaan linguistik mengalihkan perhatian dari argumen yang belum terselesaikan atau klaim yang tidak didukung.

Untuk tim produk, studi ini menyarankan pertanyaan evaluasi yang dapat dibuat konkret sebelum penerapan: apakah umpan balik merespons tugas, draf saat ini, dan kesulitan yang ditunjukkan oleh peserta? Pertanyaan tersebut dapat memandu serangkaian tinjauan terbatas tanpa mengubah perilaku guru sebelumnya menjadi standar yang tidak perlu dipertanyakan lagi. Tulisan selanjutnya yang diselesaikan dengan sedikit bantuan dapat memberikan bukti pembelajaran yang saling melengkapi. FeedType menyediakan sumber penelitian yang berguna untuk memeriksa umpan balik adaptif; keputusan adopsi kelas atau institusional masih memerlukan bukti tentang kualitas dan konsekuensi dari komentar yang sebenarnya diterima siswa.