مسودة بحثية: تفصيل معايير التقييم بالذكاء الاصطناعي لا يضمن تشخيص صعوبات التعلم المختلفة

درس "شي تشاو" (Xi Zhao) وزملاؤه الجودة التشخيصية للتقييم المنظم المعتمد على الذكاء الاصطناعي، وذلك من خلال تحليل 3041 إجابة على 50 سؤالاً في علوم الحاسوب. استخدم الباحثون ثلاثة نماذج تجارية لتوليد درجات وملاحظات، وقارنوها بتقييمات المعلمين. أظهرت أبعاد الدرجات ارتباطاً قوياً فيما بينها، تراوح معامل الارتباط بين 0.82 و0.99. ووفقاً لتصنيف الباحثين، تمكنت ملاحظات النماذج من تحديد مفاهيم خاطئة في نسبة تتراوح بين 4.8% و7.4% من الحالات، في حين بلغت هذه النسبة 15.0% لدى المعلمين بشكل عام، وارتفعت لتصل إلى 31.5% عند النظر في الإجابات الحاصلة على أدنى الدرجات. تجدر الإشارة إلى أن هذه المسودة البحثية -الصادرة في 7 أكتوبر- تمثل تحليلاً رصدياً، وليست تدخلاً تعليمياً داخل الفصول الدراسية يثبت تحسناً في عملية التعلم.

تقتصر الدراسة على بيئة مؤسسية واحدة وجيل محدد من النماذج. وتعتمد فئات الملاحظات فيها على مطابقة الأنماط اللغوية، بينما يستخدم تحليل النبرة (tone analysis) قاموساً للمشاعر؛ وكلا الأسلوبين قد يغفلان بعض الدلالات الدقيقة. لذا، ينبغي مراعاة هذه القيود عند تفسير النسب المئوية المذكورة. وتدعم النتائج فكرة دراسة الجودة التشخيصية بشكل منفصل عن مدى توافق الدرجات الإجمالية، مع التأكيد على أن هذا لا يعني بالضرورة أن جميع أنظمة التقييم القائمة على الذكاء الاصطناعي تعمل بنفس الطريقة.

بالنسبة للقراء المهتمين بمجال الذكاء الاصطناعي في التعليم (AIEDHK)، يمكن النظر في مثال لتقييم مقرر برمجي: قد يواجه المعلم إجابتين حصلتا على درجات إجمالية متقاربة، لكنهما تعكسان طريقتين مختلفتين في التفكير؛ فقد يغفل أحد المتعلمين تقديم شرح مطلوب، بينما يطبق متعلم آخر قاعدة خاطئة بكل ثقة. قد يتساءل المراجعون عما إذا كانت الملاحظات المُولَّدة تحدد ذلك الاختلاف، وتستشهد بالأدلة ذات الصلة، وتقترح خطوة تالية لمعالجته. ويُعد هذا الإجراء بمثابة مقترح تحريري، وليس منهجيةً خضعت للاختبار ضمن الورقة البحثية.

يمكن تقديم مثال ملموس يتمثل في توضيح سبب اجتياز اختبار برمجي ما. فقد تكتفي إجابة غير مكتملة بوصف الاختبار مع إغفال حدوده، بينما قد تزعم إجابة خاطئة أن نجاح اختبار واحد يثبت صحة البرنامج بأكمله. وفي كلتا الحالتين، قد تتضمن الإجابات مصطلحات تقنية ملائمة. لذا، ينبغي أن تساعد الملاحظةُ الجيدةُ المتعلمَ على التمييز بين التفاصيل المفقودة وبين الاستنتاج غير السليم. فإذا طُلب من الطالب صياغة "مثال مضاد" (counterexample)، فسيقدم ذلك للمعلم مادةً أكثر ثراءً للتقييم مقارنةً بمجرد الاعتماد على معايير تقييم جامدة (rubric bars).

يمكن إجراء تجربة أولية محدودة النطاق تتضمن الاحتفاظ بالإجابة الأصلية، والملاحظة المُولَّدة، وتشخيص المعلم، والمراجعة التي أجراها المتعلم. وبإمكان المعلمين مراجعة أي تباين في وجهات النظر قبل تقديم الملاحظات للطالب، مع توثيق الحالات التي اتسم فيها تشخيص النموذج بعدم اليقين. كما يمكن، من خلال مهمة لاحقة تُنجز دون مساعدة الأداة، اختبار مدى قدرة المتعلم على تطبيق هذا التمييز بشكل مستقل. ومن شأن تصميم كهذا أن يربط عملية التقييم بقرار تعليمي ملموس، مع الحفاظ على عبء عمل يمكن إدارته.

في الدورات التعليمية ثنائية اللغة، يمكن مراجعة أمثلة مماثلة بكلتا اللغتين، وإتاحة الفرصة للمتعلمين لشرح ملاحظةٍ مثارِ جدلٍ باللغة التي يفضلونها. وهنا، يركز المراجعون على جوهر الشرح، بدلاً من افتراض أن الصياغة السليمة أو استخدام مصطلح تقني مألوف يعني بالضرورة وجود فهمٍ مفاهيميٍّ صحيح.

يمكن لفرق تطوير المنصات أيضاً إظهار مؤشرات "عدم اليقين" في واجهة المستخدم؛ بحيث يرتبط أي تقييم (درجة) بالنص أو الإجراء الذي يستند إليه، مع إتاحة المجال لتصحيح أي تصور خاطئ محتمل من قِبل كل من المعلم والطالب. ولا ينبغي إضافة أبعاد تقييمية جديدة إلا إذا كانت تقدم تمييزات مفيدة فعلياً. فالهدف العملي هو تقديم ملاحظات تساعد المتعلم على تحديد ما ينبغي إعادة النظر فيه ولماذا. أما مدى نجاح سير عملٍ معين في تحقيق هذا الهدف، فيتطلب أدلةً مستمدةً من المتعلمين ومن السياق التعليمي الذي سيُستخدم فيه هذا النظام.