प्रीप्रिंट: AI के विस्तृत अंकन मानदंड अलग-अलग सीखने की समस्याओं को हमेशा नहीं पहचानते

शी झाओ और उनके सहयोगियों ने कंप्यूटर विज्ञान के 50 प्रश्नों के 3,041 उत्तरों का उपयोग करके संरचित एआई मूल्यांकन की नैदानिक गुणवत्ता की जांच की। तीन व्यावसायिक मॉडलों ने प्रशिक्षक मूल्यांकन के साथ-साथ स्कोर और टिप्पणियां भी प्रदान कीं। स्कोर आयामों का आपस में 0.82 से 0.99 तक मजबूत सहसंबंध था। लेखकों के वर्गीकरण में, मॉडल की टिप्पणियों ने 4.8-7.4 प्रतिशत मामलों में गलत धारणाओं की पहचान की, जबकि प्रशिक्षकों के लिए यह आंकड़ा 15.0 प्रतिशत था। सबसे कम स्कोर वाले उत्तरों में प्रशिक्षकों का आंकड़ा बढ़कर 31.5 प्रतिशत हो गया। 7 अक्टूबर को प्रकाशित यह प्रीप्रिंट एक अवलोकन विश्लेषण है, न कि कक्षा में हस्तक्षेप करके सीखने में सुधार प्रदर्शित करना।

यह अध्ययन एक संस्थागत परिवेश और मॉडलों की एक विशेष पीढ़ी से संबंधित है। इसकी टिप्पणी श्रेणियां भाषाई पैटर्न मिलान पर आधारित हैं, और इसका टोन विश्लेषण भावना शब्दकोश का उपयोग करता है; दोनों में सूक्ष्म अंतर छूट सकते हैं। प्रतिशत की व्याख्या करते समय ये सीमाएं महत्वपूर्ण हैं। निष्कर्ष समग्र स्कोर सहमति से अलग नैदानिक गुणवत्ता की जांच का समर्थन करते हैं, हालांकि यह स्थापित नहीं करते कि प्रत्येक एआई ग्रेडर एक ही तरह से व्यवहार करता है।

AIEDHK के पाठकों के लिए, प्रोग्रामिंग पाठ्यक्रम में प्रस्तावित मूल्यांकन समीक्षा पर विचार करें। एक शिक्षक दो ऐसे उत्तर चुन सकता है जिनके कुल अंक समान हों लेकिन तर्क भिन्न-भिन्न हों। एक शिक्षार्थी आवश्यक स्पष्टीकरण देना भूल सकता है जबकि दूसरा आत्मविश्वास से गलत नियम लागू कर सकता है। समीक्षक यह पूछेंगे कि क्या प्राप्त प्रतिक्रिया उस अंतर को दर्शाती है, प्रासंगिक साक्ष्य प्रस्तुत करती है, और उसे दूर करने के लिए अगला कदम सुझाती है। यह गतिविधि शोधपत्र में परीक्षित प्रक्रिया के बजाय एक संपादकीय सुझाव है।

एक ठोस उदाहरण यह हो सकता है कि किसी सॉफ़्टवेयर परीक्षण के सफल होने के कारण को समझाया जाए। एक अधूरा उत्तर परीक्षण का वर्णन तो कर सकता है, लेकिन उसकी सीमाओं को छोड़ सकता है। एक गलत उत्तर यह दावा कर सकता है कि एक सफल परीक्षण पूरे प्रोग्राम को सही साबित करता है। दोनों में उपयुक्त तकनीकी शब्दावली हो सकती है। एक उपयोगी टिप्पणी शिक्षार्थी को छूटे हुए विवरण और गलत निष्कर्ष के बीच अंतर करने में मदद करेगी। छात्र से एक प्रतिउदाहरण बनाने के लिए कहना शिक्षक को कई मिलते-जुलते रूब्रिक बार की तुलना में अधिक जानकारीपूर्ण सामग्री प्रदान करेगा।

एक छोटे स्थानीय पायलट प्रोजेक्ट में मूल उत्तर, प्राप्त टिप्पणी, शिक्षक का निदान और शिक्षार्थी का संशोधन शामिल हो सकता है। शिक्षक प्रतिक्रिया जारी करने से पहले मतभेदों की समीक्षा कर सकते हैं और उन मामलों को रिकॉर्ड कर सकते हैं जहां मॉडल का निदान अनिश्चित था। सहायक के बिना पूरा किया गया एक बाद का कार्य यह जांच कर सकता है कि क्या शिक्षार्थी स्वतंत्र रूप से अंतर को लागू कर सकता है। इस तरह का डिज़ाइन मूल्यांकन को प्रत्यक्ष शैक्षिक निर्णय से जोड़ेगा, साथ ही कार्यभार को भी प्रबंधनीय बनाए रखेगा।

एक द्विभाषी पाठ्यक्रम प्रत्येक शिक्षण भाषा में समतुल्य उदाहरणों की समीक्षा कर सकता है और शिक्षार्थियों को किसी विवादित टिप्पणी को उनकी पसंदीदा भाषा में समझाने के लिए आमंत्रित कर सकता है। समीक्षक स्पष्टीकरण के अर्थ की जांच करेंगे, न कि यह मान लेंगे कि धाराप्रवाह वाक्यांश या परिचित तकनीकी शब्द वैचारिक समझ को प्रदर्शित करते हैं।

प्लेटफ़ॉर्म टीमें इंटरफ़ेस में अनिश्चितता को भी दृश्यमान बना सकती हैं। एक स्कोर को उस अंश या क्रिया से जोड़ा जाना चाहिए जो उसका समर्थन करती है, और किसी संदिग्ध गलत धारणा को शिक्षक और छात्र दोनों द्वारा सुधार के लिए खुला रखा जाना चाहिए। अतिरिक्त आयाम तभी जोड़े जाने चाहिए जब वे उपयोगी अंतर प्रदान करते हों। व्यावहारिक लक्ष्य ऐसी प्रतिक्रिया है जो शिक्षार्थी को यह तय करने में मदद करती है कि उसे क्या पुनर्विचार करना है और क्यों। क्या कोई विशेष कार्यप्रवाह उस लक्ष्य को प्राप्त करता है, इसके लिए शिक्षार्थियों और उस सेटिंग से साक्ष्य की आवश्यकता होती है जहां इसका उपयोग किया जाएगा।