প্রিপ্রিন্ট: AI-এর বিস্তারিত মূল্যায়ন-মানদণ্ড ভিন্ন শেখার সমস্যা নির্ণয় করবে—এমন নিশ্চয়তা নেই

শি ঝাও (Xi Zhao) এবং তাঁর সহকর্মীরা কম্পিউটার বিজ্ঞানের ৫০টি প্রশ্নের বিপরীতে শিক্ষার্থীদের দেওয়া ৩,০৪১টি উত্তরের ওপর ভিত্তি করে এআই-ভিত্তিক কাঠামোগত মূল্যায়নের গুণমান যাচাই করেছেন। তিনটি বাণিজ্যিক মডেলের মাধ্যমে স্কোর ও মন্তব্য তৈরি করা হয় এবং সেগুলোকে প্রশিক্ষকদের মূল্যায়নের সাথে তুলনা করা হয়। বিভিন্ন স্কোরিং মানদণ্ডের মধ্যে পারস্পরিক সম্পর্ক ছিল অত্যন্ত শক্তিশালী (০.৮২ থেকে ০.৯৯)। গবেষকদের শ্রেণিবিন্যাস অনুযায়ী, মডেলগুলোর মন্তব্যে ৪.৮ থেকে ৭.৪ শতাংশ ক্ষেত্রে শিক্ষার্থীদের ভুল ধারণা শনাক্ত হয়েছে, যেখানে প্রশিক্ষকদের ক্ষেত্রে এই হার ছিল ১৫.০ শতাংশ। বিশেষ করে, যেসব উত্তরের স্কোর সবচেয়ে কম ছিল, সেগুলোর ক্ষেত্রে প্রশিক্ষকদের দ্বারা ভুল ধারণা শনাক্তের হার বেড়ে দাঁড়িয়েছিল ৩১.৫ শতাংশে। ৭ই অক্টোবর প্রকাশিত এই প্রি-প্রিন্টটি একটি পর্যবেক্ষণমূলক বিশ্লেষণ; এটি কোনো শ্রেণিকক্ষে প্রয়োগ করা পদ্ধতি নয় যা শিক্ষার্থীদের শেখার প্রক্রিয়ায় উন্নতির প্রমাণ দেয়।

এই গবেষণাটি একটি নির্দিষ্ট প্রাতিষ্ঠানিক পরিবেশ এবং নির্দিষ্ট প্রজন্মের মডেলগুলোর ওপর ভিত্তি করে পরিচালিত। এর মন্তব্য শ্রেণিবিভাগগুলো ভাষাগত প্যাটার্ন মেলানোর ওপর নির্ভরশীল এবং সুর বা ভাব বিশ্লেষণের (tone analysis) ক্ষেত্রে এটি একটি 'সেন্টিমেন্ট লেক্সিকন' (আবেগসূচক শব্দভাণ্ডার) ব্যবহার করে—উভয় পদ্ধতিই সূক্ষ্ম বিষয়গুলো এড়িয়ে যেতে পারে। ফলাফলগুলোর শতাংশ হার ব্যাখ্যা করার সময় এই সীমাবদ্ধতাগুলো বিবেচনায় রাখা জরুরি। এই গবেষণার ফলাফলগুলো ইঙ্গিত দেয় যে, সামগ্রিক স্কোরের মিল বা সামঞ্জস্য থেকে আলাদাভাবে মূল্যায়নের 'নির্ণয়ক্ষমতা' (diagnostic quality) যাচাই করা প্রয়োজন। তবে এর মানে এই নয় যে, সব এআই মূল্যায়ন পদ্ধতি একইভাবে কাজ করে।

AIEDHK-এর পাঠকদের জন্য একটি উদাহরণ দেওয়া যাক: একটি প্রোগ্রামিং কোর্সে মূল্যায়নের বিষয়টি বিবেচনা করুন। একজন শিক্ষক এমন দুটি উত্তর পেতে পারেন যেগুলোর মোট স্কোর প্রায় সমান, কিন্তু সেগুলোর পেছনে শিক্ষার্থীদের চিন্তাপদ্ধতি সম্পূর্ণ ভিন্ন। হতে পারে একজন শিক্ষার্থী প্রয়োজনীয় ব্যাখ্যাটি দিতে ভুলে গেছে, আবার অন্য একজন শিক্ষার্থী আত্মবিশ্বাসের সাথে একটি ভুল নিয়ম প্রয়োগ করেছে। পর্যালোচকরা যাচাই করে দেখবেন যে, তৈরি করা ফিডব্যাকটি সেই পার্থক্যটিকে চিহ্নিত করতে পারছে কি না, প্রাসঙ্গিক প্রমাণ উল্লেখ করছে কি না এবং তা সমাধানের জন্য পরবর্তী পদক্ষেপের পরামর্শ দিচ্ছে কি না। এটি মূলত একটি সম্পাদনা-সংক্রান্ত পরামর্শ, কোনো পরীক্ষিত পদ্ধতি নয় যা গবেষণাপত্রে যাচাই করা হয়েছে।

একটি সুনির্দিষ্ট উদাহরণ হতে পারে—কেন একটি সফটওয়্যার টেস্ট সফল (passed) হয়েছে, তা ব্যাখ্যা করা। একটি অসম্পূর্ণ উত্তরে হয়তো টেস্টটির বর্ণনা থাকবে, কিন্তু এর সীমাবদ্ধতাগুলো বাদ পড়ে যাবে। আবার একটি ভুল উত্তরে এমন দাবি করা হতে পারে যে, একটি সফল টেস্টই পুরো প্রোগ্রামটিকে সঠিক প্রমাণ করে। উভয় ক্ষেত্রেই হয়তো যথাযথ প্রযুক্তিগত পরিভাষা ব্যবহার করা হয়েছে। একটি কার্যকর মন্তব্য শিক্ষার্থীকে অসম্পূর্ণ তথ্য এবং ত্রুটিপূর্ণ অনুমানের মধ্যে পার্থক্য বুঝতে সাহায্য করবে। শিক্ষার্থীকে একটি পাল্টা উদাহরণ (counterexample) তৈরি করতে বললে, তা শিক্ষককে মূল্যায়নের জন্য এমন কিছু দেবে যা কেবল রুব্রিকের বিভিন্ন স্তরের সাথে মিলিয়ে দেখার চেয়ে অনেক বেশি তথ্যবহুল।

একটি ছোট পরিসরের পাইলট প্রজেক্টে মূল উত্তর, তৈরি করা মন্তব্য, শিক্ষকের বিশ্লেষণ এবং শিক্ষার্থীর সংশোধিত উত্তর—এই সবকিছুই সংরক্ষণ করা যেতে পারে। ফিডব্যাক প্রকাশের আগে শিক্ষকরা কোনো মতপার্থক্য থাকলে তা পর্যালোচনা করতে পারেন এবং যেসব ক্ষেত্রে মডেলের বিশ্লেষণ অনিশ্চিত ছিল, সেগুলো নথিবদ্ধ করে রাখতে পারেন। পরবর্তীতে, কোনো সহায়তাকারী মাধ্যম ছাড়াই শিক্ষার্থীকে দিয়ে একটি কাজ করানো যেতে পারে, যা যাচাই করবে যে সে নিজে থেকে এই পার্থক্যগুলো বুঝতে ও প্রয়োগ করতে পারছে কি না। এই ধরনের নকশা মূল্যায়নের সাথে শিক্ষাসংক্রান্ত সিদ্ধান্ত গ্রহণের একটি যোগসূত্র তৈরি করবে, পাশাপাশি কাজের চাপকেও সহনীয় পর্যায়ে রাখবে।

দ্বিভাষিক কোর্সের ক্ষেত্রে, প্রতিটি পাঠদানের ভাষায় সমতুল্য উদাহরণগুলো পর্যালোচনা করা যেতে পারে এবং শিক্ষার্থীদের তাদের পছন্দের ভাষায় কোনো বিতর্কিত মন্তব্য ব্যাখ্যা করতে বলা যেতে পারে। পর্যালোচকরা তখন কেবল সাবলীল ভাষা বা পরিচিত প্রযুক্তিগত পরিভাষা দেখে শিক্ষার্থীর ধারণাগত বোঝাপড়া হয়েছে বলে ধরে না নিয়ে, বরং তার ব্যাখ্যার অর্থ বিশ্লেষণ করে দেখবেন।

প্ল্যাটফর্ম পরিচালনাকারী দলগুলো ইন্টারফেসে অনিশ্চয়তার বিষয়টি দৃশ্যমান করে তুলতে পারে। কোনো স্কোর বা মূল্যায়ন যে অংশ বা কাজের ওপর ভিত্তি করে দেওয়া হয়েছে, তার সাথে একটি সংযোগ থাকা উচিত। এছাড়া, কোনো ভুল ধারণা (misconception) শনাক্ত হলে, শিক্ষক ও শিক্ষার্থী উভয়েরই তা সংশোধন করার সুযোগ থাকা প্রয়োজন। মূল্যায়নের নতুন কোনো মাত্রা (dimension) তখনই যুক্ত করা উচিত, যখন তা কার্যকর কোনো পার্থক্য বা সূক্ষ্ম বিষয়কে তুলে ধরতে পারে। এর মূল উদ্দেশ্য হলো এমন ফিডব্যাক প্রদান করা, যা শিক্ষার্থীকে সিদ্ধান্ত নিতে সাহায্য করবে যে, কোন বিষয়টি পুনরায় বিবেচনা করা প্রয়োজন এবং কেন। কোনো নির্দিষ্ট কর্মপদ্ধতি (workflow) এই উদ্দেশ্য পূরণ করতে পারছে কি না, তা যাচাই করার জন্য শিক্ষার্থী এবং যে পরিবেশে এটি ব্যবহৃত হবে, সেখান থেকে প্রাপ্ত প্রমাণের প্রয়োজন।