كشفت ورقة بحثية جديدة من أوبن إيه آي (OpenAI) أن مواجهة “هلوسة” نماذج اللغة الكبيرة، وهي ميلها لتوليد معلومات تبدو معقولة لكنها خاطئة، قد لا يكمن في تحسين عملية التدريب المكلفة، بل في تغيير جذري لكيفية تقييم واختبار هذه النماذج.
تقر الورقة بأن الهلوسة تظل “تحديًا أساسيًا” لن يتم القضاء عليه بالكامل، وتضرب مثالًا عمليًا حين فشل “روبوت محادثة شهير” في تحديد عنوان أطروحة الدكتوراه لأحد الباحثين، مقدمًا ثلاث إجابات مختلفة وكلها خاطئة وبثقة تامة.
ولكن كيف لنماذج متطورة أن تخطئ بهذه الثقة؟
يكمن السر في طريقة تدريبها وتقييمها الحالية. فالنماذج تُدرّب بشكل أساسي على “توقع الكلمة التالية” لإتقان اللغة وإنتاج نصوص سليمة لغويًا، وليس على التحقق من صحة الحقائق.
هي تتعلم الأنماط اللغوية، لا الوقائع.
هنا تقدم الورقة تشبيهًا عبقريًا لشرح المشكلة: أنظمة التقييم الحالية تشبه اختبارات الاختيار من متعدد التي لا تعاقب على الإجابة الخاطئة، مما يشجع الطالب (أو النموذج) على التخمين العشوائي بدلًا من ترك الإجابة فارغة.
وبالمثل، فإن النماذج الحالية تُكافأ على “الدقة” فقط، مما يخلق لديها “حافزًا خاطئًا” للتخمين بدلًا من الاعتراف بعدم المعرفة.
الحل المقترح هو تحويل نظام التقييم ليصبح أشبه باختبارات SAT التي تعاقب على التخمين. تدعو OpenAI إلى تصميم أنظمة تقييم تعاقب الأخطاء الواثقة بشكل أكبر مما تعاقب حالة عدم اليقين، وتمنح نقاطًا جزئية للنموذج عندما يعبر بشكل مناسب عن عدم معرفته.
وكما تلخص الورقة البحثية ببراعة: “إذا استمرت لوحات النتائج الرئيسية في مكافأة التخمينات المحظوظة، فستستمر النماذج في تعلم التخمين”.