تساءلت ورقة بحثية حديثة من OpenAI عن سبب استمرار نماذج اللغات الكبيرة مثل GPT-5 وروبوتات الدردشة في إنتاج ما يُعرف بـ “الهلوسة”، وما إذا كان بالإمكان الحد منها بشكل فعّال.
تعريف الهلوسة في الذكاء الاصطناعي
في منشور على مدونة OpenAI، تُعرّف الشركة الهلوسة بأنها عبارات معقولة لكنها خاطئة تنتجها نماذج اللغة. وأقرّت بأن الهلوسة تمثل تحديًا أساسيًا لجميع نماذج اللغات الكبيرة، وأن القضاء عليها بشكل كامل أمر غير ممكن حاليًا.
أمثلة على الهلوسة في روبوتات الدردشة
ذكر الباحثون أن نموذج دردشة شائعًا أعطى ثلاث إجابات مختلفة خاطئة لسؤال عن عنوان أطروحة الدكتوراه لأحد المشاركين في البحث. وعند سؤال الروبوت عن تاريخ ميلاده، حصلوا على ثلاثة تواريخ مختلفة جميعها خاطئة، ما يوضح مدى التناقض بين ثقة النموذج ودقة المعلومات.
لماذا تحدث الهلوسة؟
يشير الباحثون إلى أن الهلوسة تنشأ جزئيًا بسبب عملية التدريب المسبق، حيث تركز النماذج على التنبؤ بالكلمة التالية بدقة دون تقييم صحة المعلومات.
- يرى النموذج أمثلة إيجابية فقط للغة بطلاقة، ويجب أن يُقارب التوزيع العام.
- الحقائق العشوائية منخفضة التردد، مثل تواريخ الميلاد أو المعلومات الفردية، يصعب التنبؤ بها من الأنماط وحدها، ما يؤدي إلى إنتاج معلومات خاطئة.
التقييمات الحالية تشجع التخمين
توضح الورقة أن طريقة تقييم النماذج الحالية تضع حوافز خاطئة. على سبيل المثال:
- النماذج التي تُقيَّم بناءً على الدقة فقط تتعلم التخمين العشوائي بدلًا من الاعتراف بعدم اليقين.
- يشبه الباحثون هذا بمواقف الاختبارات الاختيارية، حيث قد يحالفك الحظ في التخمين، بينما ترك الإجابة فارغة يؤدي إلى صفر.
الحلول المقترحة للحد من الهلوسة
تقترح OpenAI تحديث نظام التقييم بحيث:
- تعاقب الأخطاء مع الثقة الزائدة أكثر من عقوبة عدم اليقين.
- تمنح درجات جزئية للتعبير المناسب عن عدم اليقين.
- تُحدّث التقييمات القائمة على الدقة لتثبيط التخمين العشوائي وتحفيز النماذج على التقدير المسؤول.
ويخلص الباحثون إلى أن استمرار مكافأة التخمينات المحظوظة في لوحات النتائج الرئيسية سيؤدي إلى استمرار النماذج في تعلم التخمين، وبالتالي استمرار الهلوسة.
