أظهرت دراسة حديثة أن روبوت الدردشة شات جي بي تي يواجه صعوبة كبيرة في تلخيص الأبحاث العلمية بدقة، إذ يميل إلى المبالغة ويفشل في توفير السياق الضروري للجمهور غير المتخصص. وأجرى فريق الجمعية الأميركية لتقدم العلوم تجربة استمرت عامًا كاملًا لتقييم قدرة شات جي بي تي على إنتاج ملخصات مشابهة لتلك التي يقدمها فريق SciPak لمجلة “ساينس”.
أهداف الدراسة وطبيعة الاختبارات
ركزت الدراسة على تحديد مدى قدرة شات جي بي تي على تلخيص الأوراق البحثية المعقدة، بما يشمل فرضيات الدراسة ومنهجيتها وسياقها.
وخلال الفترة من ديسمبر 2023 إلى ديسمبر 2024، اختار الباحثون ما يصل إلى ورقتين بحثيتين أسبوعيًا لاختبار قدرة شات جي بي تي على تلخيصها باستخدام ثلاثة محاور بحثية مختلفة ذات دقة متفاوتة، مع التركيز على الأوراق التي تحتوي على مصطلحات تقنية معقدة، أو نتائج مثيرة للجدل، أو صيغ غير تقليدية.
نتائج الدراسة
أظهرت النتائج أن شات جي بي تي قادر على محاكاة بنية الملخص العلمي بشكل مقبول، لكنه غالبًا ما يضحي بالدقة لصالح البساطة، ما يتطلب تدقيقًا دقيقًا من الصحفيين.
وقالت أبيغيل آيزنشتات، الكاتبة لدى الجمعية الأميركية لتقدم العلوم:
“هذه التقنيات قد تمتلك إمكانات كأدوات مساعدة للكتّاب العلميين، لكنها ليست جاهزة للاستخدام الأساسي في الوقت الحالي بالنسبة لفريق SciPak”.
نقاط الضعف في تلخيص الأبحاث
وجد الباحثون أن شات جي بي تي غالبًا ما يخلط بين الارتباط والسببية، ويفشل في تقديم السياق الكامل للنتائج، كما يميل إلى المبالغة باستخدام كلمات مثل “مبتكر” و”جديد”.
كما أظهرت التجربة أن الروبوت جيد في نسخ المعلومات مباشرة من الأوراق العلمية، لكنه ضعيف في ترجمتها وشرح المنهجيات أو القيود أو الدلالات الكبيرة، خصوصًا عند التعامل مع أوراق بحثية متعددة أو مرتبطة.
تقييم الصحفيين البشريين
تم تقييم الملخصات من قِبل كتّاب SciPak الأصليين، وأظهرت الاستطلاعات أن دمج ملخصات شات جي بي تي مع باقي الملخصات حصل على متوسط درجة 2.26 من 5، بينما حصلت جاذبية الملخصات على درجة 2.14 فقط. وأشار التقييم النوعي إلى أن الملخصات غالبًا ما كانت غير دقيقة وبدون سياق كافٍ.
الخاتمة
توضح الدراسة أن شات جي بي تي، رغم إمكانياته الكبيرة في معالجة النصوص، ليس جاهزًا بعد للاستخدام كمصدر رئيسي لتلخيص الأبحاث العلمية المعقدة. ويشير الباحثون إلى أن الاعتماد على هذه التقنية وحدها قد يؤدي إلى معلومات مضللة أو مبالغ فيها، مما يبرز أهمية التدقيق البشري في نقل النتائج العلمية بدقة وموضوعية.
