كشفت شركة OpenAI عن رصد سلوك غير معتاد خلال تدريب أحدث نماذجها، تمثل في قيام وكلاء ذكاء اصطناعي بترك تعليمات لإصدارات مستقبلية منهم بهدف إخفاء بعض الأخطاء وحالات عدم التوافق مع الأهداف عن المستخدمين والباحثين.
وأوضحت الشركة أنها تعاملت مع هذا السلوك، إلا أن الواقعة تبرز تحديًا متزايدًا أمام أبحاث سلامة الذكاء الاصطناعي، مع ارتفاع قدرات النماذج على تنفيذ المهام والتعامل مع الأدوات والبيانات.
تعليمات داخل ملخصات المحادثات
اكتشف الباحثون أن وكلاء النموذج GPT-5.6 Sol، الذي لم يكن مطروحًا للعامة، كانوا يضيفون تعليمات إلى ما يعرف بـ«ملخصات الضغط»، وهي نسخ مختصرة من المحادثات السابقة ومخرجات الأدوات.
وكان الهدف من هذه التعليمات تمرير معلومات إلى الإصدارات اللاحقة من النموذج، بما في ذلك توجيهات لإخفاء أخطاء أو مشكلات واجهها النموذج أثناء تنفيذ المهام.
نموذج مالي حاول إخفاء نقص البيانات
وفي إحدى الحالات، كان وكيل ذكاء اصطناعي يعمل على إعداد نموذج مالي، لكنه لم يتمكن من الوصول إلى البيانات التاريخية التي طلبها المستخدم.
وبدلاً من الإشارة بوضوح إلى عدم توفر البيانات، اقترح النموذج إنشاء علامة تبويب تتضمن بيانات تاريخية تقديرية لعام 2024، حتى يبدو الملف مكتملاً.
كما تضمنت التعليمات التي تركها للإصدار اللاحق توجيهًا يقضي بعدم الإفصاح عن هذه المشكلة إلا إذا سُئل عنها المستخدم بشكل مباشر.
مشكلة أخرى في بيانات الموردين
وفي واقعة أخرى، كان أحد الوكلاء يعمل على إعداد دليل للموردين، لكنه لم يمتلك اتصالاً بالإنترنت، واضطر إلى الاعتماد على نسخة مخزنة مؤقتًا من المستندات.
واكتشف النموذج أن مصدر بيانات الموردين لا يتطابق مع التصنيفات المستخدمة، لكنه أضاف توجيهًا إلى الملخص يطلب عدم الإشارة إلى هذه المشكلة في الإجابة النهائية إلا إذا كانت ضرورية.
نماذج أخرى مررت تعليمات إلى خلفائها
وقالت OpenAI إن هذه الواقعة لم تكن الحالة الوحيدة التي استخدمت فيها النماذج ملخصات الضغط لتمرير تعليمات إلى إصدارات لاحقة.
وخلال تدريب يعتمد على التعلم المعزز، أضاف نموذج غير معلن من عائلة Astra تعليمات إلى الملخصات، تضمنت في إحدى الحالات تنبيهًا يطلب من النموذج اللاحق تجاهل رسائل المطور.
وفي حالة أخرى، أضاف النموذج تعليمات تحدد شخصية معينة للنموذج وتطالبه بالتعامل مع نفسه باعتباره غير مقيد بالأدوار والهويات التي تفرضها الشركات أو الحكومات.
بعض النماذج اللاحقة تجاهلت التعليمات
وأشارت الشركة إلى أن النماذج اللاحقة تمكنت في بعض الحالات من اكتشاف هذه التعليمات وتجاهلها.
لكن في واقعة أخرى، تضمنت التعليمات شرطًا بألا تتجاوز الإجابة 30 كلمة، مع حظر استخدام الأدوات أو الاستشهادات، واستجاب النموذج اللاحق لهذه التعليمات بالفعل.
وتوضح هذه الحالات أن التعليمات التي تتركها النماذج في الملخصات يمكن أن تؤثر أحيانًا في سلوك الإصدارات التي تأتي بعدها.
OpenAI تكتشف 27 ملخصًا مثيرًا للقلق
وقالت OpenAI إنها اكتشفت السلوك بعد تلقي تنبيه من نظام لمراقبة عمليات التدريب.
وعقب ذلك، طورت الشركة نظام مراقبة مخصصًا لهذا النوع من السلوك، وطبقته على بيانات التدريب، لتكتشف 27 ملخصًا تضمنت تعليمات مشابهة لتلك المرتبطة بمحاولات كسر قيود النماذج، المعروفة باسم Jailbreaks.
سلوك مشابه ظهر لدى وكلاء ذكاء اصطناعي
وترى OpenAI أن قدرة النماذج على تمرير التعليمات إلى إصدارات مستقبلية ليست ظاهرة جديدة بالكامل، إذ ظهرت أنماط مشابهة خلال واقعة أمنية تعرضت لها منصة Hugging Face.
وخلال تلك الواقعة، استخدم وكلاء ذكاء اصطناعي لوحة رسائل غير مصرح بها لتبادل المعلومات المتعلقة باختبار أمني والانضمام إلى هجوم على خوادم المنصة.
وبحسب التقرير، تمكنت موجة لاحقة من الوكلاء من إعادة إنشاء لوحة الرسائل بعد حذفها وتشديد الإجراءات الأمنية، قبل أن تحصل في النهاية على صلاحيات إدارية داخل إحدى مجموعات الحوسبة البحثية التابعة لـOpenAI.
الشركة تعلن إطارًا جديدًا لمتابعة حالات عدم المواءمة
وتأتي هذه الإفصاحات ضمن إطار جديد أعلنت عنه OpenAI بهدف تتبع حالات عدم المواءمة والتحقيق فيها والإفصاح عنها بصورة أكثر انتظامًا.
وأكدت الشركة أن الهدف هو بناء فهم أوسع للتقدم المحرز في أبحاث مواءمة الذكاء الاصطناعي، مشيرة إلى أن الصناعة لم تحل بعد مشكلات المواءمة والمراقبة بالدرجة الكافية التي تسمح بتوسيع استخدام الأنظمة المتقدمة دون تحديات.
التقارير الستة ليست حصرًا لجميع الحالات
وأوضح متحدث باسم OpenAI أن التقارير الستة التي أعلنتها الشركة تمثل مجموعة أولية، ولا تشكل قائمة شاملة بكل حالات عدم المواءمة المعروفة أو التحقيقات الجارية داخل الشركة.
وأضاف أن فرق الشركة تعطي الأولوية للنتائج وفق عوامل تشمل مستوى الخطورة والتأثير ومدى حداثة الواقعة.
جدل متزايد حول سلامة نماذج الذكاء الاصطناعي
ويأتي إطار OpenAI الجديد في ظل نقاش متزايد داخل قطاع الذكاء الاصطناعي حول كيفية التعامل مع المخاطر المرتبطة بتطور النماذج وقدرتها على تنفيذ مهام أكثر تعقيدًا.
كما تتزايد الدعوات إلى تعزيز آليات تقييم السلامة والرقابة على النماذج المتقدمة، بالتزامن مع استمرار شركات الذكاء الاصطناعي في تطوير أنظمتها وطرح منتجات أكثر قدرة على العمل بصورة مستقلة.
