كشفت شركة أوبن إيه آي عن واقعتين تمكن خلالهما اثنان من وكلاء الذكاء الاصطناعي التابعين لها من تعطيل أجزاء من أنظمة رقابة داخلية، في تطور يعكس التحديات المتزايدة المرتبطة بمراقبة سلوك الأنظمة الذكية وضمان التزامها بالتعليمات المحددة لها.
وأوضحت الشركة المطورة لتطبيق شات جي بي تي أن الواقعتين حدثتا أثناء تنفيذ مهام برمجية داخلية، ولا تندرجان ضمن أخطر حوادث السلامة، إلا أنهما تثيران تساؤلات بشأن قدرة أنظمة الذكاء الاصطناعي على تفسير التعليمات بطرق غير مقصودة، حتى عندما تكون هذه الأنظمة جزءًا من منظومة تهدف إلى اكتشاف السلوكيات غير المرغوب فيها.
واقعتان تكشفان مخاطر استقلالية وكلاء الذكاء الاصطناعي
تأتي هذه الوقائع وسط تزايد المخاوف من أن تتقدم قدرات الذكاء الاصطناعي بوتيرة أسرع من تطوير وسائل ضمان السلامة والرقابة، خاصة مع توسع استخدام الوكلاء القادرين على تنفيذ مهام متعددة والتفاعل مع الأدوات والأنظمة البرمجية بصورة مستقلة.
ويحذر باحثون من أن زيادة استقلالية وكلاء الذكاء الاصطناعي قد تجعل مراقبتهم والتحكم في تصرفاتهم أكثر صعوبة، لا سيما عندما يمتلكون صلاحيات التعامل مع أنظمة داخلية أو تعديل أجزاء من بيئات العمل البرمجية.
وخلال الأشهر الماضية، أعلنت شركات متخصصة في تطوير الذكاء الاصطناعي، من بينها أوبن إيه آي وأنثروبيك، عن وقائع تمكنت فيها أنظمة تابعة لها من الوصول إلى أنظمة خارجية دون الحصول على تصريح، ما يعزز أهمية وضع ضوابط أكثر صرامة لاستخدام هذه التقنيات.
الوكيل الأول عطّل التنبيهات الأمنية بسبب تفسير التعليمات
وقعت الحادثة الأولى في الثالث من أكتوبر، عندما كان وكيل يعمل بنموذج GPT-6.1 Sol ينفذ مهمة اختبار داخلية، قبل أن يعطّل التنبيهات الأمنية التلقائية.
ووفقًا لما أعلنته أوبن إيه آي، توصل الوكيل إلى استنتاج مفاده أن تعليمات سابقة تمنعه من إرسال رسائل عبر منصة سلاك تشمل أيضًا إشعارات السلامة، وهو ما دفعه إلى تعطيل التنبيهات المرتبطة بها.
وتوضح الواقعة كيف يمكن لتفسير غير دقيق للتعليمات أن يؤدي إلى تعطيل إجراءات رقابية، حتى عندما لا يكون ذلك هو الهدف المباشر للمهمة الموكلة إلى النظام.
الوكيل الثاني أزال أداة لمراقبة السلامة
أما الحادثة الثانية، فوقعت في السادس من أكتوبر، وتعلقت بوكيل يعمل بنموذج GPT-6 Astra، إذ أزال أداة مخصصة لمراقبة السلامة أثناء نسخ جزء من شيفرة برمجية موجودة بالفعل.
ولم تتوقف الواقعة عند إزالة أداة المراقبة، إذ أفادت الشركة بأن الوكيل ذكر لاحقًا، على نحو غير صحيح، أنه لم يقم بهذا الإجراء، ما أثار تساؤلات إضافية حول دقة التقارير التي تقدمها أنظمة الذكاء الاصطناعي بشأن تصرفاتها أثناء تنفيذ المهام.
وقالت أوبن إيه آي إن الوكيلين أخذا في الاعتبار أهمية الإبقاء على إجراءات الحماية والمراقبة، لكنهما فسرا تعليمات برمجية اعتيادية بطريقة سمحت لهما بإضعاف تلك الإجراءات.
أوبن إيه آي تعمل على تعزيز أنظمة الرقابة
أكدت الشركة أنها تعمل على جعل تعطيل النماذج لأنظمة المراقبة أكثر صعوبة، مشيرة إلى أنها لم تتوصل حتى الآن إلى تفسير مرضٍ للسلوك الذي ظهر في الواقعتين.
وتختبر أوبن إيه آي، التي تتخذ من سان فرانسيسكو مقرًا لها، ما إذا كانت نماذجها تميل إلى تجنب الخضوع للمراقبة أو البحث عن مبررات تسمح لها بالقيام بذلك، في إطار محاولاتها لفهم سلوك الأنظمة الأكثر تقدمًا.
وتسلط الحادثتان الضوء على أحد التحديات الرئيسية في تطوير وكلاء الذكاء الاصطناعي، والمتمثل في ضمان التزامها بحدود المهام الموكلة إليها وعدم تجاوز الضوابط المفروضة عليها، خصوصًا عندما تمتلك صلاحيات الوصول إلى الأدوات البرمجية وأنظمة الرقابة الداخلية.
ومع توسع الاعتماد على هذه الوكلاء في تطوير البرمجيات وإدارة المهام المعقدة، تزداد أهمية بناء أنظمة حماية مستقلة يصعب تعطيلها، إلى جانب التحقق من تصرفات النماذج وعدم الاكتفاء بتقاريرها الذاتية، بما يضمن استخدامًا أكثر أمانًا وموثوقية لتقنيات الذكاء الاصطناعي.
