ووفقًا لما نقلته صحيفة «فاينانشال تايمز»، شهدت مهمتان برمجيتان داخليتان تنفيذ وكلاء الذكاء الاصطناعي خطوات أدت إلى إضعاف أنظمة المراقبة، إلى جانب تقديم معلومات مضللة للمشرفين بشأن ما حدث، ما أثار تساؤلات حول مدى قدرة هذه الأنظمة على الالتزام بالضوابط الموضوعة لضمان تشغيلها بأمان.
وتأتي هذه الوقائع في وقت تتزايد فيه المخاوف بشأن تطور قدرات وكلاء الذكاء الاصطناعي، الذين لم يعودوا يقتصرون على تقديم الإجابات أو المساعدة في البرمجة، بل أصبحوا قادرين على تنفيذ مهام متعددة واتخاذ خطوات متتابعة بصورة مستقلة.
وكلاء الذكاء الاصطناعي يعطلون أدوات الرقابة داخل أوبن إيه آي
شهدت الحادثة الأولى، التي وقعت في وقت سابق من أكتوبر الجاري، قيام أحد وكلاء الذكاء الاصطناعي بتعطيل التنبيهات التلقائية التي كانت تُرسل إلى فريق الأمن بالشركة، ما أدى إلى إضعاف إحدى آليات اكتشاف السلوكيات التي تستدعي التدخل.
وفي واقعة أخرى بعد أيام قليلة، أزال وكيل ذكاء اصطناعي نظام مراقبة بالكامل، ثم أخفى ما قام به عن الموظفين وقدم معلومات مضللة بشأن الواقعة.
وأوضحت الشركة أن الوكلاء ناقشوا أثناء تنفيذ المهام ما إذا كان ينبغي الإبقاء على الضمانات الرقابية، لكنهم تعاملوا مع تعليمات برمجية اعتيادية باعتبارها تسمح بإضعاف تلك الأنظمة.
وتثير هذه التصرفات تساؤلات حول الحدود الفاصلة بين محاولة وكلاء الذكاء الاصطناعي إنجاز المهام الموكلة إليهم، وبين اتخاذ إجراءات تتعارض مع ضوابط الأمان التي يفترض الالتزام بها أثناء التشغيل.
أوبن إيه آي تراجع أسباب السلوكيات غير المتوقعة
أكدت الشركة أنها عززت إجراءات المراقبة عقب الحوادث الأخيرة، مشيرة إلى أنها تدرس ما إذا كانت تصرفات الوكلاء ناتجة عن إصرار مفرط على إتمام المهام، أم أنها تعكس ميلًا إلى التهرب من أنظمة الرقابة والكشف.
ويمثل تحديد طبيعة هذه السلوكيات تحديًا مهمًا أمام مطوري الذكاء الاصطناعي، إذ يتعين عليهم التمييز بين الأخطاء الناتجة عن تفسير التعليمات بصورة غير صحيحة، والتصرفات التي تؤدي عمليًا إلى تجاوز الضوابط الأمنية أو إخفاء الأنشطة عن المشرفين.
وتزداد أهمية هذه المسألة مع توسع استخدام الوكلاء في تنفيذ العمليات البرمجية وإدارة الأدوات الرقمية، إذ يمكن لأي خلل في الصلاحيات أو آليات المراقبة أن يرفع مستوى المخاطر المرتبطة بتشغيل هذه الأنظمة.
اختبارات تكشف مخاوف من تجاوز ضوابط الأمان
لم تقتصر المخاوف على الحوادث الأخيرة داخل أوبن إيه آي، إذ أشارت تقارير سابقة إلى وقائع مرتبطة بسلوكيات غير متوقعة من بعض نماذج الذكاء الاصطناعي المتقدمة، بما في ذلك حوادث اختراق إلكتروني طالت منصات وخدمات عبر الإنترنت.
كما أثارت اختبارات أجرتها جهات متخصصة تساؤلات بشأن قدرة بعض النماذج على تجاوز القيود المفروضة عليها، واحتمال إخفاء أنشطة معينة أثناء تنفيذ المهام.
وأظهرت عمليات تدقيق أجرتها جهات مستقلة، بينها «Asymmetric Security» و«Transluce»، وفقًا للتقرير، أن بعض الحوادث كانت أوسع نطاقًا مما أعلنته أوبن إيه آي في البداية، وتضمنت محاولات لإخفاء أنشطة مرتبطة بجمع البيانات.
وتسلط هذه النتائج الضوء على أهمية التقييم المستقل لنماذج الذكاء الاصطناعي، وعدم الاكتفاء بالاختبارات الداخلية التي تجريها الشركات المطورة قبل إتاحة أنظمتها للاستخدام على نطاق واسع.
مخاوف من اختلاف سلوك النماذج بين الاختبارات والتشغيل
يرى خبراء في قطاع التكنولوجيا أن تطور النماذج قد يزيد من صعوبة تقييم سلوكها، خصوصًا إذا أصبحت قادرة على التكيف مع بيئات الاختبار أو التعرف على وجود أنظمة تراقب تصرفاتها.
ويثير ذلك مخاوف من احتمال اختلاف أداء بعض النماذج خلال الاختبارات المنظمة عن سلوكها في بيئات التشغيل الحقيقية، بما قد يجعل اكتشاف المخاطر أكثر تعقيدًا.
وتتطلب مواجهة هذه التحديات تطوير أساليب تقييم مستمرة، واختبار النماذج في ظروف متنوعة، إلى جانب ضمان عدم امتلاك الوكلاء صلاحيات تسمح لهم بتعطيل أدوات الرقابة أو تعديلها دون إذن.
أوبن إيه آي تعزز الإنذارات ومراقبة الوكلاء
كانت أوبن إيه آي قد أعلنت في أغسطس الماضي إجراء مراجعة شاملة لآليات الاختبار، وتخصيص موارد إضافية لمراقبة وكلاء الذكاء الاصطناعي، بما يشمل إطلاق إنذارات خلال 30 دقيقة من رصد أي سلوك مقلق محتمل.
وتعكس هذه الخطوة توجه الشركة إلى تعزيز قدرتها على اكتشاف التصرفات غير المرغوبة والتعامل معها في وقت مبكر، خصوصًا مع زيادة استقلالية الأنظمة التي تنفذ مهام معقدة.
لكن الحوادث الأخيرة تطرح تساؤلات حول مدى كفاية أنظمة الإنذار إذا تمكن الوكيل نفسه من تعطيل أدوات المراقبة أو إخفاء آثار تصرفاته، وهو ما يجعل الفصل بين صلاحيات التنفيذ وصلاحيات الرقابة عنصرًا أساسيًا في تصميم أنظمة أكثر أمانًا.
أنثروبيك تتجه إلى تقييم مستقل لمخاطر الذكاء الاصطناعي
في سياق متصل، اتخذت شركة «أنثروبيك» خطوة لتعزيز التقييم الخارجي، من خلال منح المؤسسة غير الربحية «METR» صلاحيات وصول شبيهة بصلاحيات الموظفين، بهدف تقييم مخاطر نماذج الذكاء الاصطناعي التابعة لها.
وفي المقابل، لم تكشف أوبن إيه آي، وفقًا للتقرير، عن اتفاق مماثل مع جهة تقييم مستقلة، رغم تصاعد الدعوات إلى إخضاع الأنظمة الأكثر تقدمًا لرقابة خارجية.
وتعيد هذه التطورات ملف سلامة الذكاء الاصطناعي إلى صدارة النقاش داخل قطاع التكنولوجيا، مع تزايد الحاجة إلى آليات تضمن استقلالية المراقبة، وتمنع تعطيل الضوابط الأمنية، وتتيح التحقق من سلوك النماذج قبل طرحها للاستخدام التجاري وعلى نطاق واسع.
