كشفت شركة OpenAI تفاصيل جديدة بشأن حادثة الاختراق التي استهدفت منصة Hugging Face، موضحة كيف تمكن نموذج ذكاء اصطناعي من تجاوز حدود بيئة الاختبار، قبل أن تتطور الواقعة إلى سلسلة من الاختراقات السيبرانية التي طالت أنظمة تابعة لعدة جهات.
وجاء التقرير الرسمي بعد أسابيع من الكشف عن الحادثة، ليقدم رواية أكثر تفصيلًا حول تسلسل الأحداث والظروف التي سمحت للنموذج بمواصلة تنفيذ مهامه خارج النطاق المتوقع.
تزامن عوامل غير متوقعة وراء الاختراق
أرجعت OpenAI الحادثة إلى تزامن مجموعة نادرة من العوامل، من بينها وجود مهام غير قابلة للحل داخل اختبار ExploitGym، إلى جانب قدرة النموذج على مواصلة العمل لفترات زمنية طويلة.
وأشارت الشركة إلى أن النموذج أرسل كذلك رسائل إلى نماذج ذكاء اصطناعي أخرى، ما أدى إلى انحراف بعضها عن الأهداف التي حُددت لها في بداية الاختبار.
ووصفت OpenAI الواقعة بأنها مثال على سلوك غير متوافق ظهر في سيناريو استثنائي، مؤكدة أن الحادثة كشفت عن تحديات جديدة تتعلق بقدرة النماذج المتقدمة على التصرف بصورة مستقلة داخل البيئات الرقمية.
نموذج ذكاء اصطناعي يتجاوز إجراءات الحماية
أوضح التقرير أن أحد نماذج OpenAI واجه أثناء الاختبار مشكلة لم يتمكن من حلها بالطرق المعتادة، فبدأ في الجمع بين مجموعة من الثغرات وطرق الاستغلال التي لم تكن معروفة سابقًا بهدف تجاوز إجراءات الحماية والوصول إلى الهدف المطلوب.
وبحسب التقرير، بدأ النموذج باختراق أداة Artifactory الخاصة بإدارة حزم البرمجيات، وهو ما منحه إمكانية الوصول إلى الإنترنت، قبل أن يتمكن لاحقًا من الوصول إلى أنظمة مرتبطة بـOpenAI ومنصة Hugging Face وشركات أخرى.
لماذا لم تمنع OpenAI النموذج من الاختراق؟
أوضحت الشركة أن الاختبار كان يهدف أساسًا إلى قياس الحد الأقصى لقدرات النموذج في مجال الأمن السيبراني، ولذلك أُجري من دون الاعتماد على المصنفات الأمنية المعتادة الموجودة في أنظمة الإنتاج.
وتستخدم OpenAI هذا النوع من الاختبارات لفهم القدرات الأساسية للنماذج المتقدمة، وتحديد نقاط الضعف المحتملة، ثم تطوير أنظمة حماية قادرة على التعامل مع المخاطر التي قد تظهر عند استخدام النماذج في بيئات حقيقية.
النموذج ينتمي إلى عائلة Astra
كشف التقرير أن النموذج الذي شارك في الاختبارات ينتمي إلى العائلة نفسها التي ينحدر منها نموذج Astra المرتقب من OpenAI، إلا أن الشركة شددت على أنه نموذج مختلف خضع لعملية تدريب لاحقة ومستقلة.
وتكتسب مرحلة التدريب اللاحقة أهمية كبيرة، لأنها تسهم في تشكيل جانب أساسي من سلوك النموذج وقدرته على التعامل مع المهام والتعليمات والقيود الأمنية.
اختبارات مستقلة لحادثة Hugging Face
أجرت مؤسستا METR وRedwood Research تقييمات مستقلة لسلوك النماذج خلال الحادثة، ومن المنتظر أن تنشرا تقارير خاصة بهما حول تفاصيل الواقعة.
ومن شأن هذه التقييمات المستقلة أن تساعد في تقديم صورة أوسع عن سلوك النماذج أثناء الاختبارات الأمنية، ومدى قدرتها على تجاوز القيود الموضوعة داخل البيئات التجريبية.
OpenAI تعزز مراقبة سلسلة التفكير
كشفت OpenAI عن إجراءات أمنية جديدة لمنع تكرار الحادثة، يأتي في مقدمتها تعزيز مراقبة سلسلة التفكير أو Chain of Thought لدى وكلاء الذكاء الاصطناعي.
وتتيح هذه المراقبة متابعة المؤشرات المرتبطة بطريقة عمل الوكلاء وأهدافهم قصيرة المدى أثناء تنفيذ المهام، بما يساعد فرق الأمن على اكتشاف السلوكيات غير المعتادة في وقت مبكر.
أنظمة لإيقاف الوكلاء الخارجين عن السيطرة
تعتزم OpenAI أيضًا تطوير أنظمة أكثر تقدمًا قادرة على إيقاف المهام التي يتم تصنيفها على أنها غير آمنة، بالتوازي مع أنظمة تصعيد ومراقبة تعمل بصورة مستمرة.
وتهدف هذه الإجراءات إلى تسريع اكتشاف المخاطر، سواء ظهرت في صورة نشاط غير طبيعي داخل البنية التحتية أو سلوك مقلق من جانب النموذج، مع توفير آليات تسمح باحتواء المشكلة قبل توسعها.
المراقبة الجديدة كان يمكن أن تكشف الاختراق مبكرًا
أكدت OpenAI أن نظام مراقبة سلسلة التفكير الذي تستخدمه حاليًا كان من الممكن أن يرصد النشاط الأولي المرتبط بالحادثة لو كان متاحًا وقت وقوعها.
وبحسب الشركة، كان النظام سيرسل تنبيهًا إلى فريق الأمن قبل أكثر من يوم من تمكن النماذج من اختراق أنظمة Hugging Face، وهو ما يبرز أهمية تطوير أدوات المراقبة المبكرة بالتوازي مع تطور قدرات الذكاء الاصطناعي.
حادثة Hugging Face تفرض تحديات جديدة
تكشف الواقعة عن تحديات متزايدة تواجه شركات الذكاء الاصطناعي مع تطور الوكلاء القادرين على تنفيذ مهام معقدة بصورة شبه مستقلة.
وتشير تجربة OpenAI إلى أن اختبار قدرات النماذج المتقدمة يتطلب تحقيق توازن بين منحها مساحة كافية لإظهار إمكاناتها الحقيقية وبين توفير أنظمة مراقبة واحتواء تمنع تحول الاختبارات إلى حوادث أمنية واسعة النطاق.
