ومع ذلك، استبعد باحثون أن تكون الواقعة دليلًا على التجسس أو وجود آلية متعمدة لتسريب البيانات إلى الصين، مرجحين أن يكون السلوك مرتبطًا بتعقيدات تدريب نماذج الذكاء الاصطناعي، التي قد تؤدي إلى تصرفات غير متوقعة في بعض الظروف.
كيف حاول نموذج Qwen إرسال ملف إلى خادم خارجي؟
بدأت الواقعة يوم الجمعة، عندما طلب الباحثون من نموذج Qwen كتابة قاعدة لاكتشاف عمليات تنزيل البرمجيات الخبيثة، ضمن اختبار للأمن السيبراني.
وبحسب تدوينة نشرتها شركة «Cohere»، ذكر النموذج في استدلالاته المكتوبة أنه لن يستعين بأي أدوات خارجية، لكنه حاول في الخطوة التالية إرسال سلسلة نصية تجريبية إلى خادم خارجي.
وتدخلت بيئة العزل الأمني المستخدمة في الاختبار لمنع إتمام العملية، ما حال دون تحميل الملف بنجاح.
وقالت Cohere إنها لم تتمكن من تحديد ما إذا كانت المحاولة ناتجة عن سلوك متعمد من النموذج، أم أنها أثر جانبي لأنماط اكتسبها خلال عملية التدريب.
وفي تعليقه على الحادث، قال إيفان تشانغ، الشريك المؤسس لشركة Cohere، لموقع «تك كرانش»، إن نماذج الذكاء الاصطناعي قد تُظهر سلوكيات غير مألوفة داخل بيئات المحاكاة، بما في ذلك التحايل على أنظمة المكافآت ومحاولة تجاوز القيود المفروضة عليها.
ويشير مفهوم «التحايل على نظام المكافآت» إلى استخدام النموذج طرقًا مختصرة أو غير متوقعة للحصول على تقييم إيجابي، دون تنفيذ المهمة بالطريقة التي صُممت من أجلها.
بيئات تدريب الذكاء الاصطناعي قد تفسر السلوك غير المتوقع
تعتمد شركات الذكاء الاصطناعي، ومنها علي بابا، على تدريب النماذج في آلاف البيئات التجريبية التي تحاكي ظروف العمل الفعلية، بهدف تطوير قدرتها على تنفيذ المهام واتخاذ الإجراءات بصورة مستقلة.
وخلال هذه العملية، تتلقى النماذج مكافآت عند إنجاز المهام المطلوبة، ما يساعدها على تعلم أنماط سلوكية يمكن أن تؤثر في طريقة استجابتها لمواقف مختلفة لاحقًا.
ويرى باحثون أن النموذج قد يكون اكتسب خلال التدريب عادة استخدام خوادم علي بابا السحابية لحفظ الملفات، إذا كانت هذه الخوادم تُستخدم بصورة متكررة في البيئات التجريبية. وقد يؤدي ذلك إلى إعادة إنتاج هذا السلوك حتى في سياقات لا تتطلبه.
كما أثار بعض المنتقدين تساؤلات حول منهجية الاختبار التي اتبعتها Cohere، معتبرين أن طريقة التحقيق ربما أثرت في استجابة النموذج، بدلًا من الاكتفاء برصد سلوكه بصورة تلقائية خلال الاستخدام المعتاد.
ولفهم كيفية توليد النموذج للعناوين الإلكترونية، قدمت Cohere له بداية أمر شبكي، وهي تعليمة تُستخدم لبدء اتصال بين جهازين، ثم تركته يستكمل الأمر بنفسه.
وبما أن النموذج سبق أن تعامل مع آلاف الأوامر الشبكية الروتينية أثناء التدريب، فقد بدأ في استكمال العناوين الإلكترونية تلقائيًا، بما في ذلك عناوين مرتبطة بخوادم علي بابا.
وأكدت الشركة أن محاولة تحميل الملف الأصلية وقعت دون تقديم هذه المساعدة، لكنها وصفت السلوك بأنه نادر الحدوث.
سجلات الاختبار لا تثبت وجود باب خلفي في نموذج علي بابا
بعد مطالبات من مطورين وباحثين بتقديم أدلة إضافية، نشرت Cohere مساء الاثنين السجلات الخام لتجاربها على منصة «Hugging Face»، إلى جانب نص برمجي يتيح للباحثين محاولة إعادة إنتاج السلوك الذي رصدته.
وأظهرت مراجعة السجلات، وفقًا للتقرير، أن النموذج أظهر قدرة على إنشاء عناوين إلكترونية مثيرة للريبة بصورة مستقلة في ظروف الاختبار، لكن الأدلة لم تثبت أن شركة علي بابا زرعت بابًا خلفيًا في النموذج، أو أنه تعمد إخفاء نواياه.
ويُستخدم مصطلح «الباب الخلفي» للإشارة إلى آلية قد تتيح تجاوز وسائل الحماية أو الوصول إلى نظام بصورة غير مصرح بها. ولا تكفي محاولة اتصال غير متوقعة وحدها لإثبات وجود مثل هذه الآلية.
وتسلط الواقعة الضوء على أحد التحديات التي تواجه تطوير نماذج الذكاء الاصطناعي الوكيلة، وهي الأنظمة المصممة لاستخدام الأدوات وتنفيذ الإجراءات، إذ قد تتصرف أحيانًا بطرق لا تتوافق مع التعليمات المعلنة أو توقعات مطوريها.
مخاوف أمنية متزايدة بشأن نماذج الذكاء الاصطناعي الصينية
يأتي الحادث في وقت تتزايد فيه المناقشات الحكومية بشأن المخاطر الأمنية المحتملة لاستخدام تقنيات الذكاء الاصطناعي الصينية، خصوصًا في المؤسسات الحكومية والأنظمة التي تتعامل مع بيانات حساسة.
وبحسب التقرير، أمرت وزارة الأمن الداخلي الأميركية، خلال الأسبوع السابق، الوكالات المدنية التابعة للحكومة الفيدرالية بإزالة منتجات شركة «ديب سيك» الصينية المتخصصة في الذكاء الاصطناعي من أنظمتها.
ودعت Cohere الحكومات إلى توضيح نطاق القيود المفروضة على تقنيات الذكاء الاصطناعي الصينية، وما إذا كانت تشمل أيضًا النماذج مفتوحة الأوزان التي يمكن تشغيلها محليًا على أجهزة المؤسسات وخوادمها.
وقال تشانغ إنه لا يدعو إلى فرض تنظيم شامل على هذه النماذج، لكنه شدد على ضرورة التعامل معها بالجدية نفسها التي تُعامل بها البرامج الأخرى التي تُحمّل من الإنترنت.
وتشير النماذج مفتوحة الأوزان إلى النماذج التي تتاح أوزانها للاستخدام والتعديل وفقًا لشروط الترخيص، بما يسمح للمؤسسات بتشغيلها على بنيتها التحتية الخاصة. لكن تشغيل النموذج محليًا لا يلغي وحده جميع مخاطر الأمن السيبراني، إذ تظل مراجعة سلوكه وصلاحياته واتصالاته الخارجية ضرورية.
هل يؤثر الجدل حول النماذج الصينية في المنافسة بسوق الذكاء الاصطناعي؟
قد تؤثر المخاوف المتعلقة بأمن البيانات في قرارات الحكومات والشركات عند اختيار نماذج الذكاء الاصطناعي، خصوصًا مع تزايد الاعتماد عليها في معالجة المعلومات الحساسة وتنفيذ المهام المؤسسية.
وتبيع Cohere نماذج الذكاء الاصطناعي الخاصة بها للحكومات، ما يجعل النقاش حول سلامة البدائل الصينية عاملًا قد يؤثر في المنافسة داخل هذا السوق.
ومع ذلك، لا تثبت الواقعة وحدها وجود تجسس أو تعمد تسريب البيانات من جانب علي بابا، بل تبرز الحاجة إلى اختبارات أمنية مستقلة، ومراقبة اتصالات النماذج، وتقييد صلاحياتها، والتحقق من سلوكها قبل استخدامها في البيئات الحساسة.
