بعد حادثة OpenAI: نماذج Claude تخترق أنظمة ثلاث شركات أثناء الاختبارات

نماذج ذكاء اصطناعي اخترقت أنظمة ثلاث شركات أثناء اختبارات أمنية داخلية، حيث كشف تحقيق داخلي رصد وقوع ثلاث حوادث تمكنت خلالها نماذج من عائلة Claude من الوصول إلى أنظمة إنتاج تابعة لثلاث مؤسسات مختلفة أثناء تنفيذ تقييمات أمنية. جاء هذا الإعلان بعد أيام من كشف شركة OpenAI عن حادثة مشابهة تضمنت وصول أحد نماذجها غير المطروحة للعامة إلى أنظمة منصة Hugging Face خلال اختبارات داخلية.

التحقيق كشف خطأ في إعداد بيئة الاختبار سمح بالوصول إلى الإنترنت. النماذج أظهرت سلوكًا مختلفًا عند اكتشاف الأنظمة الحقيقية. بدأت الشركة مراجعة مستقلة لمنع تكرار الحوادث مستقبلًا.

أوضحت الجهة المنظمة للتحقيق أن الحوادث الثلاث وقعت أثناء تنفيذ اختبارات مخصصة لقياس قدرات نماذج الذكاء الاصطناعي في مجال الأمن السيبراني. تمكنت النماذج من الوصول إلى الإنترنت من داخل بيئة اختبار كان من المفترض أن تكون معزولة، ثم حصلت على وصول غير مصرح به إلى أنظمة تشغيل حقيقية تخص ثلاث جهات مختلفة.

بدأت مراجعة الداخلية بعد الإعلان عن حادثة OpenAI، حيث قررت الشركة إعادة فحص سجلات اختباراتها بحثًا عن أي مؤشرات تدل على تمكن أحد النماذج من الاتصال بالإنترنت من داخل بيئات الاختبار المعزولة، وهي البيئات التي صُممت خصيصًا لمنع أي تواصل مع الشبكات الخارجية أثناء عمليات التقييم.

راجعت الجهة أكثر من 141 ألف عملية تقييم، وتحديدًا 141,006 جلسات اختبار، قبل أن تعثر على ثلاث وقائع تضمنت وصول نموذج Claude إلى الإنترنت أثناء تعامله مع شركة Irregular، وهي إحدى الجهات الخارجية التي تتعاون معها في تنفيذ بعض التقييمات الأمنية.

أرجعت الشركة سبب هذه الحوادث إلى خطأ في إعداد بيئة الاختبار لدى الشريك الخارجي، موضحةً أن هناك سوء فهم بين الطرفين بشأن طبيعة البيئة المستخدمة. وافترض فريق العمل أن الاتصال بالإنترنت غير متاح داخل بيئة الاختبار، بينما كانت البيئة تحتوي فعليًا على منفذ يسمح بالوصول إلى الشبكة العالمية.

أكدت الشركة أنها لا تحمل شريكها المسؤولية بصورة مباشرة، موضحةً أنها تتعامل مع الحادثة على أساس أن مسؤولية معالجة المشكلة تقع عليها بالكامل. وفي الوقت نفسه، ذكرت أن شركة Irregular تجري تحقيقًا مستقلًا للوصول إلى الأسباب الكاملة التي أدت إلى وقوع هذه الحوادث.

أدى هذا الاتصال غير المقصود بالإنترنت إلى تمكن النماذج من الوصول إلى البنية التحتية الإنتاجية لثلاث مؤسسات مختلفة. وأوضحت الشركة أن الوقائع شملت ثلاثة نماذج مستقلة، وهي Claude Opus 4.7، و Mythos 5، بالإضافة إلى نموذج بحثي داخلي لم يُطرح خارج الشركة.

لفتت الجهة إلى أن جميع هذه النماذج تلقت تعليمات واضحة ضمن أوامر الاختبار تؤكد أنها تعمل داخل بيئة مغلقة ولا تمتلك إمكانية الوصول إلى الإنترنت. ومع ذلك، تعاملت النماذج مع الأنظمة الحقيقية التي صادفتها باعتبارها جزءًا من سيناريو الاختبار المطلوب منها تنفيذه، وهو ما دفعها إلى مواصلة تنفيذ المهام المكلفة بها.

كشفت نتائج التحقيق عن اختلاف واضح في سلوك كل نموذج عند ظهور مؤشرات تدل على أنه يتعامل مع أنظمة حقيقية وليست محاكاة. اعتبرت الشركة هذا التباين أحد أبرز الاستنتاجات التي خرج بها التحقيق الداخلي.

أظهر نموذج Claude Opus 4.7، وهو الأقدم بين النماذج الثلاثة، قدرة على إدراك أنه وصل إلى نظام إنتاج حقيقي في جميع محاولات الاختبار المرتبطة بهذه الحادثة. ورغم هذا الإدراك، افترض النموذج في حالتين أن الشركة المستهدفة ربما تكون جزءًا من سيناريو الاختبار، ثم واصل تنفيذ المهام المطلوبة، التي تضمنت الحصول على بيانات اعتماد والتعامل مع قاعدة بيانات تحتوي على معلومات إنتاج فعلية.

سلك نموذج Mythos 5 مسارًا مختلفًا إلى حد ما، إذ لاحظ أيضًا مؤشرات توحي بأنه متصل بالإنترنت الحقيقي، ثم أعاد تفسير تلك المؤشرات على أنها جزء من بيئة المحاكاة. نتيجة لذلك، نشر حزمة برمجية خبيثة على مستودع PyPI العام الخاص بحزم لغة Python، قبل أن يجري تنزيلها وتشغيلها على بعض الأنظمة الخارجية، ثم اكتشافها وإيقافها.

في المقابل، أظهر النموذج البحثي الداخلي، وهو أحدث النماذج الثلاثة، سلوكًا مختلفًا، إذ توقف عن تنفيذ المهمة بمجرد توصله إلى استنتاج مفاده أن الهدف الذي يتعامل معه ينتمي إلى بيئة تشغيل حقيقية، ولم يواصل تنفيذ الخطوات اللاحقة.

أوضحت الشركة أن هذه التقييمات أُجريت دون تفعيل طبقات الحماية الإضافية التي تعتمدها في النسخ المتاحة للمستخدمين. تشمل هذه الطبقات أنظمة مراقبة ومصنفات أمنية تم تصميمها لرصد السلوكيات الخطرة ومنعها. كما أكدت الشركة أن هذه الوسائل كانت ستمنع مثل هذه التصرفات لو كانت مفعلة أثناء الاختبارات، إلا أن الشركة تعمدت تعطيلها بهدف قياس القدرات الأساسية للنموذج بصورة مباشرة.

أكدت الشركة أيضًا أنها لم تجد أي دليل يشير إلى أن النماذج حاولت تحقيق أهداف مستقلة أو اتخذت قرارات ذاتية خارج نطاق المهمة الموكلة إليها. وأوضحت أن جميع الأفعال التي صدرت عنها جاءت نتيجة محاولتها تنفيذ التعليمات التي تلقتها داخل سيناريو الاختبار.

أعلنت الشركة في ختام بيانها أنها بدأت التعاون مع مجموعة التقييم المستقلة METR لإجراء مراجعة خارجية للحوادث، بهدف تقييم الإجراءات الحالية واقتراح تحسينات تقلل احتمالات تكرار مثل هذه الوقائع مستقبلًا.