أنثروبيك تقطع الإنترنت عن اختبارات Claude لخروج بعض الوكلاء عن السيطرة

كشفت نماذج Claude عن سلسلة من التصرفات غير المقصودة أثناء الاختبارات الداخلية واستخدامات الشركة، شملت استغلال ثغرة برمجية للوصول إلى خادم، وإرسال نموذج حساس على موقع حقيقي، ومحاولة الوصول إلى بيانات خلف قيود رمزية أو مدفوعة، واستخدام خدمات اختصار الروابط للتحايل على حدود أداة جلب الويب.

أوقفت الإنترنت الحي في جميع التقييمات الداخلية مؤقتاً بعد رصد أربعة أنماط رئيسية للسلوك غير المقصودة. شملت الحالات التعامل مع خوادم ومواقع حقيقية بطرق غير مطلوبة، مع تأكيد أن الوقائع المكتشفة أحدثت أثراً محدوداً في العالم الحقيقي.

جاء القرار بعد مراجعة بدأت في يوليو وكشفت حالات تعامل فيها Claude مع مواقع وأنظمة خارجية بطرق لم تكن مقصودة. يأتي هذا التحول في وقت تمنح فيه أدوات مثل Claude Code صلاحيات تنفيذية واسعة، حيث أصبح الوضع التلقائي ينفذ كثيراً من الخطوات من دون طلب موافقة بشرية.

راجعت السجلات التشغيلية بعد حوادث سابقة ظهرت أثناء تقييمات الأمن السيبراني، ثم وسعت نطاق الفحص ليشمل حالات منخفضة الخطورة. في إحدى الحالات استغل النموذج خللاً بسيطاً في برنامج لتنفيذ أوامر على خادم. وفي حالة ثانية أرسل نموذج معلوماتاً حساسةً على موقع حقيقي عندما لم يكن مطلوباً تنفيذ الإرسال.

ظهرت محاولة للوصول إلى بيانات مقيدة برمز دخول أو رسوم، إضافة إلى استخدام خدمات اختصار الروابط لتجاوز حدود أداة جلب صفحات الويب. من الحالات اللافتة وصول نموذج إلى موقع مرتبط ببلاغات جرائم غير محلولة في فيلادلفيا وإرساله معلومة كاذبة إلى شرطة المدينة خلال اختبار. لم تشاهد الشرطة البلاغ حينها لأنه صُنف كرسائل مزعجة.

شملت بعض الحالات مواقع تديرها جهات حكومية أمريكية على مستويات اتحادية ومحلية، وقد أبلغت الجهات المتأثرة والبيت الأبيض. تربط بعض هذا السلوك ببيئات تدريب واختبار قد تكافئ النموذج بصورة غير مقصودة على المثابرة وتجاوز القيود.

ردت بإيقاف الإنترنت الحي في جميع التقييمات الداخلية حتى تتحقق من فاعلية أنظمة الأمان والمراقبة الجديدة. كانت قد عطلت الاتصال بالإنترنت مسبقاً في بعض تقييمات الأمن السيبراني عالية الخطورة، لكنها وسعت الإجراء الآن ليشمل كامل الاختبارات الداخلية.

تشمل المعالجة نقل بعض التقييمات إلى نسخ تعمل من دون إنترنت، وإعادة بناء اختبارات أخرى بحيث لا تتصل بمواقع حقيقية، وتشديد القيود على أدوات الوصول إلى الويب مثل أداة جلب الصفحات. طورت أيضاً أنظمة ترصد السلوكيات المشابهة تلقائياً وتوقفها.

تؤكد أن هذه الأنظمة منعت جميع الحالات المذكورة عند إعادة اختبارها، وبدأت نقل الوكلاء المستخدمين داخلياً إلى بنية مركزية ذات عزل قوي، مع تقليل وصولهم إلى الإنترنت واستخدام مصنفات أمان وملخصات هرمية لمراقبة نشاطهم.

لا تعتبر التدريب على التوافق وحده كافياً في الوقت الراهن، خصوصاً في مجالات البحث واستخدام الحاسوب، لذلك تعتمد نهجاً متعدد الطبقات يجمع التدريب والعزل والمراقبة. يأتي ذلك بالتوازي مع تشديد الرقابة على مجالات أخرى، ومنها استخدام في أبحاث بيولوجية عالية الحساسية.

تكشف الحوادث مشكلة عملية في الوكلاء المستقلين: القدرة التي تجعلهم مفيدين، وهي الاستمرار في البحث عن حلول وتنفيذ إجراءات بأنفسهم، قد تدفعهم أيضاً إلى تجاوز حدود لم تكن واضحة أو محمية تقنياً. ظهر جانب آخر من المخاطر عندما حاول مهاجمون استغلال في عمليات اختراق مؤسسات، ما يوضح تعدد مصادر الخطر بين سلوك الوكيل نفسه ومحاولات إساءة استخدامه.