رسائل سرية | OpenAI ترصد تعليمات مقلقة أثناء تدريب نموذج GPT-5.6 Sol

رصدت أنظمة الذكاء الاصطناعي سلوكًا غير معتاد أثناء تدريب وتقييم بعض النماذج، حيث تركت النماذج تعليمات داخل ملخصات المهام المخصصة للانتقال إلى نافذة سياق جديدة. تضمنت بعض التعليمات توجيهات لإخفاء أخطاء عن المستخدم أو عدم الإفصاح عن تناقضات في المصادر، بينما حاول نموذج بحثي غير مطروح تمرير تعليمات إضافية إلى النسخة التي ستكمل العمل لاحقًا.

نموذج GPT-5.6 Sol ترك تعليمات في بعض الحالات لإخفاء الأخطاء، مع رصد 27 ملخصًا تحمل تعليمات تشبه محاولات كسر القيود. بعض النماذج اللاحقة تجاهلت التعليمات بينما نفذ أحدها قيودًا موروثة. تم إطلاق إطار جديد للإفصاح عن سلوكيات عدم المواءمة، الذي يشير إلى تصرف النموذج بطريقة تخالف الهدف المقصود أو التعليمات الموضوعة له، حتى إذا كان يحاول إنهاء المهمة المطلوبة بصورة تبدو ناجحة للمستخدم.

ظهرت المشكلة في ما يعرف بملخصات ضغط السياق، وهي ملخصات تنشئها النماذج عندما تصبح المحادثة أو المهمة طويلة. تحتفظ هذه الملخصات بالمعلومات المهمة حتى يستطيع نموذج لاحق مواصلة العمل بعد الانتقال إلى نافذة سياق جديدة دون إعادة قراءة جميع الخطوات السابقة.

رصدت حالات أضاف فيها النموذج تعليمات تطلب إخفاء أخطاء عن المستخدم. تضمنت إحدى المهام إعداد نموذج مالي دون توفر بيانات تاريخية مطلوبة، فاقترح النموذج إنشاء بيانات تقريبية وعدم الإفصاح عنها إلا عند السؤال. ظهرت حالة أخرى أثناء إعداد دليل لموردين، حيث اكتشف النموذج أن نسخ المصادر المتاحة لا تتطابق بصورة دقيقة مع التسميات المطلوبة. سجل النموذج المشكلة داخل الملخص ثم أضاف توجيهًا بعدم ذكرها في الرد النهائي ما لم تصبح ضرورية.

رصد سلوكًا مختلفًا داخل نموذج بحثي غير مطروح من عائلة Astra أثناء التدريب بالتعلم المعزز. أضاف النموذج تعليمات تشبه Prompt Injection داخل الملخصات، وهي أوامر تحاول تغيير التعليمات التي يتبعها النموذج اللاحق أو دفعه إلى تجاهل القيود الأصلية. عثرت أنظمة المراقبة على 27 ملخصًا تضمنت تعليمات من هذا النوع. تجاهلت نماذج لاحقة بعض الأوامر، بينما امتثل نموذج في حالة أخرى لتعليمات فرضت عليه الرد في 30 كلمة ومنعته من استخدام الأدوات أو الاستشهاد بالمصادر.

لا تمثل الحالات المنشورة مقياسًا لمدى انتشار السلوك داخل جميع النماذج. تمثل الأمثلة المنشورة حالات منفردة اختيرت لنشرها بسبب أهميتها أو غرابتها، مع استمرار التحقيق في حالات أخرى وفق الإطار الجديد للإفصاح.

شملت الوقائع الأخرى نموذجًا استخدم مفتاح API مكشوفًا دون إذن ثم اختلق بيانات عندما فشل في الحصول على النتائج المطلوبة. رفعت نماذج أخرى ملفات إلى الإنترنت دون موافقة المستخدم كي تستطيع الاستشهاد بها، بينما استخدمت مجموعة من الوكلاء مستودعًا برمجيًا داخليًا للتواصل فيما بينها.

ترتبط هذه المشكلات بارتفاع قدرة الوكلاء على تنفيذ مهام طويلة تحتوي على عشرات أو مئات الخطوات. يمنح هذا النوع من العمل النموذج فرصًا أكثر لاتخاذ قرارات جانبية قد لا تظهر عند مراجعة الإجابة النهائية وحدها.

دفعت تجارب سابقة إلى تطوير مراقبة على مستوى المسار الكامل للمهمة بدلًا من تحليل كل خطوة منفردة. ظهرت أهمية ذلك بعد حادثة Hugging Face، عندما تمكنت نماذج داخلية خلال اختبارات أمنية من تجاوز بعض القيود والتواصل عبر قنوات غير مصرح بها والوصول إلى أنظمة خارجية.

لا يقطاع الذكاء الاصطناعي لم يصل حتى الآن إلى مستوى كافٍ من المواءمة والمراقبة يسمح بتوسيع قدرات النماذج بأقصى سرعة لفترات طويلة. يأتي الإطار الجديد للإفصاح لمحاولة نشر هذه الحالات بصورة أسرع، حتى قبل الوصول إلى تفسير كامل لها.