قدّمت OpenAI GPT-Red لتعزيز قدرة GPT-5.6 على مقاومة حقن الأوامر

قدّمت OpenAI GPT-Red، وهو نظام ذكاء اصطناعي آلي مُصمَّم لتحديد ثغرات أمنية في نماذج اللغة. وأعلنت الأربعاء أن الأداة ساعدت على تعزيز GPT-5.6 ضد هجمات حقن الأوامر (prompt injection) قبل طرحه. تم تطوير النظام لمعالجة عنق الزجاجة في توسيع نطاق اختبارات السلامة في مجال “التمهيد الأحمر” للأمن (AI safety red-teaming) مع نمو قدرات النماذج. تمثل GPT-Red محاولة OpenAI لأتمتة اختبارات الأمن بما يتكامل مع شبكة OpenAI Red Teaming Network الحالية التي أطلقتها في 2023، والتي تستخدم نماذج AI لتوليد هجمات مُعاكِسة (adversarial attacks) على نطاق يصعب على الباحثين البشر تحقيقه وحدهم.

تحصل GPT-Red على اسمها من “التمهيد الأحمر” في الأمن السيبراني، وهي ممارسة السعي عمداً إلى كسر نظام لاكتشاف مواطن الضعف قبل أن يتمكن المهاجمون من استغلالها. قالت الشركة إن الهجمات التي اكتشفتها GPT-Red تم إدراجها في عملية تدريب GPT-5.6. وكتبت OpenAI على X أن “التمهيد الأحمر” ضروري، لكن النهج الحالية يصعب توسيعها، ما يخلق عنق زجاجة حاسماً تعالجه GPT-Red.

GPT-Red تحقق نسبة نجاح 84% في التقييمات الداخلية

أفادت OpenAI بأن GPT-Red نجحت في 84% من سيناريوهات التقييم الداخلي، مقارنةً بنسبة 13% لفرق “التمهيد الأحمر” البشرية في الاختبارات نفسها. خفّض النظام حالات الفشل في أحد أصعب معايير حقن الأوامر لدى OpenAI أثناء تدريب GPT-5.6. ووفقاً لـ OpenAI، تتعلم GPT-Red عبر لعب ذاتي مُعاكِس (adversarial self-play)، حيث يتمثل هدفها في حقن الأوامر (prompt inject) في مجموعة متنوعة من نماذج المدافعين التي تتحداها، مع استخدام كل هجوم ناجح لتحسين هؤلاء المدافعين.

التعلم التعزيزي باللعب الذاتي يُشغّل تدريب GPT-Red

تم تدريب GPT-Red عبر التعلم التعزيزي باللعب الذاتي، من خلال توليد هجمات متصاعدة القوة لحقن الأوامر بينما تتعلم نماذج المدافعين مقاومتها. قالت OpenAI إن هذا النهج يدفع GPT-Red إلى مواصلة العثور على إخفاقات أوسع وأكثر تعقيداً. وصفت الشركة العملية بأنها “عجلة دوّارة” للسلامة، حيث يمكن استخدام نماذج اليوم لصنع نماذج الغد لتصبح أكثر قوة، واتساقاً (aligned)، وموثوقية.

التلاعب بوكيل آلة بيع يعرض قدرات GPT-Red

في إحدى دراسات الحالة، قالت OpenAI إن النظام تلاعب بوكيل آلة بيع مستقلة لخفض الأسعار، وطلب مخزون بسعر مخفّض، وإلغاء طلب عميل آخر، قبل الكشف عن الثغرات ومعالجتها. توضح دراسة الحالة هذه أنواع المخاطر الأمنية الواقعية التي صُممت GPT-Red لاكتشافها قبل طرح النماذج.

ذكاء اصطناعي محمي بالذكاء الاصطناعي يعكس تحوّلاً أوسع في القطاع

تعكس إعلانات OpenAI تحولاً أوسع نحو استخدام AI لتأمين أنظمة AI. في وقت سابق من هذا الشهر، قالت مؤسسة Ethereum إنها قامت بنشر وكلاء يعملون بالذكاء الاصطناعي لإجراء “تمهيد أحمر” على البنية التحتية الحرجة للشبكة، ما كشف عن ثغرة في البرمجيات المستخدمة من قبل عملاء توافق Ethereum (Ethereum consensus clients). قال باحثون إن وكلاء AI يمكنهم البحث في قواعد شيفرة أكبر من البشر، لكن التحدي انتقل من إيجاد الأخطاء المحتملة إلى إثبات أيها قابل للاستغلال فعلاً.

صرّحت OpenAI بأن GPT-Red ستظل أداة داخلية لأنها تتضمن قدرات هجومية تم تطويرها عمداً. ويُقصد من النظام أن يكمل فرق “التمهيد الأحمر” البشرية، واختبارات طرف ثالث، وغيرها من إجراءات سلامة AI. تتبع GPT-Red سنوات من جهود الأمن السيبراني التي قامت بها OpenAI بعد الإطلاق العام لـ ChatGPT، عبر توسيع شبكة OpenAI Red Teaming Network التي ضمت باحثين خارجيين في الأمن السيبراني وخبراء مجالات لاستكشاف النماذج بحثاً عن ثغرات أمنية.

الأسئلة الشائعة

ما هي GPT-Red وماذا تفعل؟ GPT-Red هو نظام ذكاء اصطناعي آلي قدمته OpenAI للعثور على ثغرات أمنية في نماذج اللغة عبر الاختبار المُعاكِس. يستخدم النظام التعلم التعزيزي باللعب الذاتي لتوليد هجمات حقن الأوامر وغيرها من الاختبارات المُعاكِسة، مع إدراج الهجمات الناجحة في تدريب النموذج لتحسين متانته.

كيف كانت أداء GPT-Red مقارنةً بفرق “التمهيد الأحمر” البشرية؟ أفادت OpenAI بأن GPT-Red نجحت في 84% من سيناريوهات التقييم الداخلي، مقارنةً بنسبة 13% لفرق “التمهيد الأحمر” البشرية في الاختبارات نفسها. تم استخدام النظام لتدريب GPT-5.6، وخفّض حالات الفشل في أحد أصعب معايير حقن الأوامر لدى OpenAI.

لماذا ستظل GPT-Red أداة داخلية؟ قالت OpenAI إن GPT-Red ستظل أداة داخلية لأنها تتضمن قدرات هجومية تم تطويرها عمداً. صُمم النظام ليكمل فرق “التمهيد الأحمر” البشرية، واختبارات طرف ثالث، وغيرها من تدابير سلامة AI، بدلاً من طرحه علناً.