بعد استئناف التشغيل الكامل لـ Claude Fable 5 في 1 يوليو، ظهرت على Reddit منشورات من مستخدمين يشتكون من "انخفاض الذكاء" وتفعيل متكرر لآليات مراجعة الأمان. أظهر اختبار BridgeBench من BridgeMind AI انخفاض درجة التصحيح (Debug) من 86.2 إلى 25.9، ودرجة إعادة الهيكلة (Refactoring) من 73.6 إلى 38.4.
اختبار BridgeMind AI: انخفاض درجة التصحيح من 86.2 إلى 25.9
(المصدر: BridgeMind AI)
وفقًا لاختبار BridgeMind AI باستخدام BridgeBench، انخفضت درجة التصحيح بعد إعادة تشغيل Fable 5 من 86.2 إلى 25.9، وانخفضت درجة إعادة الهيكلة من 73.6 إلى 38.4؛ وبناءً على ذلك، اعتبرت BridgeMind AI أن أداء Fable 5 قد ضعف.
ومع ذلك، أشار Decrypt إلى أنه من بين 12 مهمة تصحيح في BridgeBench، نجح Fable 5 في معالجة 3 فقط، بينما تم اعتراض الـ 9 الأخرى بواسطة مصنف الأمان قبل بدء التشغيل، وأُعيد توجيهها إلى نموذج Opus 4.8 الأقل أداءً؛ وتم تسجيل المهام المعترضة بصفر في التقييم، مما أدى إلى الانخفاض الكبير في البيانات الإجمالية لـ BridgeBench، وليس تدهور أداء نموذج Fable 5 نفسه.
الاختبار الأعمى البشري من Arena.ai: انخفاض Elo لرمز الواجهة الأمامية من 1650 إلى 1623
وفقًا لاختبارات Arena.ai التي جمعت آلاف الأصوات التفضيلية من الاختبار الأعمى البشري باستخدام نظام تصنيف Elo:
رمز الواجهة الأمامية: انخفاض طفيف في Elo من 1650 إلى 1623 (ضمن فاصل الثقة)
قدرة معالجة المستندات: ارتفاع بمقدار 34 نقطة
النص الخبير: ارتفاع بمقدار 25 نقطة
الرمز (بشكل عام): انخفاض طفيف بمقدار 18 نقطة
استنتاج Arena.ai: جودة مخرجات Fable 5 لا تزال ممتازة عند تنفيذ المهام الفعلية، ولم تتدهور قدرته الحسابية الأساسية؛ ولم يتغير الأداء العام تقريبًا قبل وبعد التشغيل.
خلفية تحديث مصنف الأمان: اعتماد Anthropic لاستراتيجية اعتراض متحفظة
وفقًا للتقارير، نشرت Anthropic مصنف أمان أكثر صرامة لمنع مشكلة تقنية اختراق Fable 5 التي اكتشفها باحثو أمازون (Amazon) سابقًا؛ حيث تسببت هذه التقنية في مساعدة Fable 5 في تحديد وعرض ثغرات برمجية، مما جعل الحكومة الأمريكية تصنفها كتهديد للأمن القومي، وفرضت قيودًا على التصدير مؤقتًا.
ولهذا، اتبعت Anthropic استراتيجية متحفظة، ووسعت نطاق التسامح لمراجعة الأمان، مما جعل النموذج يميل إلى الرفض عند مواجهة طلبات غامضة، لضمان حظر الضرر. بعد اختبار BleepingComputer، أشارت إلى أن أداء نموذج Fable 5 نفسه لم ينخفض، ولكن شبكة الحماية الأمنية الصارمة أثرت على سهولة الاستخدام اليومية.
الكلمات الرئيسية مثل C و C++ و Rust أو الكلمات التي تتعلق بـ "الأمان" و"الثغرات" تؤدي إلى تفعيل متكرر لنقل المهام إلى Opus 4.8
وفقًا لتقرير اختبار BleepingComputer، يقوم المصنف الجديد بتصنيف طلبات التصحيح غير الضارة بشكل متكرر على أنها ذات مخاطر، ويعيد توجيهها إلى نموذج Opus 4.8؛ إذا تضمنت مطالبة المطورين كلمات رئيسية مثل C و C++ و Rust، أو ذكرت كلمات مثل "الأمان" و"الثغرات"، فإنها تثير آلية إعادة التوجيه بشكل متكرر.
اعترفت Anthropic بمشكلة الاعتراض المفرط، وأكدت أنها ستواصل تحسين النظام، لكنها لم تقدم جدولًا زمنيًا محددًا للتعديل حتى وقت التقرير؛ مما يشكل عائقًا مباشرًا في الاستخدام لمطوري البرمجيات (خاصة المستخدمين الذين يعتمدون على وظيفة المساعدة في التصحيح).
الأسئلة الشائعة
هل حدث بالفعل "انخفاض في الذكاء" بعد استئناف تشغيل Fable 5؟
وفقًا لنتائج اختبار مؤسستين تقييميتين، لم يتدهور الأداء الأساسي لـ Fable 5: أظهر اختبار Elo الأعمى البشري من Arena.ai أن الأداء العام لم يتغير تقريبًا؛ والسبب الجذري للانخفاض الكبير في درجة BridgeBench من BridgeMind AI هو أن مصنف الأمان الجديد اعترض 9 من أصل 12 مهمة تصحيح وأعاد توجيهها إلى Opus 4.8، مما أدى إلى تسجيل المهام المعترضة بصفر وانخفاض البيانات، وليس تدهور أداء النموذج نفسه.
لماذا عززت Anthropic مصنف الأمان لـ Fable 5؟
وفقًا للتقارير، نشرت Anthropic مصنف أمان أكثر صرامة لمنع مشكلة تقنية اختراق Fable 5 التي اكتشفها باحثو أمازون؛ حيث تسببت هذه التقنية في مساعدة Fable 5 في تحديد وعرض ثغرات برمجية، مما جعل الحكومة الأمريكية تصنفها كتهديد للأمن القومي، وفرضت قيودًا على التصدير مؤقتًا.
ما نوع الطلبات الأكثر عرضة للاعتراض الخاطئ من قبل المصنف الجديد؟
وفقًا لتقرير اختبار BleepingComputer، فإن المطالبات التي تحتوي على كلمات رئيسية للغات برمجة مثل C و C++ و Rust، أو طلبات التصحيح التي تذكر كلمات مثل "الأمان" و"الثغرات"، هي الأكثر عرضة لتفعيل آلية اعتراض المصنف، وتؤدي إلى إعادة توجيه المهمة إلى نموذج Opus 4.8 الأقل أداءً.
