الصين AI الناشئة Moonshot AI أصدرت مؤخرًا تقريرًا تقنيًا عن نموذج Kimi، حيث اقترحت هيكلًا جديدًا يسمى “Residuals Attention”، في محاولة لإعادة كتابة تصميم المتبقي الذي تم استخدامه لفترة طويلة في Transformer. بعد وقت قصير من نشر التقرير، أشار إيلون ماسك أيضًا على وسائل التواصل الاجتماعي “عمل مثير للإعجاب من Kimi”، مما جعل هذه التقنية تحظى بسرعة باهتمام كبير.
نموذج AI الصيني Kimi يوسع نطاق الانتباه بين النماذج
تركز Kimi في هذه المرة على معالجة آلية مركزية للغاية في Transformer، لكنها نادرًا ما تم إعادة التفكير فيها: اتصال المتبقي. منذ ResNet، كانت معظم النماذج تضيف مخرجات كل طبقة “مرة أخرى مباشرة”، مع الحفاظ على نفس الأوزان. هذا الأمر بسيط ومستقر، ولكن عندما يصبح النموذج عميقًا جدًا، تبدأ المشكلة في الظهور: المعلومات المتراكمة من السابق تصبح أكثر فأكثر، مما يجعل الإشارات الجديدة صعبة الأداء، بل قد تغمر، مما يجعل تدريب النموذج أكثر صعوبة.
أسلوب Kimi هو توسيع آلية الانتباه من “بين الرموز” إلى “بين طبقات النموذج”. في Residuals Attention، لم تعد كل طبقة تستقبل بشكل متساوٍ معلومات جميع الطبقات السابقة، بل تستخدم الانتباه لـ “اختيار” أي الطبقات أكثر أهمية. بمعنى آخر، لم يعد النموذج مجرد إضافة مستمرة، بل سيختار بنشاط المعلومات المفيدة بناءً على المدخلات الحالية.
Kimi نجحت في تحسين الكفاءة بمعدل 1.25 مرة دون زيادة تأخير الاستدلال
لكن إذا نظرت كل طبقة إلى جميع الطبقات التاريخية، سيكون التكلفة مرتفعة جدًا. لذلك اقترحت Kimi طريقة وسطية، تُسمى Residuals Attention الكتلية: حيث يتم تقسيم النموذج إلى عدة كتل، وتحافظ الكتل على طريقة الجمع الأصلية، لكن يتم استخدام الانتباه للاختيار بين الكتل. هذا الاحتفاظ بقدرة “اختيار المعلومات” يقلل بشكل كبير من عبء الذاكرة والحساب، ويمكن تطبيقه مباشرة على النماذج الحالية.
من النتائج، يبدو أن Kimi لم تزيد تقريبًا من تأخير الاستدلال (أقل من 2%)، ولكنها حققت زيادة في الكفاءة بحوالي 1.25 مرة، وحققت تقدمًا في عدة مؤشرات اختبار. وهذا يعني أن هذا التعديل ليس فقط نظريًا جذابًا، بل يحمل أيضًا قيمة عملية. في الماضي، حلت الانتباه “علاقات بين الكلمات”، بينما جعلت Kimi النموذج يفكر بشكل أعمق حول “المعلومات التي يجب استخدامها بين الطبقات المختلفة”.
باختصار، النموذج لا يقرأ البيانات فحسب، بل بدأ أيضًا يتعلم كيفية العودة للبحث عن محتويات سابقة قام بحسابها.
هذا المقال أشاد به ماسك: مثير للإعجاب! ما هي السلاح السري لنموذج AI الصيني Kimi؟ ظهر لأول مرة في Chain News ABMedia.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى
إخلاء المسؤولية.
