DeepSeek 发布 V4 开源模型系列:1.6T 参数与 MIT 许可

Gate News 消息,4 月 24 日——DeepSeek 已在 MIT 许可下发布 V4 系列开源模型,权重现已在 Hugging Face 和 ModelScope 上提供。该系列包含两个专家混合 (MoE) 模型:V4-Pro 总参数 1.6 万亿,按每个 token 激活 49 亿;以及 V4-Flash 总参数 2840 亿,按每个 token 激活 130 亿。两者都支持 100 万 token 的上下文窗口。

该架构包含三项关键升级:一种混合注意力机制,结合压缩稀疏注意力 (CSA) 和高度压缩注意力 (HCA),从而显著降低长上下文开销——V4-Pro 在 1M 上下文下的推理 FLOPs 仅为 V3.2 的 27%,用于在推理过程中存储历史信息的 KV 缓存 (VRAM) 仅为 V3.2 的 10%;用流形约束超连接 (mHC) 替代传统残差连接,以增强跨层信号传播稳定性;以及 Muon 优化器以实现更快的训练收敛。预训练使用了超过 32 万亿 tokens 的数据。

后训练采用两阶段方法:首先通过监督微调 (SFT) 和 GRPO 强化学习训练领域特定专家,然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 声称是最强的开源模型,拥有顶级代码基准,并在推理和智能体任务上显著缩小了与闭源前沿模型的差距。V4-Flash-Max 在算力充足的情况下实现了 Pro 级推理性能,但在纯知识和复杂智能体任务上受限于参数规模。权重以混合 FP4+FP8 精度存储。

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.

مقالات ذات صلة

منصة X (تويتر) تشهد أكبر ترقية إعلانية في 20 عاماً، مع تدخل xAI، ويصبح توجيه الإعلانات المبني على المعنى باستخدام الذكاء الاصطناعي في صميم العملية

أعلنت X أنها ستطلق، بدءًا من أبريل 2026، أكبر عملية تحديث لمنصّة الإعلانات خلال 20 عامًا، عبر إعادة بناء التكنولوجيا الأساسية ودمج xAI. يركز النظام الأساسي الجديد على تحسين الأداء بوساطة الذكاء الاصطناعي، والإعلانات الدلالية والسياقية، ما يعزز سهولة التشغيل والتحكم في حملات الإعلانات وإدارتها. وتتمثل الأهداف في تحويل الإعلانات إلى إشارات تجارية ضمن سياق آنِي، إلى جانب مواءمتها مع استراتيجية Everything App لتصبح محركًا تجاريًا داخل منظومة X.

ChainNewsAbmediaمنذ 2 س

مدعومة من OpenAI، تطلق 1X مصنعاً بمساحة 58,000 قدم مربع في كاليفورنيا، وتستهدف 10,000 روبوت في عامها الأول

وفقاً لـBloomberg، افتتحت 1X Technologies، وهي شركة ناشئة للروبوتات مدعومة من OpenAI ومؤسسة في النرويج، منشأة تصنيع بمساحة 58,000 قدم مربع في هايوارد، كاليفورنيا، بهدف الريادة في التصنيع الشامل لروبوتات بشرية الشكل موجهة للمستهلكين. من المتوقع أن تنتج المنشأة 10,000 روبوت في…

GateNewsمنذ 4 س

مسودة سياسة للذكاء الاصطناعي من البيت الأبيض تُوجّه الوكالات الأمريكية إلى استخدام مزوّدي ذكاء اصطناعي متعددين في 30 أبريل

وبحسب مصادر استشهدت بها PANews في 30 أبريل، يقوم مسؤولون في البيت الأبيض بإعداد مذكرة سياسة واسعة للذكاء الاصطناعي تُوجّه وكالات الحكومة الأمريكية إلى اعتماد مزوّدي خدمات متعددين للذكاء الاصطناعي وتجنب الاعتماد على مورد واحد. كما تتطلب المذكرة من جميع شركات الذكاء الاصطناعي المتعاقدة

GateNewsمنذ 5 س

أطلقت إدارة أمن الفضاء السيبراني في الصين حملة مدتها 4 أشهر للحد من فوضى تطبيقات الذكاء الاصطناعي في 30 أبريل

وفقاً لـCCTV News، أطلقت إدارة الفضاء السيبراني الصينية في 30 أبريل حملة وطنية مدتها أربعة أشهر لمعالجة فوضى تطبيقات الذكاء الاصطناعي. تم تنفيذ المبادرة على مرحلتين، وتستهدف مشكلات منها نقص تسجيل النماذج، وعدم كفاية قدرات السلامة والمراجعة لدى المنصات،

GateNewsمنذ 5 س

Forefront Tech تَستكمل تسعير $100M للاكتتاب العام (IPO)، وتُدرَج في ناسداك تحت الرمز FTHAU

وفقاً لـ ChainCatcher، أكملت شركة الاستحواذ ذات الأغراض الخاصة Forefront Tech تسعير طرحها العام الأولي بقيمة 100 مليون دولار في 30 أبريل، وستدرج في ناسداك تحت رمز التداول FTHAU. وتخطط الشركة لاستخدام العائدات لمتابعة فرص الاندماج والاستحواذ في مجال البلوك تشين، والتمويل التقني، والذكاء الاصطناعي في

GateNewsمنذ 6 س

تم تحصيل رسوم إضافية بقيمة 200.98 دولار من مستخدم من خلال كود Anthropic Claude بسبب خلل في الفوترة، وبعد رفض طلب استرداد المبلغ في البداية تم التعويض بالكامل

وفقاً لمراقبة أجرتها Beating، أدى خلل في الفوترة في خدمة Claude Code التابعة لشركة Anthropic إلى فرض رسوم إضافية على أحد مشتركي Max 20x بقيمة 200.98 دولار أمريكي، عن استخدام زائد، رغم أن هذا المستخدم كان يستخدم 13% فقط من حصته الشهرية. تم تشغيل الخلل عندما احتوت سجلات تاريخ الالتزامات (commits) في مستودع git الخاص بالمستخدم على الأحرف الكبيرة

GateNewsمنذ 7 س
تعليق
0/400
لا توجد تعليقات