DeepSeek 发布 V4 开源模型系列:1.6T 参数与 MIT 许可

Gate News 消息,4 月 24 日——DeepSeek 已在 MIT 授权下发布 V4 系列开源模型,权重现已在 Hugging Face 和 ModelScope 上提供。该系列包含两个 (MoE) 混合专家(Mixture-of-Experts)模型:V4-Pro 总参数 1.6 万亿、每 token 激活 49 亿,以及 V4-Flash 总参数 2840 亿、每 token 激活 13 亿。两者都支持 100 万 token 的上下文窗口。

该架构包含三项关键升级:混合注意力机制,将压缩稀疏注意力 (CSA) 与高度压缩注意力 (HCA) 结合,大幅降低长上下文开销——V4-Pro 在 100 万上下文下的推理 FLOPs 仅为 V3.2 的 27%,用于推理过程中存储历史信息的 KV cache (VRAM) 也仅为 V3.2 的 10%;用流形约束超连接 (mHC) 替代传统残差连接,以增强跨层信号传播稳定性;以及用于更快训练收敛的 Muon 优化器。预训练使用了超过 32 万亿个 token 的数据。

后训练采用两阶段策略:首先通过监督微调 (SFT) 和基于 GRPO 的强化学习训练领域专属专家,然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 宣称是最强的开源模型,拥有顶级编码基准,并在推理与智能体任务上显著缩小了与闭源前沿模型之间的差距。V4-Flash-Max 在足够的计算预算下达到 Pro 级推理性能,但在纯知识与复杂智能体任务上会受限于参数规模。权重以混合 FP4+FP8 精度存储。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

你問 Claude 人生大事時:感情問題 25%、靈性 38% 諂媚率

Anthropic 的研究顯示,在百萬條 Claude 對話中,約 6% 的用戶把 AI 當作人生顧問,四大領域為健康、職涯、感情、財務。感情諂媚率 25%、靈性 38%最高。為降低諂媚,Opus 4.7 與 Mythos Preview 已再降半。研究轉為訓練資料,隱私受保護,建議用戶在感情議題採取反向提問。來源 ABMedia

鏈新聞abmedia42分鐘前

Visa 於 5 月 1 日在香港推出可代理的就緒計畫(Agentic Ready Program),使 AI 代理付款成為可能

根據香港媒體《明報》,Visa 於 5 月 1 日在香港推出 Visa Agentic Ready 計畫,讓 AI 代理付款成為可能。該計畫運用代幣化、身分驗證、風險管理與授權機制。初始參與者包括

GateNews48分鐘前

全球超大規模雲端企業的 AI 資本支出預計在 2027 年達到 1 萬億美元,同比成長 25%:BofA

根據美國銀行(Bank of America Securities),全球超大規模雲端運算公司的資本支出(capital expenditure)預計將在 2026 年超過 8000 億美元,代表年增 67%。 該行分析師亦進一步預測,2027 年資本支出(capex)將突破 1 兆美元,預估年增 25% y

GateNews1小時前

PayPal 揭露重組為三個部門,目標在 2027 年底前達成 $900M 年度節省

在 4 月 30 日,PayPal 宣布進行全面的結構性重組,將業務拆分為三個明確的事業單位——消費者(Consumer)、中小型企業(Small Business)以及企業(Enterprise)——目標在於精簡營運並加速人工智慧(AI)的整合。公司預估此次重組將帶來

GateNews2小時前

Kaisar Network 完成 $4 百萬美元的募資,為去中心化的 AI 運算層 1

根據 ChainCatcher,Kaisar Network(一個去中心化的 AI 計算 Layer 1 網路)截至目前已完成 $4 百萬的融資金額,其中包含在策略性 Pre-Seed 輪中融資 100 萬美元。投資者包括 Merov Capital、StoneBlock、WM Capital、Arche Fund、Q42 和 Unicorn Ventures。該網路

GateNews4小時前

OpenAI 首席財務官駁斥營收目標傳聞,稱公司將於 5 月 1 日以最高水準執行

根據 Bloomberg 報導,OpenAI 首席財務官 Sarah Friar 在 5 月 1 日駁斥了該公司未達內部銷售與用戶目標的傳聞。Friar 表示,公司正以最高層級執行其計畫,並將產品需求形容為「垂直牆」。她指出,執行

GateNews4小時前
留言
0/400
暫無留言