Gate News 訊息,4 月 22 日——普林斯頓博士生 Yifan Zhang 在 X 上披露 DeepSeek V4 的完整技術規格,該內容在 4 月 19 日的預告之後發布。V4 具備 1.6 兆(1.6 trillion)總參數,並有輕量版本 V4-Lite,其參數為 2850 億(285 billion)。
該模型採用 DSA2 注意力機制,結合 DeepSeek 先前在 V3.2 的 DSA (DeepSeek Sparse Attention) 與 NSA (Native Sparse Attention)(含 512 維的頭部嵌入),並搭配稀疏多查詢注意力 (MQA) 與滑動視窗注意力 (SWA)。MoE (Mixture of Experts) 層包含 384 位專家,每次前向傳播啟用 6 位,並使用 Fused MoE Mega-Kernel。殘差連接採用 Hyper-Connections 架構。
首次揭露的訓練細節包括使用 Muon 優化器 (applying Newton-Schulz orthogonalization to momentum updates) 來處理動量更新、32K token 的預訓練上下文視窗,以及 GRPO (Group Relative Policy Optimization),並在強化學習期間使用 KL 散度校正。最終上下文視窗擴展至 100 萬(1 million)tokens。該模型為僅文字模型。
Zhang 並未受僱於 DeepSeek,公司也尚未對所披露資訊作出正式評論。
免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見
聲明。
相關文章
Claw Intelligence 與 Block Sec Arena 合作以強化 BNB Chain 安全性
根據 Block Sec Arena 在 4 月 30 日的官方公告,Claw Intelligence(一個由 AI 驅動、建立在 BNB Chain 上的 Web3 平台)宣布與 Block Sec Arena 建立策略夥伴關係,以將先進的資安基礎設施整合進其生態系統。此次合作旨在強化 p
GateNews17分鐘前
NTT 宣布 AI x OWN 事業計畫,規劃於 2033 年前將日本發電能力提升至 1 GW 的三倍
4 月 27 日,NTT 總裁 篠田 昭太 宣布「AI x OWN」計畫,該公司努力重新設計網際網路基礎設施以支援即時 AI 使用。NTT 計畫將其國內發電能力從目前約 300 MW 提升至 2033 財政年度前後約 1 GW,作為這家電信巨頭
GateNews1小時前
AI 平台 Certifyde 於 5 月 1 日完成 200 萬美元種子輪融資,由 Ripple 執行長 Brad Garlinghouse 背書
根據 TechfundingNews,AI 應用平台 Certifyde 於 5 月 1 日完成一輪 200 萬美元的種子輪融資。投資方包括 K5 Global、Flamingo Capital,以及天使投資人,包括 Honey 的聯合創辦人 George Ruan、Ripple 執行長 Brad Garlinghouse,以及 Nutra 的聯合創辦人 Roland
GateNews2小時前
Pentagon 科技長:Anthropic 仍黑名單、Mythos 例外處理
美國國防部科技長(Pentagon technology chief)5 月 1 日對國會表示,「Anthropic 仍在黑名單上,但 Mythos Preview 是另一個議題」,正式承認國防部對 Anthropic 主品牌與其新模型 Mythos 採取區別對待。此一表態與 4 月 19 日 Axios 揭露 NSA(國家安全局)已實際使用 Mythos 形成呼應,並正式確立「Mythos 例外管道」的政策走向—同時也意味國防部曾在法庭上主張使用 Anthropic 工具會威脅國安,與當前實質做法形成法律論述上的內部矛盾。
Anthropic vs Pentagon
鏈新聞abmedia3小時前
137 Ventures 在新資金中完成 $700M ,管理資產(AUM)達到 150 億美元
根據 ChainCatcher,早期投資 SpaceX 的 137 Ventures 近期完成了兩檔新基金的募資,總額超過 7 億美元,將其管理資產提高至超過 150 億美元。這筆新資本將用於投資 AI 代理、機器人以及太空推進
GateNews3小時前
Reddit 第 16% 飆升,因 Q2 展望強勁;蘋果面臨 Mac 缺貨,因 AI 需求超過供應
Reddit 的股價在週五美股開盤前上漲 16%,原因是該公司發布了高於預期的未來一季營收展望。日活躍訪客成長 17% 至 1.268 億,且全球每位用戶平均營收跳升 44%,由 AI 驅動
GateNews3小時前