Gate 新聞訊息，4 月 24 日——DeepSeek 的 V4 技術報告顯示，V4-Flash 與 V4-Pro 分別在 32T 與 33T tokens 上進行預訓練，比用於 V3 的約 15T tokens 翻了一倍。報告承認在訓練過程中遇到「重大不穩定性挑戰」，損失尖峰反覆發生，原因是 Mixture-of-Experts (MoE) 層中的異常；而路由機制本身也會加劇這些異常，單純的回滾也無法解決問題。
DeepSeek 現已在實際訓練中採用了兩項解決方案：預判式路由（Anticipatory Routing），用於將路由索引計算與主幹網路更新解耦，僅在偵測到損失尖峰時自動觸發，並 (增加約 20% 的開銷)；以及 SwiGLU 限幅（SwiGLU Clamping），透過將啟動值直接夾限到固定範圍來直接抑制異常。報告表示這兩種方法都有效，但也承認「底層原理仍未被充分理解」。
Susan Zhang 是一位 Google DeepMind 研究員，曾在 Meta AI 與 OpenAI 工作。她表示，因訓練數據翻倍所觸發的不穩定性「解釋了延遲」。她將這兩項解決方案稱為「補丁（band-aids）」，同時也承認 DeepSeek 的技術透明度。
免責聲明：本頁面資訊可能來自第三方，不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考，不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證，對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為，價格波動劇烈，您可能損失全部投資本金。請充分了解相關風險，並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見
聲明。
相關文章
Claw Intelligence 與 Block Sec Arena 合作以強化 BNB Chain 安全性
根據 Block Sec Arena 在 4 月 30 日的官方公告，Claw Intelligence（一個由 AI 驅動、建立在 BNB Chain 上的 Web3 平台）宣布與 Block Sec Arena 建立策略夥伴關係，以將先進的資安基礎設施整合進其生態系統。此次合作旨在強化 p
GateNews6小時前
NTT 宣布 AI x OWN 事業計畫，規劃於 2033 年前將日本發電能力提升至 1 GW 的三倍
4 月 27 日，NTT 總裁 篠田 昭太 宣布「AI x OWN」計畫，該公司努力重新設計網際網路基礎設施以支援即時 AI 使用。NTT 計畫將其國內發電能力從目前約 300 MW 提升至 2033 財政年度前後約 1 GW，作為這家電信巨頭
GateNews8小時前
AI 平台 Certifyde 於 5 月 1 日完成 200 萬美元種子輪融資，由 Ripple 執行長 Brad Garlinghouse 背書
根據 TechfundingNews，AI 應用平台 Certifyde 於 5 月 1 日完成一輪 200 萬美元的種子輪融資。投資方包括 K5 Global、Flamingo Capital，以及天使投資人，包括 Honey 的聯合創辦人 George Ruan、Ripple 執行長 Brad Garlinghouse，以及 Nutra 的聯合創辦人 Roland
GateNews8小時前
Pentagon 科技長：Anthropic 仍黑名單、Mythos 例外處理
美國國防部科技長（Pentagon technology chief）5 月 1 日對國會表示，「Anthropic 仍在黑名單上，但 Mythos Preview 是另一個議題」，正式承認國防部對 Anthropic 主品牌與其新模型 Mythos 採取區別對待。此一表態與 4 月 19 日 Axios 揭露 NSA（國家安全局）已實際使用 Mythos 形成呼應，並正式確立「Mythos 例外管道」的政策走向—同時也意味國防部曾在法庭上主張使用 Anthropic 工具會威脅國安，與當前實質做法形成法律論述上的內部矛盾。
Anthropic vs Pentagon
鏈新聞abmedia9小時前
137 Ventures 在新資金中完成 $700M ，管理資產（AUM）達到 150 億美元
根據 ChainCatcher，早期投資 SpaceX 的 137 Ventures 近期完成了兩檔新基金的募資，總額超過 7 億美元，將其管理資產提高至超過 150 億美元。這筆新資本將用於投資 AI 代理、機器人以及太空推進
GateNews9小時前
Reddit 第 16% 飆升，因 Q2 展望強勁；蘋果面臨 Mac 缺貨，因 AI 需求超過供應
Reddit 的股價在週五美股開盤前上漲 16%，原因是該公司發布了高於預期的未來一季營收展望。日活躍訪客成長 17% 至 1.268 億，且全球每位用戶平均營收跳升 44%，由 AI 驅動
GateNews9小時前
