Gate News 消息，4月24日——DeepSeek 的 V4 技术报告显示，V4-Flash 和 V4-Pro 分别在 32T 和 33T token 上进行了预训练，相较于 V3 使用的约 15T token 翻了一倍。该报告承认在训练过程中遇到了“显著的不稳定性挑战”，损失尖峰反复出现，是由于 Mixture-of-Experts (MoE) 层中的异常；路由机制本身会加剧这些异常，而简单的回滚也无法解决问题。
DeepSeek 目前已落地到实际训练中的两项解决方案：预判式路由（Anticipatory Routing），它将路由索引计算与骨干网络更新解耦，并仅在检测到损失尖峰时自动触发 (增加约 20% 的开销)，以及 SwiGLU 夹持（SwiGLU Clamping），通过直接将激活值夹持到固定范围来抑制异常。报告称这两种方案都有效，但承认“底层原理仍未被充分理解”。
Susan Zhang（谷歌 DeepMind 研究员，曾在 Meta AI 和 OpenAI 工作）评论称，由于训练数据翻倍所触发的不稳定性“解释了延迟”。她将这两种解决方案描述为“补丁（band-aids）”，同时也承认了 DeepSeek 的技术透明度。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
Claw Intelligence 与 Block Sec Arena 合作以加强 BNB Chain 安全性
根据 Block Sec Arena 于 4 月 30 日发布的官方公告，Claw Intelligence（一个建立在 BNB Chain 上的、由 AI 驱动的 Web3 平台）已宣布与 Block Sec Arena 达成战略合作，以将先进的网络安全基础设施集成到其生态系统中。此次合作旨在加强 p
GateNews7小时前
NTT 宣布 AI x OWN 计划，计划将日本电力产能提高至三倍并到 2033 年达到 1 GW
4 月 27 日，NTT 总裁 Akira Shimada 宣布 AI x OWN 计划，即该公司为面向实时 AI 使用而重新设计互联网基础设施所做的努力。NTT 计划将其国内发电能力从约 300 MW（今天）提升至，到 2033 财年约 1 吉瓦，作为这家电信巨头
GateNews9小时前
AI 平台 Certifyde 于 5 月 1 日完成 200 万美元种子轮融资，由 Ripple 首席执行官 Brad Garlinghouse 支持
据 TechfundingNews 报道，AI 应用平台 Certifyde 于 5 月 1 日完成了一轮 200 万美元的种子轮融资。投资方包括 K5 Global、Flamingo Capital，以及天使投资人，包括 Honey 联合创始人 George Ruan、Ripple 首席执行官 Brad Garlinghouse，以及 Nutra 联合创始人 Roland
GateNews9小时前
五角大楼科技长：Anthropic 仍在黑名单、Mythos 例外处理
美国国防部科技长（Pentagon technology chief）5 月 1 日向国会表示，「Anthropic 仍在黑名单上，但 Mythos Preview 是另一个议题」，正式承认国防部对 Anthropic 主品牌及其新模型 Mythos 采取区别对待。此一表态与 4 月 19 日 Axios 揭露 NSA（国家安全局）已实际使用 Mythos 形成呼应，并正式确立「Mythos 例外管道」的政策走向——同时也意味着国防部曾在法庭上主张使用 Anthropic 工具会威胁国安，与当前实质做法在法律论述上形成内部矛盾。
Anthropic vs Pentagon
鏈新聞abmedia10小时前
137 Ventures 在新资金中完成 $700M ，管理资产（AUM）达到 150 亿美元
据 ChainCatcher 报道，137 Ventures，这家是 SpaceX 的早期投资者，最近已完成两只新基金的募资，总计超过 7 亿美元，使其管理资产规模提升至超过 150 亿美元。新资金将支持在 AI 代理、机器人和太空推进方面的投资
GateNews10小时前
Reddit 在强劲的 Q2 展望带动下飙升 16%；苹果面临 Mac 供应短缺，因 AI 需求超过供给
Reddit 的股价在周五开盘前上涨了 16%，原因是该公司发布了高于预期的未来一个季度营收展望。日活跃访问者增长 17% 至 1.268 亿人次，而全球人均营收跃升 44%，受 AI 驱动的
GateNews10小时前
