小米披露 MiMo-V2-Pro 训练细节:1T 模型参数,部署成千上万台 GPU

Gate News 消息,4月24日——小米的大语言模型团队负责人罗福丽在一场深入采访中透露,MiMo-V2-Pro 模型的总参数量达到 1 万亿,并且训练过程中需要成千上万台 GPU。她表示,1T 规模代表要实现接近 Claude Opus 4.6 等级的性能,并为下一阶段 AI 智能体抢占具备竞争力的入场券所达到的最低门槛

从技术层面看,Pro 版本采用极端稀疏注意力机制,在全局注意力与滑动窗口注意力之间的比例为 7:1,从而在长上下文处理时控制推理成本。模型还保留了 MTP (Multi-Token Prediction) 架构,以利用富余的计算能力实现更快的推理。

在管理层面,100 人规模的 MiMo 团队中,直接参与核心迭代的只有 30-40 人。团队在没有正式层级或明确子分组划分的情况下运作,也没有交付截止期限。遇到诸如训练损失突增这类不稳定的数值问题时,团队会优先考虑停止训练以进行排查,即使这意味着停止业务一到两周,并产生数百万美元的计算成本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

X 将于 2026 年 4 月推出重建的 AI 驱动广告平台,20 年来最大规模的改造

据 X 称,该平台于 2026 年 4 月开始分阶段推出重建后的广告平台。此举标志着该公司在约 20 年内进行最大规模的广告系统改造,因为公司正将更多广告工具转向 AI。新的 Ads Manager 使用基于 AI 的定向与排名,基于

GateNews47 分钟前

英特尔在 4 月因强劲财报和人工智能乐观情绪大涨 114%

据 CNBC 报道,英特尔的股价在 4 月上涨了 114%,创下有史以来最佳单月表现,原因是季度财报表现更强,以及投资者对其与 AI 相关的复苏重新抱有乐观情绪。4 月 24 日,股价在 CEO Lip-Bu Tan 宣布季度营收增长超过 7% 之后上涨了 24%,而

GateNews1小时前

Marathon Digital Holdings 将以 15 亿美元收购 Long Ridge Energy,用于扩建 AI 数据中心

Marathon Digital Holdings 以 15 亿美元收购 Long Ridge Energy,以扩展其 AI 数据中心产能。该交易包括一座 505 MW 的天然气发电厂,以及俄亥俄州 1,600 英亩土地,为未来 AI 和 IT 基础设施提供超过 1 GW 的电力产能

GateNews1小时前

OpenClaw 于 2026.4.29 版本在 4 月 29 日发布,将内存升级为带关系追踪的个性化 Wiki

根据 Beating,开源 AI 助手 OpenClaw(GitHub 36.7 万个星标)于 4 月 29 日发布 v2026.4.29,标志着它在两天内的第二次更新。其记忆系统从基于检索的简单回忆演进为个性化 wiki,使得智能体能够自动构建角色画像并追踪 r

GateNews2小时前

马斯克作证称 xAI 使用 OpenAI 模型来训练 Grok

埃隆·马斯克周四在加州联邦法院作证称,据 TechCrunch 报道,他的人工智能公司 xAI 在训练其 Grok 聊天机器人时部分使用了 OpenAI 模型。该承认代表了大型 AI 开发者对一种做法罕见的公开认可,而这种做法正日益受到

Crypto Frontier4小时前

Google 执行长皮查伊透露利用 Gemini AI 洞悉人性建立更真诚的沟通

皮查伊表示,在重要会议前,他用 Gemini 的观点分析预测对方心理,以此增进同理心与更真诚的沟通。AI 代理也能自动整理邮件、排程与摘要,使日常琐事更高效。另以开放共创为核心的 AI 平台正在兴起,Gemini 4 等开源技术降低门槛;同时强调建立 AI 治理框架,政界与社会需参与以解决网安、深伪与永续等挑战。

鏈新聞abmedia4小时前
评论
0/400
暂无评论