英伟达 Blackwell GPU 成本翻倍,但单 token 推理成本较 Hopper 下降 35 倍

根据 Nvidia 最新博客分析,Blackwell GPU 的每小时成本几乎是 Hopper 代际的两倍,但每个 token 的推理成本却低 35 倍。以 DeepSeek-R1 作为测试模型,Blackwell(GB300 NVL72)按每 GPU 每小时 2.65 美元出租,而 Hopper 为 1.41 美元;但单个 GPU 的吞吐量从 90 跃升至 6,000 每秒 token。这样 65 倍的吞吐量增益使每百万 token 成本从 4.20 美元降至 0.12 美元。

0.12 美元这一数值假设完成了全套软件优化,包括 FP4 低精度推理和多 token 预测(MTP)。如果未启用 MTP,每百万 token 成本约为 2.35 美元,启用后降至 0.11 美元,表明仅该特性就带来了 21 倍的优化效果。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Claw Intelligence 与 Block Sec Arena 合作以加强 BNB Chain 安全性

根据 Block Sec Arena 于 4 月 30 日发布的官方公告,Claw Intelligence(一个建立在 BNB Chain 上的、由 AI 驱动的 Web3 平台)已宣布与 Block Sec Arena 达成战略合作,以将先进的网络安全基础设施集成到其生态系统中。此次合作旨在加强 p

GateNews4小时前

NTT 宣布 AI x OWN 计划,计划将日本电力产能提高至三倍并到 2033 年达到 1 GW

4 月 27 日,NTT 总裁 Akira Shimada 宣布 AI x OWN 计划,即该公司为面向实时 AI 使用而重新设计互联网基础设施所做的努力。NTT 计划将其国内发电能力从约 300 MW(今天)提升至,到 2033 财年约 1 吉瓦,作为这家电信巨头

GateNews5小时前

AI 平台 Certifyde 于 5 月 1 日完成 200 万美元种子轮融资,由 Ripple 首席执行官 Brad Garlinghouse 支持

据 TechfundingNews 报道,AI 应用平台 Certifyde 于 5 月 1 日完成了一轮 200 万美元的种子轮融资。投资方包括 K5 Global、Flamingo Capital,以及天使投资人,包括 Honey 联合创始人 George Ruan、Ripple 首席执行官 Brad Garlinghouse,以及 Nutra 联合创始人 Roland

GateNews6小时前

五角大楼科技长:Anthropic 仍在黑名单、Mythos 例外处理

美国国防部科技长(Pentagon technology chief)5 月 1 日向国会表示,「Anthropic 仍在黑名单上,但 Mythos Preview 是另一个议题」,正式承认国防部对 Anthropic 主品牌及其新模型 Mythos 采取区别对待。此一表态与 4 月 19 日 Axios 揭露 NSA(国家安全局)已实际使用 Mythos 形成呼应,并正式确立「Mythos 例外管道」的政策走向——同时也意味着国防部曾在法庭上主张使用 Anthropic 工具会威胁国安,与当前实质做法在法律论述上形成内部矛盾。 Anthropic vs Pentagon

鏈新聞abmedia7小时前

137 Ventures 在新资金中完成 $700M ,管理资产(AUM)达到 150 亿美元

据 ChainCatcher 报道,137 Ventures,这家是 SpaceX 的早期投资者,最近已完成两只新基金的募资,总计超过 7 亿美元,使其管理资产规模提升至超过 150 亿美元。新资金将支持在 AI 代理、机器人和太空推进方面的投资

GateNews7小时前

Reddit 在强劲的 Q2 展望带动下飙升 16%;苹果面临 Mac 供应短缺,因 AI 需求超过供给

Reddit 的股价在周五开盘前上涨了 16%,原因是该公司发布了高于预期的未来一个季度营收展望。日活跃访问者增长 17% 至 1.268 亿人次,而全球人均营收跃升 44%,受 AI 驱动的

GateNews7小时前
评论
0/400
暂无评论