Nvidia Blackwell GPU 成本翻倍,但每個 Token 推論成本相較 Hopper 降低 35 倍

根據 Nvidia 最新部落格分析,Blackwell GPU 的每小時成本相較於 Hopper 世代近乎翻倍,但每個 token 的推論成本則可低 35 倍。以 DeepSeek-R1 作為測試模型,Blackwell(GB300 NVL72)租用每張 GPU 每小時為 2.65 美元,而 Hopper 為 1.41 美元;然而單顆 GPU 的吞吐量則從每秒 90 個 token 大幅提升到每秒 6,000 個 token。這 65 倍的吞吐提升使得每百萬個 token 成本從 4.20 美元降至 0.12 美元。

0.12 美元這個數字假設已完成完整軟體最佳化,包括 FP4 低精度推論與多 token 預測(MTP)。若未啟用 MTP,每百萬個 token 成本約可達 2.35 美元;啟用後則降至 0.11 美元,顯示僅靠該功能本身就帶來 21 倍的最佳化效果。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

NTT 宣布 AI x OWN 事業計畫,規劃於 2033 年前將日本發電能力提升至 1 GW 的三倍

4 月 27 日,NTT 總裁 篠田 昭太 宣布「AI x OWN」計畫,該公司努力重新設計網際網路基礎設施以支援即時 AI 使用。NTT 計畫將其國內發電能力從目前約 300 MW 提升至 2033 財政年度前後約 1 GW,作為這家電信巨頭

GateNews3分鐘前

AI 平台 Certifyde 於 5 月 1 日完成 200 萬美元種子輪融資,由 Ripple 執行長 Brad Garlinghouse 背書

根據 TechfundingNews,AI 應用平台 Certifyde 於 5 月 1 日完成一輪 200 萬美元的種子輪融資。投資方包括 K5 Global、Flamingo Capital,以及天使投資人,包括 Honey 的聯合創辦人 George Ruan、Ripple 執行長 Brad Garlinghouse,以及 Nutra 的聯合創辦人 Roland

GateNews45分鐘前

Pentagon 科技長:Anthropic 仍黑名單、Mythos 例外處理

美國國防部科技長(Pentagon technology chief)5 月 1 日對國會表示,「Anthropic 仍在黑名單上,但 Mythos Preview 是另一個議題」,正式承認國防部對 Anthropic 主品牌與其新模型 Mythos 採取區別對待。此一表態與 4 月 19 日 Axios 揭露 NSA(國家安全局)已實際使用 Mythos 形成呼應,並正式確立「Mythos 例外管道」的政策走向—同時也意味國防部曾在法庭上主張使用 Anthropic 工具會威脅國安,與當前實質做法形成法律論述上的內部矛盾。 Anthropic vs Pentagon

鏈新聞abmedia1小時前

137 Ventures 在新資金中完成 $700M ,管理資產(AUM)達到 150 億美元

根據 ChainCatcher,早期投資 SpaceX 的 137 Ventures 近期完成了兩檔新基金的募資,總額超過 7 億美元,將其管理資產提高至超過 150 億美元。這筆新資本將用於投資 AI 代理、機器人以及太空推進

GateNews1小時前

Reddit 第 16% 飆升,因 Q2 展望強勁;蘋果面臨 Mac 缺貨,因 AI 需求超過供應

Reddit 的股價在週五美股開盤前上漲 16%,原因是該公司發布了高於預期的未來一季營收展望。日活躍訪客成長 17% 至 1.268 億,且全球每位用戶平均營收跳升 44%,由 AI 驅動

GateNews1小時前

美國國防部與包含 OpenAI、Google 和 Microsoft 在內的 7 家 AI 公司達成協議

根據美國國防部的說法,該機構今日(5 月 1 日)與七家領先的人工智慧公司簽署協議:SpaceX、OpenAI、Google、Nvidia、Reflection、Microsoft 以及 Amazon Web Services(AWS)。這些協議旨在加速軍事轉型並建立

GateNews1小時前
留言
0/400
暫無留言