AMD MI355X 實現 GLM 5.2 推理,成本比 NVIDIA B200 減半

據專注於推理優化的新創公司 Wafer 表示,採用最新開源模型 GLM 5.2 的 AMD MI355X 晶片,其推理成本約為 NVIDIA 旗艦 GPU B200 的一半,同時效能約達 80%。測試顯示,單節點彙總吞吐量為每秒 2,626 個 token,單串流吞吐量達到每秒 213 個 token。此優化採用了軟體技術,包括模型量化、推理引擎選擇及 ROCm 相容性修正,而非客製化硬體。

另一份來自 SemiAnalysis 的報告也證實了類似結果,指出在互動場景中,AMD MI355X 的推理成本為每百萬 token 0.22 美元,低於 NVIDIA B200 的 0.30 美元。然而,AMD 的優勢主要仍侷限於單節點部署;NVIDIA 在多節點分散式系統及企業級應用中仍保有顯著領先。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆