根據 SemiAnalysis 在 7 月 13 日的說法，輝達在 vLLM 推理最佳化方面相較 AMD 展示出明顯的效能優勢；GB200 NVL72 架構在像 Kimi K2.5 這類混合專家（mixture-of-experts）模型上，推理吞吐量達到每秒超過 12,000 tokens。該分析指出，輝達的 Dynamo 分散式推理框架與 vLLM 深度整合，能夠實現高效率的專家平行化與 KV 快取最佳化；而 AMD 的 MI355X 目前則依賴標準版本的 vLLM，並未針對大型 MoE 情境提供可比深度的最佳化。
免責聲明：本頁面資訊可能來自第三方來源，僅供參考，不代表 Gate 的立場或觀點，亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險，請勿僅依賴本頁資訊作出決策。詳情請參閱
免責聲明。
