Las optimizaciones de vLLM de Nvidia superan a AMD en modelos MoE, alcanzando más de 12.000 tokens por segundo

NVDA-3,53%
AMD-4,22%
Según SemiAnalysis, el 13 de julio, Nvidia mostró claras ventajas de rendimiento en la optimización de inferencia con vLLM frente a AMD, y la arquitectura GB200 NVL72 alcanzó más de 12.000 tokens por segundo en modelos de mixture-of-experts como Kimi K2.5. El análisis destacó que el framework de inferencia distribuida Dynamo de Nvidia, profundamente integrado con vLLM, permite una paralelización eficiente de expertos y una optimización del caché KV, mientras que la MI355X de AMD actualmente depende de versiones estándar de vLLM sin una optimización comparable en profundidad para escenarios MoE a gran escala.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios