AMD MI355X logra inferencia GLM 5.2 a la mitad del costo de NVIDIA B200

Según Wafer, una startup especializada en optimización de inferencia, los chips AMD MI355X que ejecutan el último modelo de código abierto GLM 5.2 lograron costos de inferencia de aproximadamente la mitad de los de la GPU insignia NVIDIA B200, mientras ofrecían alrededor del 80% del rendimiento. Las pruebas mostraron un rendimiento agregado de un solo nodo de 2.626 tokens por segundo, con un rendimiento de flujo único de 213 tokens por segundo. La optimización aprovechó técnicas de software, incluyendo cuantización de modelos, selección del motor de inferencia y correcciones de compatibilidad con ROCm, en lugar de hardware personalizado.

Un informe aparte de SemiAnalysis confirmó resultados similares, citando costos de inferencia de AMD MI355X de 0,22 dólares por millón de tokens en escenarios interactivos, por debajo de los 0,30 dólares de la NVIDIA B200. Sin embargo, la ventaja de AMD sigue siendo principalmente en despliegues de un solo nodo; NVIDIA mantiene un liderazgo significativo en sistemas distribuidos de múltiples nodos y aplicaciones a escala empresarial.