J'ai récemment remarqué que Nvidia a pris une étape stratégique très importante sur le marché de l'inférence. En décembre dernier, elle a acquis la division des puces d'inférence de Groq pour 20 milliards de dollars, et le fondateur de Groq, Jonathan Ross, ainsi que son équipe, ont rejoint Nvidia, tandis que Groq est restée une entreprise indépendante avec d'autres activités.

Ce qui est intéressant ici, c'est que Huang Renxun a tout juste expliqué la véritable raison derrière cette décision. La motivation n'est pas simplement d'acquérir une technologie, mais de reclasser complètement le marché de l'inférence. Auparavant, tous les efforts se concentraient sur un seul aspect : augmenter la productivité. Mais la situation a radicalement changé.

Désormais, différents utilisateurs sont prêts à payer des prix complètement différents en fonction de la rapidité de réponse. Si je suis un ingénieur logiciel et que je veux des codes (tokens) avec une réponse plus rapide qui me permet de travailler plus efficacement, je suis prêt à payer une prime pour cela. Ce marché n'existait pas il y a quelques années, mais il est maintenant apparu avec force.

Lors du GTC en mars, Nvidia a lancé le premier puce après l'acquisition : le Groq 3 LPU, fabriqué en technologie 4 nanomètres de Samsung. La performance est vraiment impressionnante — la productivité de l'inférence par mégawatt sur des modèles avec un billion de paramètres atteint jusqu'à 35 fois celle du Blackwell NVL72.

Ce que Nvidia fait, c'est ajouter un secteur totalement nouveau à la carte du marché : à faible latence et à prix élevé. La structure LPU de Groq, connue pour sa faible latence prévue, complète parfaitement la gamme existante de Nvidia, axée sur la haute productivité. Bien que la productivité puisse être moindre, le prix par unité compense facilement cela. L'acquisition de Groq a vraiment comblé le vide manquant dans les produits d'inférence.