最近、NVIDIAが推論市場で非常に重要な戦略的一歩を踏み出したことに気づきました。昨年12月、彼らはGroqの推論チップ部門を200億ドルで買収し、Groqの創設者ジョナサン・ロスと彼のチームはNVIDIAに加わりました。一方、Groqは他の事業を持つ独立した企業として存続しています。

ここで興味深いのは、黄仁冲（ホアン・リンチョン）がこの決定の真の理由をまさに説明したことです。動機は単に技術を手に入れることだけではなく、推論市場全体の再分類にあります。以前は、すべての努力は一つの側面、すなわち生産性の向上に集中していました。しかし、状況は根本的に変わっています。

今や、異なるユーザーは応答速度に応じてまったく異なる価格を支払う準備ができています。もしあなたがソフトウェアエンジニアで、(トークン)の高速応答を求めて、より効率的に作業したい場合、そのためにプレミアムを支払う意欲があります。この市場は数年前には存在しませんでしたが、今や力強く現れています。

3月のGTC会議で、NVIDIAは買収後初のチップを発表しました：Groq 3 LPU、サムスンの4ナノメートル技術で製造されたものです。そのパフォーマンスは驚異的で、1兆パラメータモデルの推論生産性は、Blackwell NVL72と比較して1メガワットあたり35倍に達します。

NVIDIAが行っているのは、市場マップにまったく新しいセクターを追加することです：低遅延かつ高価格のセクターです。GroqのLPUアーキテクチャは、低遅延と予想される遅延の低さで知られており、これはNVIDIAの既存の高生産性ラインを完璧に補完します。生産性は劣るかもしれませんが、単位あたりの価格がそれを十分に補います。Groqの買収は、推論製品における欠落していたギャップを埋めるものとなりました。