Baru-baru ini NVIDIA menutup sebuah langkah menarik di pasar inferensi.

Mereka mengakuisisi bisnis chip Groq seharga 200 miliar dolar, membawa tim kunci yang dipimpin oleh Jonathan Ross.
Yang menarik adalah bahwa Groq tetap beroperasi sebagai perusahaan independen, jadi ini bukan akuisisi penuh.

Yang menarik perhatian saya adalah penjelasan Huang Renxun tentang mengapa mereka melakukan ini.
Ternyata pasar inferensi tidak bersifat monolitik.
Dulu, semuanya berputar di sekitar meningkatkan kinerja, titik.
Tapi sekarang situasinya telah berubah.
Pengguna bersedia membayar harga berbeda tergantung kecepatan responsnya.
Jika seorang insinyur dapat memproses token lebih cepat dan menjadi lebih produktif, mereka bersedia berinvestasi dalam hal itu.

Di situlah Groq masuk.
Arsitektur LPU mereka dikenal karena latensi deterministik yang rendah, berlawanan dengan apa yang dilakukan NVIDIA dengan GPU berkinerja tinggi mereka.
Seperti mereka melengkapi sebuah spektrum: di satu sisi, kinerja maksimal; di sisi lain, kecepatan respons maksimal.
Dua segmen pasar, dua harga berbeda, model yang sama.

Dalam konferensi GTC Maret, mereka meluncurkan Groq 3 LPU dengan proses 4 nm dari Samsung.
Angkanya mengesankan: 35 kali lebih efisien dalam inferensi per megavatio dibandingkan dengan Blackwell NVL72.
Ini adalah jenis diferensiasi yang membuka pasar baru alih-alih hanya bersaing di pasar yang sudah ada.

Langkah Groq di sini jelas: sementara NVIDIA menguasai kinerja tinggi, mereka mengkhususkan diri pada apa yang dibutuhkan pengguna yang menghargai kecepatan di atas segalanya.
Dua strategi, ekosistem yang lebih lengkap.