Perusahaan AI mengalihkan fokus persaingan dari ukuran model ke sistem routing yang lebih hemat biaya, saat perusahaan beralih dari tahap pengujian ke penerapan produksi. CEO Perplexity Aravind Srinivas mengatakan kepada CNBC bahwa model saja bukan lagi produknya, dengan menekankan sistem orkestrasi yang memasangkan model dengan alat untuk tugas-tugas tertentu. Perubahan ini mencerminkan Amerika Serikat yang memperketat pengeluaran AI, sehingga perusahaan mencari model yang sesuai kebutuhan tugas, bukan selalu memilih opsi paling mahal.
Perplexity Menyajikan Sistem Menggunakan Model Open Tiongkok
Pekan ini, Perplexity mengintip sistem baru untuk produk penggunaan komputer yang dibangun dengan GLM 5.2, sebuah model open-source dari Z.ai, Tiongkok. Sistem ini dirancang agar model yang lebih murah dapat menangani lebih banyak pekerjaan, sambil memanggil model yang lebih kuat hanya saat diperlukan.
"Model saja tidak lagi menjadi produknya," kata Srinivas kepada CNBC. "Itulah harness-nya, sistem orkestrasi yang memasukkan model ke dalam harness yang sangat mumpuni dan memasangkan model dengan banyak alat."
Produk AI kini menjadi sistem yang bisa memutuskan model mana yang digunakan, kapan menggunakannya, serta alat di luar atau sumber data perusahaan apa yang diperlukan. Tugas layanan pelanggan mungkin tidak membutuhkan model paling mahal, sementara masalah pemrograman yang kompleks mungkin membutuhkannya. Alur kerja internal rutin bisa dijalankan pada model open-source yang lebih murah, dengan langkah yang lebih sulit dieskalasi ke model yang lebih kuat.
Mitra Benchmark Memperkirakan Dominasi Token Berbobot Open
Model open-weight, yang dapat diunduh, disesuaikan, dan dijalankan oleh perusahaan sendiri, menjadi makin mampu dan lebih murah untuk dijalankan dibanding model premium proprietary dari lab AI terbesar.
Peter Fenton, general partner Benchmark, mengatakan kepada CNBC bahwa keyakinannya adalah lebih dari 90 persen token yang tercipta akan berasal dari model open-weight dalam 18 hingga 24 bulan ke depan, bahkan mungkin hingga akhir tahun. Token adalah unit data yang diproses dan dihasilkan oleh model AI.
"Marjin inferensi yang dihasilkan oleh perusahaan-perusahaan model frontier, menurut saya, akan mendapat tekanan saat Anda bisa menjalankannya tanpa markup yang mereka terapkan, ketika Anda memiliki model yang cukup baik dari bobot open," kata Fenton.
Fenton mengatakan peralihan ke model open tidak hanya soal menghemat uang. Dalam beberapa kasus, model yang lebih kecil dan disesuaikan untuk tugas tertentu bisa lebih cepat dan berkinerja lebih baik dibanding model general-purpose yang lebih besar.
Ollama Melaporkan Tingkat Adopsi Fortune 500
Benchmark berinvestasi pada Ollama, sebuah perusahaan yang memudahkan pengembang dan perusahaan untuk mengunduh, menjalankan, serta mengelola model open-source.
Jeff Morgan, CEO Ollama, mengatakan perusahaan tersebut telah diadopsi oleh lebih dari 85% perusahaan Fortune 500, termasuk perusahaan di industri yang diatur seperti penerbangan, asuransi, dan layanan kesehatan.
"Satu hal adalah dari mana model itu berasal dan di mana model tersebut diciptakan serta dilatih," kata Morgan. "Tapi yang lebih penting bagi bisnis-bisnis yang kami ajak bicara adalah di mana ia berjalan dan bagaimana ia berjalan."
Morgan mengatakan banyak perusahaan memulai dengan model yang lebih kecil dan berjalan dekat dengan data mereka sendiri, lalu memperluas ke model open-source yang lebih besar ketika mereka makin nyaman.
Lab Tiongkok Menciptakan Persaingan Strategis pada Model Open
Munculnya model open-source menciptakan tantangan strategis bagi AS. Banyak model open-weight yang paling kompetitif berasal dari lab Tiongkok, termasuk Z.ai dan DeepSeek. Hal ini menjadikan AI open-source sebagai isu bisnis, isu kebijakan, dan isu daya saing nasional.
Srinivas mengatakan AS seharusnya mendukung model open karena membuat AI lebih terjangkau dan lebih mudah diakses.
"Jika Anda ingin manfaat AI tersebar luas ke usaha kecil di Amerika dan negara-negara sekutu Amerika, maka Anda benar-benar perlu AI yang jauh lebih terjangkau," kata Srinivas. "Dan open source adalah satu-satunya cara untuk melakukannya."
Perubahan ini juga bisa memengaruhi pembangunan besar pusat data yang sedang berlangsung di seluruh industri teknologi. Geliat AI saat ini mengasumsikan permintaan akan terus mengalir ke pusat data cloud besar yang penuh dengan chip kelas atas. Srinivas mengatakan sebagian pekerjaan AI pada akhirnya mungkin dijalankan secara lokal, di perangkat milik konsumen atau bisnis.
Itu tidak akan menghilangkan kebutuhan akan pusat data, tetapi bisa menciptakan sistem AI yang lebih hibrida: tugas rutin dijalankan secara lokal, sementara pekerjaan yang paling sulit dikirim ke model yang lebih kuat di cloud.
FAQ
Apa yang Perplexity umumkan pekan ini terkait model AI?
Pekan ini, Perplexity mengintip sistem baru untuk produk penggunaan komputer yang dibangun dengan GLM 5.2, sebuah model open-source dari Z.ai, Tiongkok. Sistem ini dirancang agar model yang lebih murah dapat menangani lebih banyak pekerjaan, sambil memanggil model yang lebih kuat hanya saat diperlukan.
Mengapa perusahaan beralih dari memakai model AI terbesar ke sistem routing?
Saat perusahaan beralih dari pengujian AI ke penggunaan dalam produk nyata dan alur kerja, mereka perlu mengakses model yang paling cocok untuk pekerjaan spesifik dengan biaya yang tepat, alih-alih selalu memakai model paling mahal. Amerika Serikat juga memperketat pengeluaran AI, menjadikan efisiensi biaya sebagai prioritas.
Berapa banyak perusahaan Fortune 500 yang mengadopsi Ollama?
Jeff Morgan, CEO Ollama, mengatakan perusahaan tersebut telah diadopsi oleh lebih dari 85% perusahaan Fortune 500, termasuk perusahaan di industri yang diatur seperti penerbangan, asuransi, dan layanan kesehatan.
