Berita Gate, 27 April — Logan Kilpatrick, manajer produk senior di Google DeepMind dan pemimpin produk untuk Google AI Studio, menyatakan di X bahwa setiap perusahaan yang membangun produk berbasis AI harus menetapkan tolok ukur kustomnya sendiri untuk mengukur performa model AI. Ia menyebutnya sebagai cara untuk membuat peningkatan model “memberi manfaat yang secara tidak proporsional bagi perusahaan Anda” dan mendesak para pendiri serta pemimpin bisnis untuk “mulai besok.”
Kebanyakan perusahaan saat ini mengandalkan papan peringkat publik untuk memilih model AI, tetapi papan peringkat ini mengukur kemampuan umum yang sering tidak selaras dengan skenario bisnis tertentu. Kilpatrick mencontohkan perusahaan peninjau kontrak yang paling peduli pada akurasi ekstraksi klausul—sebuah kemampuan yang tidak ada dalam tolok ukur publik, sehingga tidak mungkin menilai performa model pada tugas tersebut. Tolok ukur kustom menawarkan dua keunggulan utama: pertama, tolok ukur ini memungkinkan perusahaan mengevaluasi setiap pembaruan model terhadap tugas bisnis mereka sendiri dan memilih model yang berkinerja terbaik pada kasus penggunaan mereka yang sebenarnya, bukan model dengan peringkat tertinggi secara keseluruhan; kedua, tolok ukur ini memungkinkan perusahaan membagikan set pengujian tersebut kepada penyedia model, sehingga mendorong optimasi berkelanjutan di area yang penting bagi bisnis mereka.
Kilpatrick mencatat bahwa perusahaan seperti Zapier dan Sierra sudah menerapkan pendekatan ini, dengan mengatakan bahwa “ada banyak alpha yang bisa diciptakan di sini.”
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
Artikel Terkait
Kaisar Network Menyelesaikan Pendanaan Sebesar $4 Juta dalam Lapisan 1 Komputasi AI Terdesentralisasi
Menurut ChainCatcher, Kaisar Network, jaringan Layer 1 komputasi AI terdesentralisasi, telah menyelesaikan pendanaan $4 juta hingga saat ini, termasuk $1 juta dalam putaran Pre-Seed strategis. Investor di antaranya Merov Capital, StoneBlock, WM Capital, Arche Fund, Q42, dan Unicorn Ventures. Jaringan
GateNews18menit yang lalu
CFO OpenAI Menepis Kabar Target Pendapatan, Mengatakan Perusahaan Menjalankan Kinerja pada Level Tertinggi pada 1 Mei
Menurut Bloomberg, Chief Financial Officer OpenAI Sarah Friar membantah rumor pada 1 Mei bahwa perusahaan telah melewatkan target penjualan internal dan pengguna. Friar menyatakan bahwa perusahaan menjalankan rencananya pada level tertinggi, dengan menggambarkan permintaan produk sebagai “dinding vertikal”. Ia mencatat bahwa eksekusi
GateNews46menit yang lalu
Penasihat Musk Mengungkap $974B Bid xAI untuk Aset Nirlaba OpenAI di Pengadilan, Memicu Sorotan Baru
Berdasarkan kesaksian Jared Birchall pada hari ke-4 gugatan Musk terhadap OpenAI, tawaran xAI sebesar 974 miliar dolar AS untuk aset nirlaba OpenAI bertujuan mencegah Sam Altman menilai aset tersebut terlalu rendah selama restrukturisasi OpenAI. Namun, Hakim Yvonne Gonzalez Rogers mempertanyakan bagaimana Birchall bisa mengajukan penawaran senilai 974 b
GateNews1jam yang lalu
Musk Mengakui xAI Menggunakan Distilasi pada Model OpenAI Selama Hari ke-4 Persidangan
Menurut Beating dan The Verge, pada Hari ke-4 persidangan antara Musk dan OpenAI, pengacara OpenAI mempertanyakan apakah xAI telah menggunakan distilasi untuk meningkatkan modelnya dengan menggunakan teknologi OpenAI. Musk awalnya menyatakan bahwa “hampir semua perusahaan AI melakukan ini,” tetapi ketika didesak untuk jawaban yang tegas, mengaku
GateNews2jam yang lalu
66,3% Karyawan AS Berpenghasilan Tinggi Menggunakan Alat AI di Tempat Kerja, Menurut Survei Federal Reserve
Menurut survei Federal Reserve, 66,3% karyawan AS yang berpenghasilan lebih dari $200.000 per tahun telah menggunakan alat AI di tempat kerja dalam 12 bulan terakhir per 1 Mei. Pada kelompok berpenghasilan lebih rendah, tingkat penggunaannya turun secara signifikan: 51,6% untuk mereka yang berpenghasilan $100.000–$200.000, 40,2% untuk mereka yang berpenghasilan $50.000–$100.000,
GateNews2jam yang lalu
xAI Meluncurkan API Grok 4.3 dengan Jendela Konteks Token 1 juta pada $1,25 per Juta Token Input
Menurut BlockBeats, xAI meluncurkan API Grok 4.3 pada 1 Mei. Model baru ini mendukung jendela konteks 1 juta token dan menawarkan kemampuan input/output teks, fitur multimodal, serta kemampuan pemanggilan alat. API Grok 4.3 dibanderol $1,25 per 1 juta input
GateNews2jam yang lalu
