Perplexity Meluncurkan Benchmark WANDR dengan 500 Tugas Penelitian untuk Mengukur Kemampuan Agen AI

Perplexity AI meluncurkan WANDR (Wide ANd Deep Research), sebuah benchmark open-source pada 15 Juli untuk mengukur seberapa efektif sistem AI menjalankan tugas penelitian skala besar yang memerlukan penemuan informasi secara luas serta verifikasi bukti secara mendetail. Benchmark ini berisi 500 tugas pengumpulan data yang realistis, dimodelkan seperti pekerjaan pengetahuan profesional, termasuk analisis pasar, due diligence, tinjauan literatur, dan intelijen kompetitif, yang didukung oleh lebih dari 170.000 catatan dengan sumber yang telah diverifikasi.

Berbeda dari benchmark tradisional yang menilai jawaban tunggal, WANDR mengukur kemampuan sistem AI untuk mengidentifikasi banyak entitas yang relevan dan memverifikasi setiap hasil dengan bukti pendukung. Dalam evaluasi terhadap enam sistem AI produksi, platform Search as Code milik Perplexity meraih performa tertinggi dengan skor soft F1 0,363 dan hard F1 0,133, diikuti oleh Anthropic dengan skor 0,249 dan 0,072. Hasil ini menunjukkan bahwa penelitian skala luas yang berbasis bukti masih jauh dari sepenuhnya terotomatisasi.