Perplexity запускає бенчмарк WANDR для оцінки можливостей досліджень в ШІ

Perplexity AI представила WANDR (Wide ANd Deep Research) — відкритий бенчмарк, призначений для оцінювання того, наскільки ефективно системи штучного інтелекту виконують великомасштабні дослідницькі завдання, 14 липня 2026 року. Фреймворк містить 500 реалістичних завдань зі збору даних, змодельованих під професійну роботу зі знаннями, включно з аналізом ринку, due diligence, оглядами літератури, конкурентною розвідкою, порівнянням продуктів і підбором талантів. Бенчмарк було запущено, щоб вирішити проблему, з якою нині стикаються AI-системи: вони не лише мають ідентифікувати велику кількість релевантних сутностей, а й перевіряти кожен результат із підтверджувальними доказами. За словами Perplexity, навіть найкраща за результатами оцінювання модель у компанії показала soft F1 0,363 і hard F1 0,133, що свідчить: широкомасштабні дослідження з доказовою базою ще далекі від повної автоматизації. Бенчмарк включає понад 170 000 записів, підкріплених джерелами, у межах своїх 500 завдань, забезпечуючи середовище великомасштабного тестування для AI-агентів, орієнтованих на дослідження, в індустрії, де повне охоплення сотень або тисяч записів є критично важливим для професійної роботи зі знаннями.

Perplexity оцінює шість AI-дослідницьких систем за допомогою бенчмарку WANDR

Perplexity оцінила шість виробничих AI-дослідницьких систем із застосуванням WANDR за однакових умов тестування. Її платформа Search as Code (SaC) досягла найвищих загальних результатів, зафіксувавши soft F1 0,363 і hard F1 0,133. Anthropic посіла друге місце з показниками 0,249 і 0,072, тоді як інші оцінювані системи не перевищили soft F1 0,121. Також дослідження виявило, що збільшення обчислювальних зусиль загалом покращувало продуктивність для кількох моделей, хоча вищі витрати й довші часи обробки не завжди перетворювалися на кращі результати.

На відміну від традиційних AI-бенчмарків, які зосереджуються на генерації однієї відповіді або письмового звіту, WANDR вимірює здатність AI-системи ідентифікувати велику кількість релевантних сутностей і верифікувати кожен результат із підтверджувальними доказами. Бенчмарк покликаний відображати реальні дослідницькі робочі процеси, де успіх залежить не лише від знаходження точної інформації, а й від досягнення повного охоплення сотень або навіть тисяч записів.

WANDR використовує процес оцінювання без посилань для валідації AI-досліджень

WANDR використовує процес оцінювання без посилань, який перевіряє кожне подане твердження щодо доказів, наведених AI-системою, а не порівнює результати з фіксованим ключем відповідей. Кожне твердження перевіряють на якість джерела, фактичну точність, релевантність і те, чи наведені фрагменти реально підтверджують інформацію, яка представлена. Такий підхід має краще відображати реальні дослідження, де інформація змінюється з часом, а повні набори відповідей важко підтримувати.

Бенчмарк також надає детальну діагностику, щоб визначити, де AI-системи зазнають невдачі під час складних дослідницьких завдань. Продуктивність можна вимірювати на кількох етапах, зокрема під час пошуку інформації, збагачення даних, зіставлення ідентичностей, валідації джерел і вилучення доказів, що дозволяє розробникам точніше виявляти слабкі місця поза межами загальних показників точності.

Perplexity заявила, що бенчмарк має слугувати відкритим ресурсом для дослідників і розробників, які працюють над системами AI-пошуку та досліджень. Окрім бенчмаркінгу, WANDR також може підтримувати майбутні техніки підкріплювального навчання, надаючи структурований зворотний зв’язок на кожному етапі дослідницького процесу, даючи змогу AI-моделям покращувати не лише фактичну точність, а й планування, охоплення та збір доказів у масштабі.

FAQ

Що Perplexity AI запустила 14 липня 2026?

Perplexity AI запустила WANDR (Wide ANd Deep Research) — відкритий бенчмарк, призначений для оцінювання того, наскільки ефективно системи штучного інтелекту виконують великомасштабні дослідницькі завдання, що потребують як широкого пошуку інформації, так і детального збору доказів.

Як показала себе платформа Search as Code від Perplexity в оцінюванні WANDR?

Платформа Search as Code (SaC) від Perplexity досягла найвищих загальних результатів серед шести оцінених AI-дослідницьких систем, зафіксувавши soft F1 0,363 і hard F1 0,133.

Що перевіряє процес оцінювання WANDR без посилань?

Процес оцінювання WANDR без посилань перевіряє кожне подане твердження щодо доказів, які наводить AI-система, оцінюючи якість джерела, фактичну точність, релевантність і те, чи наведені фрагменти справді підтверджують інформацію, яка представлена.