Керівник Google DeepMind: кожна компанія з продуктами на основі ШІ повинна створювати кастомні бенчмарки

Повідомлення Gate News, 27 квітня — Логан Кілпатрік, старший менеджер з продуктів у Google DeepMind і керівник продукту для Google AI Studio, заявив у X, що кожна компанія, яка створює продукти на основі ШІ, має встановити власні кастомні бенчмарки для вимірювання продуктивності моделей ШІ. Він описав це як метод, щоб покращення моделі “незрівнянно вигідно для вашої компанії” та закликав фаундерів і керівників бізнесу “почати вже завтра.”

Наразі більшість компаній покладаються на публічні лідерборди, щоб обирати моделі ШІ, але вони вимірюють загальні можливості, які часто не відповідають конкретним сценаріям бізнесу. Кілпатрік навів приклад компанії з контрактних оглядів, яка найбільше переймається точністю вилучення пунктів — можливості, якої немає в публічних бенчмарках, через що неможливо оцінити продуктивність моделі на цьому завданні. Кастомні бенчмарки мають дві ключові переваги: по-перше, вони дають компаніям змогу оцінювати кожне оновлення кожної моделі порівняно зі своїми бізнес-завданнями та обирати ту модель, яка найкраще працює саме в їхньому реальному випадку використання, а не ту, що загалом займає найвищі місця; по-друге, вони дозволяють компаніям ділитися цими тестовими наборами з постачальниками моделей, що стимулює безперервну оптимізацію в напрямках, які важливі для їхнього бізнесу.

Кілпатрік зазначив, що такі компанії, як Zapier і Sierra, уже впроваджують цей підхід, заявивши, що “тут можна створити дуже багато альфи”.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Маск визнав, що xAI застосувала дистиляцію на моделях OpenAI під час четвертого дня судового процесу

Згідно з Beating і The Verge, на четвертий день судового процесу між Маском і OpenAI адвокати OpenAI запитали, чи використовувала xAI дистиляцію, щоб удосконалити свої моделі, застосовуючи технології OpenAI. Спершу Маск заявив, що «майже всі компанії зі штучним інтелектом роблять це», але коли його попросили дати пряму відповідь, він визнав

GateNews9хв. тому

66,3% працівників США з високими доходами використовують інструменти ШІ на роботі, показує опитування Федеральної резервної системи

Згідно з опитуванням Федеральної резервної системи, 66,3% працівників у США з доходом понад $200 000 на рік використовували інструменти ШІ на роботі протягом останніх 12 місяців станом на 1 травня. Серед груп із нижчими доходами рівень використання істотно знижується: 51,6% для тих, хто заробляє $100 000–$200 000, 40,2% для тих, хто заробляє $50 000–$100

GateNews28хв. тому

xAI запускає API Grok 4.3 із контекстним вікном на 1 млн токенів за $1,25 за мільйон вхідних токенів

За даними BlockBeats, xAI запустила API Grok 4.3 1 травня. Нова модель підтримує контекстне вікно на 1 мільйон токенів і пропонує текстові введення/виведення, мультимодальні можливості та функції виклику інструментів. API Grok 4.3 коштує 1,25 долара за мільйон вхідних токенів

GateNews40хв. тому

Американські техгіганти планують витратити $700B на інфраструктуру для ШІ у 2026 році, що суттєво перевищить $105 млрд Китаю

За даними South China Morning Post, американські технологічні гіганти мають витратити понад $700 мільярдів на інфраструктуру ШІ цього року, що значно перевищує китайських конкурентів. Google, Microsoft, Meta та Amazon формують більшу частину цієї суми, тоді як Morgan Stanley оцінив, що китайські хмарні провайдери витратять приблизно $105 мільярдів

GateNews45хв. тому

Huawei очікує, що виручка від AI-чипів у 2026 році сягне 12 мільярдів доларів, що на 60% більше, ніж у 2025 році

За даними Reuters, Huawei очікує, що виручка від її AI-чипів у 2026 році досягне приблизно $12 мільярдів, що становить щонайменше 60% зростання порівняно з $7,5 мільярда у 2025 році. Більшість замовлень цього року стосуються процесора Ascend 950PR, який вийшов на масове виробництво в березні. Компанія планує запустити

GateNews1год тому

Nvidia інвестує в шведську AI-юридичну tech-стартап-компанію Legora, а Джуд Лоу став глобальним амбасадором бренду

NVIDIA здійснила розширювальну інвестицію в рамках Series D у Legora на 50 млн доларів США, внаслідок чого загальне залучення коштів Legora досягло 600 млн доларів США, а оцінка — 5,6 млрд доларів США. Участь взяли Atlassian, Adams Street Partners та Insight Partners. Legora спеціалізується на AI-юридичних технологіях, надаючи інструменти для автоматизованої перевірки, аналізу контрактів і правових досліджень тощо; ARR перевищує 100 млн доларів США, а кількість співробітників зросла з 40 до 400. Jude Law став глобальним амбасадором бренду, а рекламний слоган звучить: Law just got more attractive.

ChainNewsAbmedia1год тому
Прокоментувати
0/400
Немає коментарів