Новий AutomationBench-AA від Zapier показує, що нормативні обмеження скорочують показники найкращих моделей ШІ вдвічі.

Згідно з моніторингом Beating, Zapier та Artificial Analysis запустили AutomationBench-AA — незалежний бенчмарк автоматизації робочих процесів SaaS, заснований на реальних анонімізованих даних з платформи Zapier. Бенчмарк складається з 657 багатоетапних завдань та 40 симульованих середовищ SaaS, включаючи Gmail, Slack, Salesforce та Jira.

Важливо, що бенчмарк забезпечує суворі обмежувальні бар'єри щодо дотримання вимог: будь-яке порушення попередньо встановлених корпоративних бізнес-правил автоматично обнуляє фінальний бал за завдання. У початковому оцінюванні всі моделі зазнали різкого падіння балів через штрафні санкції за порушення вимог. Claude Fable 5 виконав 73% завдань, але досягнув лише 48,6% фінального бала; Gemini 3.5 Flash та GPT-5.5 виконали приблизно 68% та 67% завдань відповідно, але отримали 42,6% та 42,1%. Відкритий GLM-5.2 отримав 27,8%.