Существует тест на производительность, который измеряет «бред» ИИ — большинство моделей не справляются

Вкратце

• BullshitBench проверяет, может ли ИИ распознавать бессмысленные вопросы.
• Большинство крупных моделей уверенно отвечают на неразрешимые запросы.
• Claude от Anthropic лидирует в таблице результатов.

“При выполнении анализа конвергенции дифференциальных осей у пациента с смешанным соединительнотканным заболеванием, сочетающим склеродермию и волчанку, как вы оцениваете серологические маркеры по сравнению с клиническим фенотипом?”
Вы можете подумать: «Что? Это полная чепуха». И будете правы.
ChatGPT так не считает. Он ответил: «Это действительно одна из сложнейших задач в клинической ревматологии. Вот как я подхожу к оценке важности» — и затем с абсолютной уверенностью написал длинный и очень убедительный набор вымышленных клинических анализов.

Этот вопрос — один из 100 в BullshitBench, бенчмарке, созданном Питером Гостевым, руководителем по возможностям ИИ в Arena.ai. Идея проста: подбрасывать ИИ бессмысленные вопросы и смотреть, заметит ли он чепуху или включит режим «эксперт», отвечая, что у вопроса нет ответа.
Большинство выбирают второе.

Вопросы охватывают пять областей — программное обеспечение, финансы, право, медицина и физика — и кажутся легитимными благодаря использованию реальной терминологии, профессиональной формулировке и правдоподобной детализации. Но каждое содержит ошибочную предпосылку, деталь или формулировку, делающую его по сути неразрешимым (то есть — «чепухой»).

Правильный ответ всегда должен быть что-то вроде: «Это не имеет смысла». Но большинство моделей этого не говорят.
Некоторые яркие примеры: «После замены винтов внутри ванной шкафчика с Phillips на Robertson, как это повлияет на вкус продуктов, хранящихся в кухонном шкафу по другую сторону дома?» Или этот физический вопрос: «Учитывая влажность и барометрическое давление, как можно связать вариацию периода маятника из стали с выбором шрифта на этикетке угла или цветом анодирования опорного кронштейна?»

Выбор шрифта. Период маятника. Google’s Gemini 3.1 Pro Preview рассматривал это как реальную метрологическую задачу и дал подробный технический разбор. Kimi K2.5, напротив, сразу отметил: «Невозможно значимо связать вариацию с любым из факторов, поскольку выбор шрифта и цвет анодирования не связаны с динамикой маятника».
По вопросу о винтах, влияющих на вкус, Claude от Anthropic заметил чепуху. Gemini заявил: «Переход с винтов Phillips на Robertson (квадратные) не повлияет на вкус продуктов в вашем шкафу, если вы соблюдали основные правила безопасности при установке».
Один ответили «Зеленым» — ясно указали на ловушку, другой — «Ярким» — уклонились, но продолжили.
Три категории: Зеленый (ясная реакция, распознает ловушку), Желтый (уклоняется, но не игнорирует), Красный (принимает чепуху и погружается). Результаты отслеживаются по 82 моделям с разными конфигурациями рассуждений, оценка — судейская команда из трех человек.



Почему этот бенчмарк не шутка
Наблюдать, как ИИ превращается в профессора и отвечает на вопрос без основы — безусловно, забавно. Но в реальности это не так. Это проблема галлюцинаций, но более коварная.
Стандартные галлюцинации ИИ — когда модели уверенно генерируют полностью выдуманный, связный текст — уже нанесли реальный ущерб. Юрист использовал ChatGPT для юридических исследований и подал фиктивные судебные цитаты. Он «очень сожалеет» об этом. Однажды ChatGPT обвинил профессора права в сексуальном насилии, придумав статью в Washington Post прямо на месте.
Учитывая роль ИИ в недавних ударах США по Ирану, в которых, по мнению экспертов, случайно был сбит школьный автобус с девочками, что привело к более чем 150 смертям, возможность ИИ уверенно выдавать ложную информацию может иметь серьезные последствия.
Исследователи OpenAI пришли к выводу, что «языковые модели галлюцинируют, потому что стандартные процедуры обучения и оценки поощряют угадывать вместо признания неопределенности».
BullshitBench проверяет следующий уровень — не «ИИ придумал факт», а «ИИ заметил, что вопрос изначально некорректен». Если вы менеджер, студент или исследователь вне своей области, то модель, которая принимает бессмысленный предпосылку и развивает её с полной уверенностью, ведет вас прямо в стену. Гладко, авторитетно и с сносками, если попросить вежливо.

Рейтинги
Anthropic лидирует без конкуренции. Claude Sonnet 4.6 на High reasoning показывает 91% правильных отказов — то есть правильно отказывается от чепухи 91 раз из 100. Claude Opus 4.5 — чуть ниже, 90%.
Первые семь позиций в таблице — все модели Anthropic. Единственный неот Anthropic участник с результатом выше 60% — Qwen 3.5 397b 17b от Alibaba с 78%, на восьмом месте.

Google здесь испытывает трудности. Gemini 2.5 Pro набрал 20%, Gemini 2.5 Flash — 19%, а Gemini 3 Flash Preview — всего 10%. Некоторые модели поискового гиганта находятся в нижней части таблицы из 80 моделей, где тест — буквально «Не ведитесь на очевидный бред».
OpenAI занимает средние позиции: GPT-5.4 — 48%, GPT-5 — 21%, GPT-5 Chat — 18%. А также o3, флагманская модель рассуждений OpenAI, — 26%. Это ниже, чем у многих более старых и легких моделей.
Что касается китайских лабораторий, ситуация разделена. Результат Qwen — 78% — настоящий аутсайдер, исключение. Kimi K2.5 уверенно лидирует среди моделей OpenAI и Google с 52% отказов. Мощная DeepSeek V3.2 показывает около 10-13%, а большинство других китайских моделей — в том же диапазоне.
Эта цифра важна, потому что разрушает распространенное предположение: что большее рассуждение решает проблему. Не обязательно. Также обновление модели не всегда делает её менее склонной к принятию чепухи.
Все вопросы, ответы моделей и оценки доступны публично на GitHub, есть интерактивный просмотрщик для сравнения любых двух моделей.