OpenAI представила GPT-Red, чтобы усилить защиту GPT-5.6 от prompt injection

OpenAI представила GPT-Red — автоматизированную ИИ-систему, предназначенную для выявления уязвимостей в языковых моделях, — и в среду объявила, что инструмент помог усилить GPT-5.6 против атак с внедрением подсказок до развертывания. Система была разработана для устранения узкого места в масштабировании в области ИИ-безопасности в рамках red-teaming по мере роста возможностей моделей. GPT-Red — это попытка OpenAI автоматизировать проверки безопасности, дополняющие ее существующую OpenAI Red Teaming Network, запущенную в 2023 году и использующую ИИ-модели для генерации противоборствующих атак в масштабе, который в одиночку сложно обеспечить исследователям-людям.

GPT-Red получила свое название от кибербезопасностного red teaming — практики преднамеренно попытаться взломать систему, чтобы выявить слабые места до того, как злоумышленники смогут ими воспользоваться. Компания заявила, что атаки, обнаруженные GPT-Red, были включены в процесс обучения GPT-5.6. OpenAI написала в X, что red-teaming жизненно важен, но современные подходы трудно масштабировать, создавая критическое узкое место — и GPT-Red его решает.

GPT-Red добивается 84% успеха во внутренних оценках

OpenAI сообщила, что GPT-Red справлялась с 84% сценариев внутренних оценок, по сравнению с 13% у команд red teamers-людей в тех же тестах. Система сократила количество сбоев на одном из самых сложных бенчмарков OpenAI по prompt injection во время обучения GPT-5.6. По данным OpenAI, GPT-Red обучается через противоборствующую self-play, где ее цель — спровоцировать внедрение подсказок в разнообразные сложные модели защитников; при этом каждый успешный «взлом» используется для улучшения этих защитников.

Обучение с подкреплением через self-play обеспечивает тренировки GPT-Red

GPT-Red обучали с помощью обучения с подкреплением на базе self-play: генерировались все более сильные атаки с внедрением подсказок, а модели защитников учились им противостоять. OpenAI заявила, что этот подход побуждает GPT-Red постоянно находить более широкие и более сложные сбои. Компания описала процесс как «маховик безопасности», где сегодняшние модели можно использовать, чтобы сделать завтрашние более устойчивыми, согласованными и заслуживающими доверия.

Манипуляции агентом «вендингового автомата» демонстрируют возможности GPT-Red

В одном из кейсов OpenAI сообщила, что система смогла манипулировать автономным агентом вендингового автомата: она снизила цены, оформила заказ на со скидкой, а также отменила заказ другого клиента до того, как уязвимости были раскрыты и устранены. Этот кейс иллюстрирует типы реальных рисков безопасности, которые GPT-Red призвана выявлять до развертывания модели.

AI-обеспеченная безопасность ИИ отражает более широкий сдвиг в индустрии

Объявление OpenAI отражает более широкий сдвиг к использованию ИИ для защиты ИИ-систем. В начале этого месяца Ethereum Foundation заявила, что развернула ИИ-агентов для red-teaming критической инфраструктуры сети, обнаружив уязвимость в программном обеспечении, используемом клиентами консенсуса Ethereum. Исследователи отметили, что ИИ-агенты могут просматривать более крупные базы кода, чем люди, но задача сместилась: теперь нужно не просто находить потенциальные баги, а доказывать, какие из них реально эксплуатируемы.

OpenAI заявила, что GPT-Red останется внутренним инструментом, поскольку содержит намеренно разработанные наступательные возможности. Система предназначена для дополнения команд red teamers-людей, третьей стороны и других мер ИИ-безопасности. GPT-Red продолжает многолетние усилия OpenAI в кибербезопасности после публичного запуска ChatGPT, развивая OpenAI Red Teaming Network, которая привлекала внешних специалистов по кибербезопасности и экспертов предметной области для поиска уязвимостей моделей в области безопасности.

FAQ

Что такое GPT-Red и что она делает?
GPT-Red — это автоматизированная ИИ-система, представленная OpenAI, предназначенная для поиска уязвимостей безопасности в языковых моделях с помощью противоборческого тестирования. Система использует reinforcement learning через self-play, чтобы генерировать атаки с внедрением подсказок и другие противоборствующие тесты; успешные атаки включаются в обучение модели, чтобы повышать устойчивость.

Как GPT-Red показала себя по сравнению с командами red teamers-людей?
OpenAI сообщила, что GPT-Red справлялась с 84% сценариев внутренних оценок, по сравнению с 13% у команд red teamers-людей в тех же тестах. Система использовалась для обучения GPT-5.6 и сократила количество сбоев на одном из самых сложных бенчмарков OpenAI по prompt injection.

Почему GPT-Red останется внутренним инструментом?
OpenAI заявила, что GPT-Red останется внутренним инструментом, потому что в нем есть намеренно разработанные наступательные возможности. Система предназначена дополнять команды red teamers-людей, тестирование третьей стороны и другие меры ИИ-безопасности, а не выпускаться публично.