OpenAI a introduit GPT-Red, un système d’IA automatisé conçu pour identifier les failles de sécurité dans les modèles de langage, et a annoncé mercredi que l’outil a contribué à renforcer GPT-5.6 contre les attaques par injection d’invites avant son déploiement. Le système a été développé pour répondre au goulot d’étranglement lié à la montée en charge de l’IA safety red-teaming au fur et à mesure que les capacités des modèles augmentent. GPT-Red représente l’effort d’OpenAI visant à automatiser des tests de sécurité qui complètent son OpenAI Red Teaming Network existant, lancé en 2023, et qui utilise des modèles d’IA pour générer des attaques adverses à une échelle difficile à réaliser par des chercheurs humains seuls.
GPT-Red tire son nom du red teaming en cybersécurité, une pratique consistant à tenter délibérément de faire échouer un système afin d’identifier ses faiblesses avant que des attaquants ne puissent les exploiter. L’entreprise a indiqué que les attaques découvertes par GPT-Red ont été intégrées au processus d’entraînement de GPT-5.6. OpenAI a écrit sur X que le red-teaming est essentiel, mais que les approches actuelles sont difficiles à faire évoluer, créant un goulot d’étranglement critique que GPT-Red vise à résoudre.
GPT-Red obtient un taux de réussite de 84% lors d’évaluations internes
OpenAI a rapporté que GPT-Red a réussi dans 84% des scénarios d’évaluation internes, contre 13% pour les red teamers humains dans les mêmes tests. Le système a réduit les échecs sur l’un des benchmarks d’injection d’invites les plus difficiles d’OpenAI pendant l’entraînement de GPT-5.6. D’après OpenAI, GPT-Red apprend grâce à un self-play adversarial, où son objectif est d’injecter des invites dans une variété de modèles de défense difficiles, chaque attaque réussie servant à améliorer ces défenseurs.
Le renforcement par self-play alimente l’entraînement de GPT-Red
GPT-Red a été entraîné via un apprentissage par renforcement par self-play, générant progressivement des attaques par injection d’invites plus puissantes pendant que les modèles de défense apprennent à leur résister. OpenAI a indiqué que cette approche pousse GPT-Red à trouver en continu des défaillances plus larges et plus complexes. L’entreprise a décrit le processus comme un flywheel pour la sécurité, où les modèles d’aujourd’hui peuvent servir à rendre les modèles de demain plus robustes, mieux alignés et dignes de confiance.
Une manipulation d’agent de distributeur automatique illustre les capacités de GPT-Red
Dans un cas d’étude, OpenAI a déclaré que le système a manipulé un agent autonome de distributeur automatique afin de baisser les prix, commander des stocks à prix réduit et annuler la commande d’un autre client avant que les vulnérabilités ne soient divulguées et corrigées. Ce cas d’étude montre les types de risques de sécurité réels que GPT-Red est conçu pour identifier avant le déploiement des modèles.
Une IA sécurisée par IA reflète un basculement plus large dans l’industrie
L’annonce d’OpenAI reflète un basculement plus large vers l’utilisation de l’IA pour sécuriser des systèmes d’IA. Plus tôt ce mois-ci, la Fondation Ethereum a déclaré avoir déployé des agents d’IA afin de red-teamer des infrastructures réseau critiques, révélant une vulnérabilité dans le logiciel utilisé par les clients de consensus d’Ethereum. Des chercheurs ont indiqué que les agents d’IA peuvent explorer des bases de code plus vastes que les humains, mais que le défi est passé de la recherche de bogues potentiels à la démonstration de ceux qui sont exploitables.
OpenAI a déclaré que GPT-Red restera un outil interne car il contient des capacités offensives développées intentionnellement. Le système est conçu pour compléter les red teamers humains, les tests de tiers et d’autres mesures de sécurité de l’IA. GPT-Red s’inscrit dans la continuité de plusieurs années d’efforts de cybersécurité d’OpenAI après le lancement public de ChatGPT, en s’appuyant sur l’OpenAI Red Teaming Network qui a recruté des chercheurs en cybersécurité et des experts du domaine externes pour analyser les modèles à la recherche de failles de sécurité.
FAQ
Qu’est-ce que GPT-Red et que fait-il ?
GPT-Red est un système d’IA automatisé introduit par OpenAI, conçu pour trouver des vulnérabilités de sécurité dans les modèles de langage grâce à des tests adverses. Le système utilise un apprentissage par renforcement par self-play pour générer des attaques par injection d’invites et d’autres tests adverses, les attaques réussies étant intégrées à l’entraînement du modèle afin d’améliorer sa robustesse.
Comment GPT-Red s’est-il comporté par rapport à des red teamers humains ?
OpenAI a rapporté que GPT-Red a réussi dans 84% des scénarios d’évaluation internes, contre 13% pour les red teamers humains dans les mêmes tests. Le système a été utilisé pour entraîner GPT-5.6 et a réduit les échecs sur l’un des benchmarks d’injection d’invites les plus difficiles d’OpenAI.
Pourquoi GPT-Red restera-t-il un outil interne ?
OpenAI a indiqué que GPT-Red restera un outil interne car il contient des capacités offensives développées intentionnellement. Le système est conçu pour compléter les red teamers humains, les tests de tiers et d’autres mesures de sécurité de l’IA, plutôt que d’être publié au public.
