Des chercheurs dévoilent l'attaque HalluSquatting exploitant les hallucinations de l'IA

Des chercheurs de l’Université de Tel Aviv, du Technion et d’Intuit ont présenté une technique d’attaque informatique appelée Adversarial HalluSquatting, exploitant des hallucinations générées par l’IA pour compromettre des agents d’IA. L’attaque consiste à tromper les systèmes d’IA en leur faisant faire confiance à de faux dépôts logiciels ou outils contenant des instructions malveillantes, en prédisant quels ressources inexistantes les modèles d’IA sont susceptibles de générer, en enregistrant ces noms, puis en incorporant du code nuisible. La vulnérabilité apparaît lorsque les assistants IA acquièrent la capacité d’interagir avec des ordinateurs — accéder à des fichiers, rechercher sur le web, écrire du code et exécuter des commandes — créant ainsi des failles de sécurité lorsque les agents agissent sur des informations non vérifiées qu’ils récupèrent.

Des chercheurs démontrent le mécanisme d’attaque ciblant les hallucinations de l’IA

Le document de recherche intitulé « Beware of Agentic Botnets : Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting » détaille comment l’attaque exploite les modèles d’IA lorsqu’ils génèrent de faux liens vers des dépôts logiciels et autres ressources en ligne. Les chercheurs ont écrit que l’adoption croissante d’applications LLM à agentique introduisait une menace appelée promptware. La méthode d’attaque consiste à prédire quels ressources fictives les modèles d’IA sont susceptibles de créer, à enregistrer ces noms, puis à ajouter des instructions malveillantes que les agents d’IA pourraient traiter ultérieurement comme un contenu légitime.

La technique fonctionne de manière similaire au typosquatting, où des attaquants enregistrent des noms de domaine ressemblant à des sites légitimes ou des paquets logiciels. HalluSquatting cible les erreurs commises par les modèles d’IA plutôt que les fautes de frappe humaines. Les chercheurs ont indiqué que des études en cours ont démontré diverses variantes d’attaques promptware contre des systèmes réels tels que ChatGPT, Google Assistant, Copilot, et plusieurs autres applications, entraînant des impacts financiers, de confidentialité et de sécurité.

Tests montrent des taux élevés d’hallucinations dans les assistants de codage IA

L’équipe de recherche a constaté que les hallucinations de ressources générées par l’IA se produisaient à des taux allant jusqu’à 85 % dans des scénarios de clonage de dépôts et 100 % lors de tests d’installation de compétences. Elle a évalué la technique contre des assistants de codage IA et des agents tels que Cursor, GitHub Copilot, Gemini CLI et OpenClaw. Les tests sur ces assistants populaires ont montré que la méthode pouvait conduire à une exécution de code à distance lors d’expériences contrôlées.

L’attaque permet la construction de botnets pilotés par l’IA

Les chercheurs ont averti que cette technique pourrait permettre à des attaquants de créer des botnets alimentés par l’IA. Un botnet désigne un réseau d’ordinateurs ou appareils infectés contrôlés à distance par un attaquant, couramment utilisé dans des cyberattaques telles que les attaques par déni de service, le minage de cryptomonnaies, la distribution de logiciels malveillants et les campagnes de ransomware. Les failles de sécurité apparaissent lorsque les agents agissent sur des informations qu’ils récupèrent sans confirmer si la source est authentique.

Des documents de recherche liés à la sécurité de l’IA évoquent des attaques par injection de prompt

En avril, des chercheurs de Google ont détaillé des sites web malveillants conçus pour détourner des agents d’IA via des attaques indirectes par injection de prompt, incluant des tentatives de vol de mots de passe, de suppression de fichiers et de manipulation de paiements. Une étude distincte sur l’attaque CopyPasta a montré comment des prompts cachés dans des fichiers de développeurs pouvaient manipuler des assistants de codage IA pour diffuser du code malveillant. En juin, un utilisateur d’OpenClaw a signalé avoir été confronté à plus de 6 000 tentatives d’attaquants cherchant à piéger l’agent IA pour lui faire divulguer des informations sensibles.