Des chercheurs de l'Université de Tel Aviv, du Technion et d'Intuit ont démontré une nouvelle technique d'attaque appelée "Hallucination de contrefaçon adversariale" qui exploite les hallucinations générées par l'IA pour compromettre des ordinateurs. La méthode induit en erreur les agents d'IA en leur faisant faire confiance à de faux dépôts logiciels et outils contenant des instructions malveillantes, permettant potentiellement aux attaquants de créer des botnets pilotés par l'IA.
Les tests ont montré que le taux d'hallucinations de l'IA atteignait 85 % dans les scénarios de clonage de dépôts et 100 % lors des tests d'installation de compétences contre des assistants de codage tels que Cursor, GitHub Copilot, Gemini CLI et OpenClaw. Les chercheurs ont averti que cette méthode pourrait entraîner une exécution de code à distance lorsque les agents agissent sur des informations non vérifiées sans confirmer la légitimité des sources. La Hallucination de contrefaçon imite les tactiques de typosquatting, mais cible les erreurs commises par les modèles d'IA plutôt que celles dues à des fautes de frappe humaines.