Дослідники виявили атаку HalluSquatting, яка використовує галюцинації ШІ

Вчені з Тель-Авівського університету, Техніону та Intuit представили метод кібернападу під назвою Adversarial HalluSquatting, який використовує галюцинації, згенеровані ШІ, для компрометації агентів штучного інтелекту. Атака вводить системи ШІ в оману, змушуючи довіряти фальшивим репозиторіям або інструментам із шкідливими інструкціями, передбачаючи, які неіснуючі ресурси ймовірно згенерує модель ШІ, реєструючи ці назви та вставляючи шкідливий код. Уразливість виникає через здатність помічників ШІ взаємодіяти з комп’ютерами — отримувати доступ до файлів, шукати в інтернеті, писати код і виконувати команди — що створює прогалини безпеки, коли агенти діють на основі неперевіреної інформації.

Вчені демонструють механізм атаки, спрямованої на галюцинації ШІ

У дослідницькій статті під назвою "Остерігайтеся агентних ботнетів: масштабні нецільові атаки за допомогою універсального та переносимого Adversarial HalluSquatting" описано, як атака використовує згенеровані ШІ фальшиві посилання на репозиторії та інші онлайн-ресурси. Автори зазначили, що зростаюче застосування агентних великих мовних моделей (LLM) створює загрозу під назвою promptware. Метод атаки полягає у передбаченні, які фальшиві ресурси ймовірно створить модель ШІ, реєстрації цих назв і додаванні шкідливих інструкцій, які агенти ШІ згодом можуть сприйняти як легітимний контент.

Техніка працює подібно до typosquatting, коли зловмисники реєструють доменні імена, схожі на легітимні сайти або пакети програмного забезпечення. HalluSquatting спрямований на помилки, які роблять моделі ШІ, а не на людські опечатки. Вчені повідомили, що поточні дослідження продемонстрували різні варіанти promptware-атак проти реальних систем, таких як ChatGPT, Google Assistant, Copilot та інші додатки, що спричиняє фінансові, приватні та безпекові ризики.

Тести показали високий рівень галюцинацій у асистентах для кодування ШІ

Команда дослідників виявила, що галюцинації ресурсів, згенеровані ШІ, траплялися з частотою до 85% у сценаріях клонування репозиторіїв і до 100% у тестах встановлення навичок. Вони оцінювали цю техніку проти асистентів для кодування ШІ та агентів, таких як Cursor, GitHub Copilot, Gemini CLI і OpenClaw. Тести показали, що цей метод може призводити до віддаленого виконання коду у контрольованих експериментах.

Атака дозволяє створювати ботнети з підтримкою ШІ

Вчені попередили, що ця техніка може дати зловмисникам змогу створювати ботнети з використанням ШІ. Ботнет — це мережа інфікованих комп’ютерів або пристроїв, керованих віддалено зловмисником, що використовується у кіберзлочинах, таких як атаки відмови у обслуговуванні, майнінг криптовалют, поширення шкідливого ПЗ і кампанії з викупом. Прогалини безпеки виникають, коли агенти діють на основі отриманої інформації без підтвердження її достовірності.

Пов’язані дослідження з безпеки ШІ описують атаки через інжекцію промптів

У квітні дослідники з Google описали шкідливі вебсайти, створені для захоплення агентів ШІ через опосередковані атаки інжекції промптів, включаючи спроби крадіжки паролів, видалення файлів і маніпуляції платежами. Окрема дослідницька робота щодо атаки CopyPasta показала, як приховані промпти у файлах розробників можуть маніпулювати асистентами для кодування ШІ, змушуючи їх поширювати шкідливий код. У червні користувач OpenClaw повідомив про понад 6 тисяч спроб з боку зловмисників обдурити агента ШІ, щоб той розкрив конфіденційну інформацію.

FAQ

Що таке Adversarial HalluSquatting і як він працює?
Adversarial HalluSquatting — це техніка кіберзлочинства, яку запровадили дослідники з Тель-Авівського університету, Техніону та Intuit, що використовує галюцинації, згенеровані ШІ. Атака полягає у передбаченні, які фальшиві ресурси ймовірно створить модель ШІ, реєстрації цих назв і додаванні шкідливих інструкцій, які агенти ШІ згодом можуть сприйняти як легітимний контент при отриманні галюцинованого ресурсу.

Які системи ШІ були протестовані на вразливість до HalluSquatting?
Дослідники протестували цю техніку проти асистентів для кодування ШІ та агентів, таких як Cursor, GitHub Copilot, Gemini CLI і OpenClaw. Тести показали, що галюцинації ресурсів згенеровані ШІ траплялися з частотою до 85% у сценаріях клонування репозиторіїв і до 100% у тестах встановлення навичок, а метод міг призводити до віддаленого виконання коду у контрольованих експериментах.

Які ще атаки на безпеку ШІ задокументували дослідники?
У квітні дослідники з Google описали шкідливі вебсайти, створені для захоплення агентів ШІ через опосередковані атаки інжекції промптів, включаючи спроби крадіжки паролів, видалення файлів і маніпуляції платежами. Окрема робота щодо атаки CopyPasta показала, як приховані промпти у файлах розробників можуть змусити асистентів поширювати шкідливий код. У червні користувач OpenClaw повідомив про понад 6 тисяч спроб зловмисників обдурити агента ШІ, щоб той розкрив конфіденційну інформацію.