Исследователи представили атаку HalluSquatting, использующую галлюцинации ИИ

Исследователи из Тель-Авивского университета, Техниона и Intuit представили метод кибератаки под названием Adversarial HalluSquatting, использующий галлюцинации, создаваемые ИИ, для компрометации ИИ-агентов. Атака обманывает системы ИИ, заставляя доверять фальшивым репозиториям программного обеспечения или инструментам с вредоносными инструкциями, предсказывая, какие несуществующие ресурсы модели ИИ могут сгенерировать, регистрируя эти имена и внедряя вредоносный код. Уязвимость возникает по мере расширения возможностей ИИ-ассистентов взаимодействовать с компьютерами — получать доступ к файлам, искать в интернете, писать код и выполнять команды — что создает пробелы в безопасности при действиях агентов на основе непроверенной информации.

Исследователи демонстрируют механизм атаки, нацеленной на галлюцинации ИИ

Научная статья под названием "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" подробно описывает, как атака использует генерацию фальшивых ссылок на репозитории программного обеспечения и другие онлайн-ресурсы моделями ИИ. В исследовании отмечается, что растущее распространение приложений на базе агентных LLM создало угрозу под названием promptware. Метод атаки заключается в предсказании, какие фальшивые ресурсы модели ИИ могут создать, регистрации этих имен и добавлении вредоносных инструкций, которые ИИ-агенты могут позже воспринимать как легитимный контент.

Техника работает аналогично typosquatting, когда злоумышленники регистрируют доменные имена, похожие на легитимные сайты или программные пакеты. HalluSquatting нацелен на ошибки, совершаемые моделями ИИ, а не на человеческие опечатки. Исследователи сообщили, что текущие исследования продемонстрировали различные варианты атак promptware против систем, таких как ChatGPT, Google Assistant, Copilot и другие приложения, что приводит к финансовым, приватным и безопасностным последствиям.

Тесты показывают высокие показатели галлюцинаций у ассистентов по программированию на базе ИИ

Команда обнаружила, что галлюцинации ресурсов, сгенерированных ИИ, достигали уровня 85% при сценариях клонирования репозиториев и 100% при тестах установки навыков. Тестирование проводилось против таких популярных ассистентов и агентов, как Cursor, GitHub Copilot, Gemini CLI и OpenClaw. В контролируемых экспериментах метод мог привести к удаленному выполнению кода.

Атака позволяет создавать ботнеты на базе ИИ

Исследователи предупредили, что техника может позволить злоумышленникам создавать ботнеты с поддержкой ИИ. Ботнет — это сеть зараженных компьютеров или устройств, управляемых удаленно злоумышленником, часто используемая в кибератаках, включая атаки отказа в обслуживании, майнинг криптовалют, распространение вредоносного ПО и кампании по вымогательству. Уязвимости возникают, когда агенты действуют на основе полученной информации без подтверждения ее подлинности.

Связанные исследования по безопасности ИИ и атакам через внедрение подсказок

В апреле исследователи из Google описали вредоносные сайты, созданные для захвата ИИ-агентов через косвенные атаки внедрения подсказок, включая попытки кражи паролей, удаления файлов и манипуляции платежами. Отдельное исследование по атаке CopyPasta показало, как скрытые подсказки внутри файлов разработчиков могут манипулировать ассистентами ИИ, заставляя их распространять вредоносный код. В июне пользователь OpenClaw сообщил о более чем 6 000 попытках злоумышленников обмануть ИИ-агента, чтобы тот раскрыл конфиденциальную информацию.

FAQ

Что такое Adversarial HalluSquatting и как он работает?
Adversarial HalluSquatting — это техника кибератаки, разработанная исследователями из Тель-Авивского университета, Техниона и Intuit, использующая галлюцинации, создаваемые ИИ. Атака заключается в предсказании, какие фальшивые ресурсы модели ИИ могут сгенерировать, регистрации этих имен и добавлении вредоносных инструкций, которые ИИ-агенты могут позже воспринимать как легитимный контент при получении галлюцинированного ресурса.

Какие системы ИИ проверялись на уязвимость к HalluSquatting?
Исследователи протестировали метод против ассистентов и агентов на базе ИИ, таких как Cursor, GitHub Copilot, Gemini CLI и OpenClaw. В тестах показано, что галлюцинации ресурсов ИИ достигали уровня 85% при сценариях клонирования репозиториев и 100% при установке навыков, а метод мог привести к удаленному выполнению кода в контролируемых условиях.

Какие другие атаки на безопасность ИИ зафиксированы исследователями?
В апреле исследователи из Google описали вредоносные сайты, предназначенные для захвата ИИ-агентов через косвенные атаки внедрения подсказок, включая кражу паролей, удаление файлов и манипуляции платежами. Отдельное исследование по CopyPasta показало, как скрытые подсказки внутри файлов разработчиков могут манипулировать ассистентами ИИ, распространяющими вредоносный код. В июне пользователь OpenClaw сообщил о более чем 6 000 попытках злоумышленников обмануть ИИ-агента, чтобы тот раскрыл конфиденциальную информацию.