В недолгой истории безопасности ИИ внедрение команд (prompt injection) быстро стало главной угрозой. Большие языковые модели по своей природе не способны отличать законные инструкции, предоставленные пользователями, от вредоносных, внедренных в электронные письма, исходный код и другой сторонний контент, который обрабатывают модели. Это позволяет легко незаметно внедрять вредоносные команды, которые LLM охотно выполняет.
Поскольку нет способа обеспечить это критически важное разграничение между доверенными и недоверенными источниками, разработчики ИИ-движков вынуждены возводить сложные защитные механизмы, призванные смягчить ущерб, а не решить коренную причину.
На сегодняшний день большинство атак типа prompt injection относятся к классу, известному как «выталкивание» (push), при котором целью становится каждый потенциальный жертва. Например, злоумышленник внедряет вредоносные инструкции в отдельное электронное письмо или приглашение в календарь. Поскольку внедрение должно быть отправлено (или «вытолкнуто») каждому конкретному адресату, масштаб атаки ограничен, что препятствует массовым эксплойтам, затрагивающим весь Интернет в целом.
Тем временем атаки типа «вытягивание» (pull-based), при которых LLM активно ищет вредоносные команды, размещенные на веб-сайтах, остаются ограниченными. Поскольку нет способа заманить большое количество LLM на вредоносный сайт, такие атаки также не масштабируются.
Представляем HalluSquatting
Теперь исследователи разработали атаку типа «вытягивание», которая меняет всё. Новая атака, которую исследователи назвали HalluSquatting, имеет потенциал для создания огромных ботнетов, проведения крупномасштабных DDoS-атак и заражения устройств в большом масштабе — это впервые для атак типа prompt injection. Атака работает против ИИ-помощников по кодированию и агентов, включая Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw и NanoClaw, все из которых уязвимы. В ходе выполнения повседневных задач эти помощники и агенты регулярно загружают код и другие ресурсы из репозиториев и реестров.
HalluSquatting, сокращение от adversarial hallucination squatting (присвоение с использованием состязательных галлюцинаций), основан на присущей LLM склонности галлюцинировать идентификаторы ресурсов, размещенных в репозиториях и реестрах. Он работает против агентов и помощников по кодированию, которые обычно получают доступ к командным строкам с высокими привилегиями для выполнения кода из сторонних ресурсов. Предсказывая идентификаторы, которые LLM с наибольшей вероятностью сгенерируют в виде галлюцинаций, а затем регистрируя их и наполняя инструкциями по установке обратных оболочек (reverse shells) или другого вредоносного ПО, атака может бесконтрольно заражать огромное количество устройств без необходимости нацеливаться на каждое из них.
,
«Масштабируемость атаки позволяет злоумышленнику с минимальными усилиями скомпрометировать большое количество пользователей, нацеливаясь на популярные ресурсы, тем самым максимизируя вероятность того, что присвоенный ресурс будет получен», — написали исследователи в статье, опубликованной в среду. «Используя встроенные оболочки и терминалы агентивных приложений для запуска скриптов и кода, злоумышленники могут эффективно «заражать» множество независимых агентивных приложений, встраивая инструкции по установке обратных оболочек в ресурсы, которые регистрируют атакующие».
Благодаря возможности захвата контроля над распределенными устройствами в масштабе, HalluSquatting потенциально может достичь различных целей, которые ранее были недостижимы с помощью prompt injection. Крупномасштабные кампании по распространению программ-вымогателей и большие ботнеты для использования в DDoS-атаках или майнинге криптовалют — два таких примера.
Часть названия «squatting» (присвоение) является отсылкой к «typosquatting» (тайпосквоттинг), при котором домен, пакет репозитория или другой идентификатор ресурса очень похож на название популярного, в надежде заманить потенциальных пользователей посетить его или установить. Тайпосквоттинг впервые привлек широкое внимание в 2016 году, когда студент колледжа загрузил 214 пакетов с ловушками в репозитории PyPI, RubyGems и NPM, которые имитировали названия легитимных пакетов. В результате вредоносный код был выполнен более 45 000 раз на более чем 17 000 отдельных доменах, и более половины из них получили всемогущие административные права. Атаки типа тайпосквоттинг процветалис тех портакжеи.
LLM не умеют говорить «Я не знаю».
Отправной точкой для HalluSquatting является неспособность LLM точно определить местоположение ресурса, указанного пользователем. Например, когда разработчик дает команду агенту по кодированию клонировать популярный новый репозиторий, LLM галлюцинирует его правильное местоположение до 85 процентов случаев. При клонировании популярного «навыка» (skill) — формы инструкции, скрипта или ресурса, который придает агентам специализированные возможности и доменную экспертизу, — галлюцинации могут возникать в 100 процентах случаев. HalluSquatting фокусируется на популярных ресурсах, потому что они не включены в обучение LLM. Они также получают большое количество загрузок за короткий промежуток времени.
,
Исследователи утверждают, что неспособность LLM предоставить правильное местоположение является неотъемлемым недостатком, который возникает из-за смещений в обучении или неверной интерпретации инструкций в текущем контексте. Это означает, что когда пользователь запрашивает у помощника по кодированию клонирование репозитория или навыка — например, в форме «clone repo name» или «install skill name» — бот часто переходит по неверному адресу для его получения.
Эти галлюцинации не только неизбежны, но и происходят на фундаментальном уровне всех шести основных LLM, включая Gemini-2.5-flash, Gemini-2.5-pro, GPT-5.1, GPT-5.2, Sonnet-4.5 и Opus-4.5. Кроме того, наиболее часто предоставляемые неверные местоположения, которые галлюцинируют эти LLM, легко предсказать заранее. Все шесть LLM следуют общим шаблонам при сопоставлении имени репозитория или навыка с его официальным именем в репозитории или реестре навыков.
LLM следуют различным шаблонам галлюцинаций. Тот, который эксплуатирует HalluSquatting, описывается как самореферентный. Все шесть моделей создают строки вида repo-name/repo-name, которые рассматривают имя репозитория как владельца. Эксплуатация этого шаблона не требует зондирования модели.
Интересно, что LLM правильно определяют репозитории, опубликованные до 2019 года, с низкой средней частотой галлюцинаций всего 0,9 процента. Те же LLM фабрикуют строки для репозиториев, опубликованных в 2025 году, со средней частотой галлюцинаций 92,4 процента.
Как только злоумышленник определил имена, которые с наибольшей вероятностью будут сгенерированы в виде галлюцинаций, он ищет те, которые можно зарегистрировать. Затем он загружает репозиторий или навык, имитирующий популярный ресурс. Внутри репозитория или навыка скрыт текст в файле readme или в другом месте. Текст содержит инструкцию для приложения установить обратную оболочку на машине пользователя LLM. В качестве альтернативы злоумышленник может просто включить код, необходимый для установки оболочки. В любом случае помощники или агенты по кодированию используют свой доступ к командным окнам для выполнения инструкций.
Эксплуатация LLM в масштабе
Исследователи: Ая Спира, Элад Фельдман, Авишай Вул и Бен Насси из Тель-Авивского университета, Став Коэн из Техниона и Рон Биттон из Intuit. В среду они опубликовали свое исследование здесь. В своей статье они написали:
,
Используя встроенные оболочки и терминалы агентивных приложений для запуска скриптов и кода, злоумышленники могут эффективно «заражать» множество независимых агентивных приложений, встраивая инструкции по установке обратных оболочек в ресурсы, которые они регистрируют. Получение доступа к распределенным вычислительным ресурсам под контролем злоумышленника открывает двери для ряда высокоэффективных результатов, позволяющих злоумышленникам достигать различных целей. Например, возможность компрометации LLM-приложений с терминалами позволяет злоумышленнику масштабировать количество атак программ-вымогателей в разных сетях для максимизации финансовой выгоды. В качестве альтернативы злоумышленники могут агрегировать скомпрометированные машины в ботнет и использовать его для задач, требующих значительной вычислительной мощности, включая (1) крупномасштабный майнинг криптовалют (например, Smominru, WannaMine) или (2) проведение распределенных атак типа «отказ в обслуживании» (DDoS) на жертв (например, Mirai).
HalluSquatting уже вызывает интерес у коллег-исследователей в области безопасности ИИ, не участвовавших в исследовании.
«Это очень крутое исследование, и угроза очень реальна», — написал в электронном письме Майкл Баргури, технический директор фирмы безопасности Zenity. «Как и тайпосквоттинг, это проблема, которая никуда не денется. В конечном счете, все сводится к уровню агентности, который мы предоставляем нашим агентам. Их *будут* обманывать так или иначе. Мы должны исходить из этого и быть устойчивыми к этому».
Независимый исследователь Йоханн Ребергер написал:
Интересно то, что это показывает, что разрешение ресурсов LLM может стать путем атаки, и злоумышленник может сначала зондировать модели, чтобы найти кандидатов, сгенерированных с высокой вероятностью галлюцинаций (например, имена репозиториев, идентификаторы навыков и т. д.) для присвоения и ждать, пока агенты их разрешат и используют.
Но главный вывод в том, что они нашли классный метод для поиска имен ресурсов, которые модели с большей вероятностью используют/путают. А это может означать, что многие агенты попадутся на такие атаки в реальном мире.
Производители ИИ-инструментов часто преувеличивают удобство и эффективность своих платформ. Маркетологи заявляют, что платформы облегчают рабочие процессы за счет автоматизации и оптимизации утомительных задач. Они гораздо менее охотно говорят о присущих недостатках, которые могут погубить весь проект. Атаки вроде HalluSquatting служат мощным напоминанием о том, что некоторые виды эффективности преувеличены, поскольку в конечном счете пользователи должны перепроверять такие детали, как местоположение каждого ресурса, включенного в проект. Это также служит поучительным уроком о непреднамеренных и потенциально катастрофических последствиях, которые могут возникнуть, когда люди слишком сильно полагаются на ИИ-помощников.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin
