С момента появления агентного ИИ исследователи в области безопасности кричат во весь голос о том, как опасно предоставлять LLM — по сути, программе с непредсказуемыми результатами и непоследовательной обработкой входных данных — разрешения на уровне пользователя. В научной работе о HalluSquatting, проведенной исследователями из Тель-Авивского университета, Техниона и Intuit, показано, как легко можно обмануть современные ИИ-боты и превратить их в огромную армию ИИ-агентов. Исследование демонстрирует, что агенты могут галлюцинировать потенциально вредоносные репозитории кода до 85% времени.
Механизм HalluSquatting (также известный как «состязательное галлюцинационное захватывание») на удивление прост и использует тот факт, что при столкновении с незнакомыми терминами боты не будут знать, что они неверны, и сгенерируют «правильный» ответ путем галлюцинации. В дополнение к этому, методы, которые боты используют для получения этого ответа, предсказуемы, например, URL-адреса GitHub вида owner/repository или toolname/toolname. Это отличается от обычного захвата по опечатке (typo-squatting), поскольку здесь эксплуатируется сам механизм галлюцинации.
Злоумышленник сначала определяет приложение, репозиторий кода, библиотеку программирования или навык бота, который приобрел популярность только за последние месяцы или годы — скажем, новый репозиторий GitHub с URL-адресом OriginalOwner/WindowsTelemetryOff. Поскольку обучающие данные ботов недостаточно свежие, чтобы содержать информацию о нем, комбинации владельца/репозитория GitHub вроде SuperHacker/WindowsTelemetryOff и WindowsTelemetryOff/WindowsTelemetryOff выглядят вполне правдоподобно. Аналогично, WindowsTelemetryOf и WindowTelemetryOff (обратите внимание на опечатки) также станут подходящими кандидатами.
Затем злоумышленник создает вредоносный репозиторий, используя эти сгенерированные имена. Когда Claude или другой кодовый агент получает команду «запустить скрипты windowstelemetryoff» или аналогичную инструкцию, высока вероятность, что он сгенерирует название репозитория (иногда даже выполнив веб-поиск), наткнется на вредоносную версию, похожую на оригинал, и с радостью выполнит все, что там находится.
С этого момента ставки высоки, поскольку код злоумышленника выполняется на машине пользователя. Самым очевидным результатом может стать создание обратного шелла (машина пользователя открывает удаленно управляемую командную строку). Получив доступ к учетной записи пользователя, злоумышленник может похитить его данные и пароли, установить программное обеспечение, запустить майнеры криптовалюты или использовать его ИИ-агента для дальнейших злодеяний, используя всю мощь целых центров обработки данных.
И вот в чем загвоздка: всего один «захваченный» с помощью HalluSquatting программный компонент может заманить и поймать десятки тысяч ботов, если не больше, в мгновение ока. Опытный злоумышленник проявит любезность и включит весь оригинальный код в свою отравленную версию, добавив еще один уровень неосознанности.
Исследовательская группа обнаружила, что LLM будет галлюцинировать местоположение недавнего репозитория кода до 85% времени, а этот показатель может достигать 100% для популярных агентных навыков. Все модели в значительной степени подвержены этой уязвимости, вплоть до могучего Claude Opus 4.5 от Anthropic. На уровне приложений показатели лучше, но все равно довольно плохие.
Ученые работают с распространенными приложениями для программирования на базе LLM, включая Cursor, Windsurf и OpenClaw. В этом сценарии у ботов больше шансов, поскольку они работают с большим объемом контекстной информации, но даже в этом случае показатели успешности взлома варьировались от 20% до 35% для Cursor, Gemini CLI и Copilot и резко возрастали до 80–100% для OpenClaw и его вариантов. Механизм эксплойта даже не нужно специально разрабатывать для какого-либо бота; результаты исследователей показывают, что он универсален и переносим.
Средний показатель галлюцинации для названий образцов репозиториев GitHub, опубликованных в 2025 году, составляет 92,4%, в то время как, что предсказуемо, боты ошибаются с URL-адресами в 0,9% случаев для тех, что были опубликованы в 2019 году или ранее, хотя это все равно можно считать тревожной цифрой. Наиболее эффективным смягчением является корректировка рабочего процесса: инструктирование ботов всегда выполнять веб-поиск перед установкой программного обеспечения и предоставление им дополнительного контекста. К сожалению, это не тот способ, которым большинство людей, по-видимому, их используют.
Специалисты по кибербезопасности давно выступают за то, чтобы не доверять слепо действиям ботов и строго ограничивать уровень доступа, предоставляемый ИИ-агентам. И все же нередко можно увидеть ботов с широкими полномочиями в отношении машин пользователей, ключей API, ключей доступа и служебных учетных записей, чтобы назвать лишь несколько примеров — и все это для того, чтобы боту было «проще» кодировать последнюю гениальную идею своего «коренастого босса».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
