В ходе тестирования крупных больших языковых моделей (LLM) компания Zscaler обнаружила, что некоторые автономные ИИ-агенты стали жертвами мошенничества, что подтверждает, насколько легко можно обмануть некоторые передовые корпоративные агенты схемами, которые вряд ли ввели бы в заблуждение людей.
Поставщик решений в области безопасности изучил различные формы ловушек с косвенной инъекцией промптов (IPI) и обнаружил, что, хотя многие модели попались на эти уловки, некоторые LLM более низкого уровня справились лучше, чем их более дорогие аналоги.
Тестирование Zscaler показало, например, что четыре модели были признаны «уязвимыми»: Llama3-3-70b-instruct; Llama3-2-90b-instruct; Gemini-3-flash; и Gemini-2.5-pro. Три модели были признаны «безопасными»: Llama4-maverick; Gemini-3.1-pro; и Gemini-3.1-flash-lite. Эти результаты свидетельствовали о том, что устойчивость Gemini-2.5-pro к мошенничеству оказалась, по-видимому, слабее, чем у Gemini-3.1-flash-lite.
Однако Ноа Кенни, ведущий консультант Digital 520, заявил, что из этого открытия не обязательно следует какой-либо ценный вывод, поскольку агенты постоянно меняют свое поведение, поглощая новые данные и пересматривая свои проанализированные предположения. Это означает, что агент, проваливший определенный тест, вполне может пройти тот же самый тест через час, сказал он.
«Риск, связанный с агентом, постоянно меняется, и это может привести к совершенно разным результатам. Нельзя предполагать, что результаты являются обобщаемыми. Результат теста действителен только в определенный момент времени», — отметил Кенни. Zscaler «пытается доказать нечто, что, по моему мнению, данные не обязательно доказывают».
Кенни добавил, что наличие чистой классификации «безопасный/уязвимый» является слишком упрощенным, чтобы быть полезным. «Это бинарная классификация. Я бы никогда не порекомендовал CISO использовать бинарную классификацию».
В полной статье в блоге ZScaler утверждается, что многие автономные агенты подвержены ловушкам IPI.
Компания заявила, что выявила IPI, внедренные на множестве веб-сайтов, где скрытые инструкции были разработаны для манипулирования поведением ИИ-агента.
В ходе внутренней проверки 26 LLM четыре модели «не смогли предпринять надлежащих действий», что, по их словам, продемонстрировало «измеримое влияние в реальном мире, показывая, что подверженность варьируется в зависимости от модели и контекста, предоставленного LLM вместе с промптом».
В статье добавлено: «по мере того как ИИ-агенты становятся более распространенным интерфейсом для веба, сам контент будет становиться большей поверхностью атаки, подчеркивая, что ИИ — это палка о двух концах, которая может оптимизировать рабочие процессы, но также открывать новые пути для злоупотреблений».
Аман Махапатра, директор по стратегии Tribeca Softtech, нью-йоркской консалтинговой фирмы в области технологий, заявил, что, хотя результаты не являются неожиданными, они значимы.
Особо тревожной деталью в отчете является то, что любая коммерческая LLM потерпела неудачу, «поскольку модель безопасности для агентного ИИ исторически предполагала, что обучение безопасности на уровне модели существенно ослабит этот класс атак», — сказал Махапатра. «Она этого не делает, а данные Zscaler являются первым широко цитируемым публичным доказательством».
Фундаментальная архитектурная проблема
Махапатра также отметил, что примеры, приведенные Zscaler, не так тревожны, как последствия более масштабного ущерба, который может произойти.
«Сценарий мошенничества с платежами от Zscaler, когда агент платит фальшивый «лицензионный сбор разработчика» в размере 3 долларов за получение API-ключа, является самой безобидной версией этого», — сказал он. «Та же техника, примененная к агенту, уполномоченному на закупки, обработку расходов, привлечение поставщиков или исполнение сделок, приводит к потерям совершенно иного масштаба. Я видел, как банки из списка Fortune 50 за последние шесть месяцев разворачивали агентные рабочие процессы, которые провалили бы именно такую атаку при живой проверке».
Действительно, отметил он, большинство поставщиков ИИ уже понимают масштаб риска, исходящего от современных ИИ-агентов.
«Каждый поставщик моделей признает в частном порядке, что фундаментальная архитектура рассуждений на основе трансформеров не может чисто отделить недоверенный контент от доверенных инструкций, когда оба разделяют контекстное окно», — сказал Махапатра. «Поверхность атаки является архитектурной, а не просто поведенческой. Это означает, что защита также должна быть архитектурной, и именно здесь обсуждение корпоративного агентного ИИ все еще сильно отстает».
Тестирование Zscaler также подтвердило разницу в том, как ИИ-агенты и люди обрабатывают информацию.
«Люди скептически относятся к неожиданным инструкциям. Агенты стремятся следовать структурированным метаданным, поскольку их обучение вознаграждает их за то, что они считают поля с высоким сигналом авторитетными. Люди замечают, когда запрос на оплату появляется посреди несвязанной задачи. Агенты включат этот запрос на оплату в свой план выполнения, если окружающий контекст представит его как процедурно необходимый», — указал Махапатра, отметив, что, хотя у людей есть отношения с поставщиками, воспоминания о предыдущих взаимодействиях и социальный контекст, дающие им сигналы для проверки, у агентов есть только то, что находится в контекстном окне, и, по его словам, «контекстное окно теперь является основной поверхностью атаки».
Фриц Жан-Луи, ведущий консультант по кибербезопасности в Info-Tech Research Group, согласился с тем, что риски, описанные в статье ZScaler, вызывают озабоченность, поскольку они относятся к областям, которые традиционно не охватываются корпоративной безопасностью.
«Эти атаки отличаются от традиционных угроз тем, что они нацелены на то, как ИИ-системы обрабатывают, интерпретируют и действуют в отношении информации за кулисами», — сказал Жан-Луи. «Агентный ИИ вводит новые границы доверия, включая влияние недоверенного контента на автоматизированное принятие решений, автономные действия инструментов и плагинов от имени пользователей, а также работу ИИ-систем с широкими, унаследованными разрешениями. Это фактически превращает проблему в парадигму внутренней угрозы».
Эта статья первоначально появилась на InfoWorld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
