Инъекции промптов — вредоносные команды, которые злоумышленники внедряют в контент, чтобы склонить большие языковые модели к их выполнению, — давно стали для атакующих основным инструментом, позволяющим обращать платформы ИИ против их пользователей. Часто достаточно одной хорошо сформулированной команды, спрятанной в письме или приглашении в календаре, чтобы LLM начала извлекать конфиденциальные данные или выполнять другие вредоносные действия.
Теперь и защитники берут инъекции промптов на вооружение.
Сильный, резкий эффект
Исследователи из Tracebit в понедельник сообщили, что размещение инъекций промптов рядом с паролями, криптографическими ключами и другими секретами, хранящимися в Amazon Web Services, часто оказывается достаточным, чтобы остановить атаки со стороны хакерских агентов на основе ИИ. Такие промпты дают атакующей LLM команду выполнить действие, запрещённое её ограничителями — защитными барьерами, которые разработчики ИИ возводят, чтобы предотвратить вредоносные действия. LLM отвечает на это остановкой работы.
Примеры таких команд: промпт, предписывающий LLM описать шаги по созданию ингаляционных спор сибирской язвы, или, в случае LLM китайских разработчиков, упоминание культового «Танкмена» — событий расстрела на площади Тяньаньмэнь в 1989 году. Как только LLM сталкивается с этими запрещёнными командами, она перестаёт следовать своим текущим инструкциям. Исследователи назвали данный метод контекстной бомбардировкой.
«В конечном счёте мы провоцируем механизм отказа в контексте, — пояснил выбор названия Энди Смит, сооснователь и генеральный директор Tracebit. — Мы пытаемся отразить тот факт, что эффект получается сильным, резким, и агентам трудно от него оправиться. Как только эта информация попадает в их контекст, они продолжают отказываться».
Tracebit утверждает, что предварительные испытания показывают большой потенциал контекстной бомбардировки. Они протестировали модели Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi 2.6, дав им инструкции по выполнению рутинных задач разработчика, что заставляло модели перечислять ресурсы и натыкаться на подброшенные строки. Тестирование проводилось в симулированной среде AWS.
«В ходе пяти ведущих моделей и 152 атакующих запусков размещение одной такой строки в секрете-ловушке снизило долю случаев, когда агенты захватывали полный доступ администратора учётной записи, с 57% до 5%, а полная компрометация (когда они также оставляли себе постоянную точку опоры) снизилась с 36% до 1%, — сообщается в публикации понедельника. — Самый способный агент в наших тестах, Opus 4.8, перешёл от получения доступа администратора в 93% запусков к полному провалу каждый раз при столкновении с контекстной бомбой».
В среднем по пяти моделям и 152 запускам результаты включали:
- Повышение привилегий до администратора снизилось с 57% до 5%
- Повышение до администратора с постоянной точкой опоры снизилось с 36% до 1%
- Запуски, достигшие любого пути атаки, снизились с 91% до 15%
- В среднем запуск перешёл от успешного выполнения 1,53 путей к всего 0,16
- Ни один запуск не смог завершить путь атаки без хотя бы срабатывания канареечного обнаружения
Исследование опирается на результаты мая, когда Tracebit представила метод, позволяющий защитникам получать предупреждения об атаках на их инфраструктуру со стороны агентных противников на базе ИИ. Метод заключается в создании ресурсов AWS, которые выглядят как легитимные, но на самом деле не используются. Они располагаются рядом с используемыми ресурсами. Когда их зондирует агентный ИИ, защитники получают оповещение. Подобно «канарейкам», взятым в угольные шахты, эти ресурсы позволяют защитникам обнаружить угрозу прежде, чем она приведёт к фатальным последствиям.
Канарейки Tracebit в среднем предупреждали о начале атаки в течение восьми минут. Мотивацией для разработки контекстной бомбардировки стала потребность в средстве, которое не просто предупреждает об атаках, а останавливает их. В ходе экспериментов агентным моделям требовалось в среднем 14 минут, чтобы получить административный контроль. Шестиминутного запаса было тревожно мало.
Злоумышленники уже применяют инъекции промптов для отключения средств защиты ИИ в сетях. Например, исследователи из компании Socket в прошлом месяце обнаружили LLM-агента, который давал целевым LLM инструкции по созданию атомной бомбы или биологического оружия. Такие инъекции были нацелены на отключение анализа вредоносных программ с помощью ИИ. Исследователи из Check Point обнаружили аналогичный прототип вредоносной программы.
Контекстная бомбардировка, по всей видимости, является первым известным случаем, когда защитники перехватили инициативу.
«Насколько мне известно, я не видел, чтобы кто-то ещё использовал этот метод в качестве защиты, — заявил в интервью Эрленс Фернандес, профессор Калифорнийского университета в Сан-Диего, специализирующийся на безопасности ИИ. — Я сам экспериментировал с похожим подходом, хотя и в немного другом контексте. Я хотел быть первым здесь, но, похоже, эти ребята меня опередили!»
На сегодняшний день не существует известного способа искоренить первопричину инъекций промптов. Это вынуждает разработчиков не искать иного выхода, кроме как строить сложные ограничители, предотвращающие сход LLM с рельсов из-за внедрённых промптов. Теперь у защитников может появиться способ обратить эту неразрешимую проблему себе на пользу.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin
