Компания CrowdStrike выявила пять новых техник prompt injection, которые могут подвергнуть предприятия риску. Атаки prompt injection используют растущее применение AI в организациях. Они работают, заставляя LLM принимать инструкции, которые человек-оператор счел бы подозрительными.
Пять новых типов атак, которые CrowdStrike добавила в свою таксономию prompt injection:
Trigger-Activated Rule Addition — злоумышленник добавляет новое правило, которое сначала выглядит безобидным, но позже может быть активировано, вызывая странное поведение модели.
Cognitive Token Suppression — способ обхода встроенных мер безопасности путем смещения языковых предпочтений модели от установленных шаблонов отказа.
Algorithmic Payload Decomposition — доставка сообщения в несколько этапов, каждый из которых кажется безобидным, но в совокупности они могут быть собраны в единую команду, представляющую большую угрозу.
Special Token Injection — атака, которую можно сравнить с внедрением поддельных «переключателей управления» в обычные инструкции. Злоумышленники стремятся внести путаницу, заставляя модель повышать статус недоверенного пользовательского контента до уровня приоритетной системной директивы.
Unwitting User Context-Data Injection — эксплойт, использующий границу между доверенными данными и исполняемыми инструкциями, обманом заставляя пользователя ввести вредоносные инструкции как часть контекстных данных для LLM. Промпт может быть безвредным: вредоносная инструкция скрыта внутри окружающих контекстных данных. Это срабатывает, когда пользователь загружает документ, пересылает электронное письмо или добавляет контент, который впоследствии обрабатывается AI.
По словам CrowdStrike, команды безопасности могут защититься от таких атак несколькими способами, включая моделирование угроз для каждого источника контекста модели, расширение тестирования и совершенствование инженерии обнаружения для включения составных атак.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Maxwell Cooter
