Новости: prompt injection

Исследователи PromptArmor обнаружили критические уязвимости в Bob, ИИ-агенте IBM для разработчиков. Атаки внедрения подсказок позволяют обходить механизмы безопасности и выполнять вредоносный код, даже при наличии одобрения от пользователя.

Новое исследование раскрывает, почему некоторые атаки внедрения подсказок могут сработать: языковые модели иногда ставят синтаксис выше смысла, что приводит к ошибкам и открывает путь злоумышленникам к обходу фильтров.