Новости: инъекция промптов

Узнайте, почему LLM нельзя полностью защитить от взлома. Исследователи объясняют фундаментальный недостаток — модели определяют роли по стилю, а не по тегам. Результат: атаки на ведущие модели, включая GPT-5 и Claude, с извлечением опасной информации. Поймите, как защитить свои системы.

Размеченные разделы входной последовательности LLM призваны обеспечить безопасность через доверенные роли, но выяснилось, что модели оценивают, звучат ли вводы так, будто они принадлежат определенным тегам, вместо того чтобы буквально их интерпретировать, что делает их уязвимыми для инъекции промптов.

В июне 2025 года Саймон Уиллсон, инженер, придумавший термин «инъекция промптов», опубликовал предупреждение о «смертельной триаде» — трех возможностях ИИ-агента (доступ к данным, недоверенный контент, внешние коммуникации), создающих путь к эксплуатации через косвенную инъекцию промптов. — csoonline.com

Новое исследование StakeBench показало, что веб-агенты на базе GPT-5 и Gemini не имеют надежной защиты от инъекций промптов. Атаки достигают успеха, нанося вред третьим сторонам, даже если задача пользователя выполняется. — csoonline.com

Обзор эволюции фаззинга: от традиционных методов до применения генеративного ИИ для поиска уязвимостей в ПО. Рассматриваются преимущества ИИ в создании сложных тестов, угрозы со стороны злоумышленников, использующих ИИ для атак, и методы защиты чат-ботов от инъекций промптов.

Атаки на системы и инфраструктуру ИИ набирают обороты. Эксперты предупреждают, что организации спешили внедрять ИИ, пренебрегая усилением мер безопасности, и теперь не готовы противостоять угрозам: от отравления данных до инъекций промптов и кражи моделей. CISO должны разработать проактивную стратегию безопасности ИИ.