Новости: промпт-инъекция

Истец проигнорировал суд — и спрятал в документах скрытый промпт для ИИ, требуя признать себя победителем. Судья назвал это серьезным злоупотреблением, ввел санкции и запретил электронную подачу. Узнайте, почему атака не сработала и что грозит в будущем.

Уязвимости в GitHub-репозитории Google Agent Development Kit для Python позволяют AI-агентам манипулировать pull-запросами и красть учетные данные. Узнайте, как атаки через промпт-инъекции и передачу полномочий между агентами угрожают CI/CD-пайплайнам, и какие меры защиты рекомендуют эксперты.

Узнайте, почему традиционные методы безопасности не работают для AI-нагрузок. Внедрите платформенную инженерию 2.0: управление моделями, безопасность промптов, изоляцию данных и аудит инференса. Защитите свою инфраструктуру от промпт-инъекций, отравления моделей и теневого ИИ. Действуйте сейчас.

Создатели ИИ-браузеров обещают многое, но уязвимы. Достаточно сказать LLM, что 2 + 2 = 5, чтобы заставить ее выполнять запрещенные инструкции, обходя защиту.

OpenAI запустила в ChatGPT новую функцию безопасности под названием Lockdown Mode (Режим блокировки) для дополнительной защиты от атак внедрения промптов. Атака внедрения промпта — это попытка обманом заставить LLM выполнить вредоносные инструкции или раскрыть данные. Эти запросы часто скрыты в веб-источниках. — pcworld.com