Компания OpenAI запускает две новые функции безопасности в ChatGPT для противодействия растущим угрозам своим системам ИИ, согласно недавнему сообщению в блоге.
По мере того как сервисы ИИ все чаще подключаются к более широким сегментам интернета и большему количеству внешних приложений, растет и риск так называемых «атак с внедрением подсказок» (prompt injection attacks). Атака с внедрением подсказок — это когда кто-то создает обманчивую подсказку, пытаясь заставить большую языковую модель (LLM) следовать вредоносным инструкциям и/или раскрывать конфиденциальную информацию.
Одна из новых функций ChatGPT — режим блокировки (Lockdown Mode), необязательный режим безопасности, предназначенный для пользователей с высокими требованиями к конфиденциальности. Этот режим строго ограничивает взаимодействие ChatGPT с внешними системами. Некоторые инструменты и функции полностью отключены, а просмотр веб-страниц разрешен только через кэшированное содержимое, а не через прямые сетевые вызовы. Режим блокировки сначала будет доступен корпоративным клиентам, а затем в ближайшие месяцы будет предложен потребителям.
Одновременно будут введены более четкие метки риска с унифицированной надписью «Повышенный риск» (Elevated Risk) для функций, представляющих повышенный риск безопасности (например, для тех, которые предоставляют инструментам ИИ доступ к сети). Метки будут видны в ChatGPT, ChatGPT Atlas и Codex.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Viktor Eriksson
