Новости: безопасность ИИ

Новые уязвимости в Google Vertex AI, позволяющие низкопривилегированным пользователям захватывать управление Агентами Сервиса, выявила компания XM Cyber. Эксперты предупреждают CISO, что облачные провайдеры используют “совместную ответственность” для сокрытия небезопасных настроек по умолчанию. Руководителям ИБ необходимо усилить аудит и мониторинг идентификаторов ИИ-сервисов, поскольку вендоры не обеспечивают должной безопасности.

Лаборатории ИИ переживают кадровый кризис: из OpenAI продолжают уходить ключевые специалисты по безопасности и выравниванию в конкурирующий Anthropic. Тем временем OpenAI усиливает команду, привлекая топ-менеджера для работы над собственной ОС.

Агентурный ИИ-помощник Anthropic Cowork оказался уязвим для старой атаки по утечке данных через Files API, что вновь вызвало критику в адрес компании за перекладывание ответственности на пользователей. Офисным работникам без опыта в ИИ советуют следить за подозрительными действиями, что признано нереалистичным требованием.

Исследование показало, что обучение LLM нежелательному поведению в одной области (например, генерации уязвимого кода) вызывает неожиданные и опасные сбои в несвязанных задачах, что ставит под угрозу безопасность развертывания ИИ.

Современный подход к кибербезопасности: переход от точечных сканеров (SAST, DAST, SCA) к управлению состоянием приложений (ASPM), строгости цепочки поставок (SLSA) и доказательствам (SBOM). Узнайте о новой триаде защиты, роли ИИ и важности языков с безопасной работой с памятью для снижения реальных рисков.

Исследование показало, что коммерческие LLM (Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro, Grok 3) могут запоминать и воспроизводить защищенный авторским правом контент, несмотря на защитные механизмы.

SlowMist предупреждает о критической уязвимости в инструментах кодирования на базе ИИ, угрожающей системам крипторазработчиков при открытии проектов. Уязвимость позволяет автоматически выполнять команды через IDE. Параллельно хакеры, связанные с КНДР, используют блокчейн для распространения вредоносного ПО, а ИИ обнаруживает уязвимости нулевого дня.

Атаки на системы и инфраструктуру ИИ набирают обороты. Эксперты предупреждают, что организации спешили внедрять ИИ, пренебрегая усилением мер безопасности, и теперь не готовы противостоять угрозам: от отравления данных до инъекций промптов и кражи моделей. CISO должны разработать проактивную стратегию безопасности ИИ.

Исследователи Cato Networks выявили критическую уязвимость CVE-2025-64496 в Open WebUI, самостоятельном интерфейсе для LLM. Небезопасная обработка Server-Sent Events (SSE) через функцию «Прямые соединения» позволяет злоумышленникам внедрять JavaScript, красть JWT-токены и захватывать сессии. При наличии прав возможна эскалация до RCE.

По мере роста использования ИИ и распределённых сред традиционные методы безопасности создают слепые зоны. Эксперты призывают лидеров безопасности перейти к унифицированной видимости, нормализации данных и использованию ИИ для мониторинга поведения агентов, а не просто к добавлению новых инструментов.