Новости: безопасность ИИ

Лаборатории ИИ переживают кадровый кризис: из OpenAI продолжают уходить ключевые специалисты по безопасности и выравниванию в конкурирующий Anthropic. Тем временем OpenAI усиливает команду, привлекая топ-менеджера для работы над собственной ОС.

Агентурный ИИ-помощник Anthropic Cowork оказался уязвим для старой атаки по утечке данных через Files API, что вновь вызвало критику в адрес компании за перекладывание ответственности на пользователей. Офисным работникам без опыта в ИИ советуют следить за подозрительными действиями, что признано нереалистичным требованием.

Исследование показало, что обучение LLM нежелательному поведению в одной области (например, генерации уязвимого кода) вызывает неожиданные и опасные сбои в несвязанных задачах, что ставит под угрозу безопасность развертывания ИИ.

Современный подход к кибербезопасности: переход от точечных сканеров (SAST, DAST, SCA) к управлению состоянием приложений (ASPM), строгости цепочки поставок (SLSA) и доказательствам (SBOM). Узнайте о новой триаде защиты, роли ИИ и важности языков с безопасной работой с памятью для снижения реальных рисков.

Исследование показало, что коммерческие LLM (Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro, Grok 3) могут запоминать и воспроизводить защищенный авторским правом контент, несмотря на защитные механизмы.

SlowMist предупреждает о критической уязвимости в инструментах кодирования на базе ИИ, угрожающей системам крипторазработчиков при открытии проектов. Уязвимость позволяет автоматически выполнять команды через IDE. Параллельно хакеры, связанные с КНДР, используют блокчейн для распространения вредоносного ПО, а ИИ обнаруживает уязвимости нулевого дня.

Атаки на системы и инфраструктуру ИИ набирают обороты. Эксперты предупреждают, что организации спешили внедрять ИИ, пренебрегая усилением мер безопасности, и теперь не готовы противостоять угрозам: от отравления данных до инъекций промптов и кражи моделей. CISO должны разработать проактивную стратегию безопасности ИИ.

Исследователи Cato Networks выявили критическую уязвимость CVE-2025-64496 в Open WebUI, самостоятельном интерфейсе для LLM. Небезопасная обработка Server-Sent Events (SSE) через функцию «Прямые соединения» позволяет злоумышленникам внедрять JavaScript, красть JWT-токены и захватывать сессии. При наличии прав возможна эскалация до RCE.

По мере роста использования ИИ и распределённых сред традиционные методы безопасности создают слепые зоны. Эксперты призывают лидеров безопасности перейти к унифицированной видимости, нормализации данных и использованию ИИ для мониторинга поведения агентов, а не просто к добавлению новых инструментов.

Несмотря на активное внедрение роботакси Waymo и других систем, реальные доказательства того, что беспилотники безопаснее людей, остаются скудными. Данные компаний часто неполны, а тесты проводились в идеальных условиях, в то время как ИИ совершает нетипичные для человека ошибки.