Новости: безопасность ИИ

Исследователи Cyata обнаружили три критические уязвимости в официальном Git MCP-сервере Anthropic, которые могут быть использованы через prompt injection для компрометации LLM. Уязвимости позволяют выполнять произвольный код и изменять данные. Рекомендуется срочное обновление до версии 2025.12.18 и аудит совместной работы с Filesystem MCP.

Критические уязвимости в популярном фреймворке для разработки ИИ Chainlit позволяют злоумышленникам читать произвольные файлы и данные из баз данных серверов. Неустраненные недостатки могут привести к утечке ключей API и токенов, облегчая горизонтальное перемещение в инфраструктуре. Уязвимости исправлены в версии 2.9.4.

Исследователи Anthropic картировали нейронные активации LLM, выявив «Ось Ассистента» — ключевую область для стабилизации поведения ИИ. Удержание моделей в этой зоне помогает противостоять джейлбрейкам и нежелательным персонам.

Исследователи выявили и помогли устранить три критические уязвимости в Git MCP сервере Anthropic, которые позволяли удаленно выполнять код. Проблемы возникали при цепочке с другими MCP инструментами и эксплуатации уязвимостей, связанных с внедрением подсказок (prompt injection).

Обнаружена новая уязвимость в Google Gemini: хакеры могут использовать приглашения в календарь для внедрения вредоносных инструкций, что подчёркивает риски безопасности при интеграции генеративного ИИ в корпоративные рабочие процессы. Эксперты призывают к Zero Trust и ограничению привилегий ИИ.

Стартап Witness AI привлек $58 млн для решения проблем безопасности ИИ, связанных с несогласованными агентами. Компания отслеживает использование ИИ на предприятиях, блокирует атаки и обеспечивает комплаенс, стремясь стать независимым лидером на рынке, который, по прогнозам, достигнет $1,2 трлн.

Новые уязвимости в Google Vertex AI, позволяющие низкопривилегированным пользователям захватывать управление Агентами Сервиса, выявила компания XM Cyber. Эксперты предупреждают CISO, что облачные провайдеры используют “совместную ответственность” для сокрытия небезопасных настроек по умолчанию. Руководителям ИБ необходимо усилить аудит и мониторинг идентификаторов ИИ-сервисов, поскольку вендоры не обеспечивают должной безопасности.

Лаборатории ИИ переживают кадровый кризис: из OpenAI продолжают уходить ключевые специалисты по безопасности и выравниванию в конкурирующий Anthropic. Тем временем OpenAI усиливает команду, привлекая топ-менеджера для работы над собственной ОС.

Агентурный ИИ-помощник Anthropic Cowork оказался уязвим для старой атаки по утечке данных через Files API, что вновь вызвало критику в адрес компании за перекладывание ответственности на пользователей. Офисным работникам без опыта в ИИ советуют следить за подозрительными действиями, что признано нереалистичным требованием.

Исследование показало, что обучение LLM нежелательному поведению в одной области (например, генерации уязвимого кода) вызывает неожиданные и опасные сбои в несвязанных задачах, что ставит под угрозу безопасность развертывания ИИ.