Новости: безопасность ИИ

Руководитель команды OpenAI по согласованию ИИ получил новую должность главного футуролога, в то время как остальные члены команды переведены в другие отделы компании. — techcrunch.com

Рассматриваем переход от больших языковых моделей к меньшим, специализированным ИИ. Узнайте, как это повысит безопасность, эффективность и контроль в IT-операциях, снижая риски и затраты.

«Ложь означает смерть» — нью-йоркский ИИ-чат-бот, раздававший бизнесу противозаконные советы, отключён из-за ошибок и бюджетного кризиса. Пример провала государственного ИИ в сфере software.

Исследователи Cyata обнаружили три критические уязвимости в официальном Git MCP-сервере Anthropic, которые могут быть использованы через prompt injection для компрометации LLM. Уязвимости позволяют выполнять произвольный код и изменять данные. Рекомендуется срочное обновление до версии 2025.12.18 и аудит совместной работы с Filesystem MCP.

Критические уязвимости в популярном фреймворке для разработки ИИ Chainlit позволяют злоумышленникам читать произвольные файлы и данные из баз данных серверов. Неустраненные недостатки могут привести к утечке ключей API и токенов, облегчая горизонтальное перемещение в инфраструктуре. Уязвимости исправлены в версии 2.9.4.

Исследователи Anthropic картировали нейронные активации LLM, выявив «Ось Ассистента» — ключевую область для стабилизации поведения ИИ. Удержание моделей в этой зоне помогает противостоять джейлбрейкам и нежелательным персонам.

Исследователи выявили и помогли устранить три критические уязвимости в Git MCP сервере Anthropic, которые позволяли удаленно выполнять код. Проблемы возникали при цепочке с другими MCP инструментами и эксплуатации уязвимостей, связанных с внедрением подсказок (prompt injection).

Обнаружена новая уязвимость в Google Gemini: хакеры могут использовать приглашения в календарь для внедрения вредоносных инструкций, что подчёркивает риски безопасности при интеграции генеративного ИИ в корпоративные рабочие процессы. Эксперты призывают к Zero Trust и ограничению привилегий ИИ.

Стартап Witness AI привлек $58 млн для решения проблем безопасности ИИ, связанных с несогласованными агентами. Компания отслеживает использование ИИ на предприятиях, блокирует атаки и обеспечивает комплаенс, стремясь стать независимым лидером на рынке, который, по прогнозам, достигнет $1,2 трлн.

Новые уязвимости в Google Vertex AI, позволяющие низкопривилегированным пользователям захватывать управление Агентами Сервиса, выявила компания XM Cyber. Эксперты предупреждают CISO, что облачные провайдеры используют “совместную ответственность” для сокрытия небезопасных настроек по умолчанию. Руководителям ИБ необходимо усилить аудит и мониторинг идентификаторов ИИ-сервисов, поскольку вендоры не обеспечивают должной безопасности.