Новости: безопасность ИИ

Универсальные инструменты, такие как ChatGPT, Claude и Grok, не предназначены для такого использования, что вызывает опасения у специалистов по психическому здоровью. Подростки используют ИИ для общения и поддержки, что вызывает тревогу у родителей и экспертов. — techcrunch.com

Руководитель команды OpenAI по согласованию ИИ получил новую должность главного футуролога, в то время как остальные члены команды переведены в другие отделы компании. — techcrunch.com

Рассматриваем переход от больших языковых моделей к меньшим, специализированным ИИ. Узнайте, как это повысит безопасность, эффективность и контроль в IT-операциях, снижая риски и затраты.

«Ложь означает смерть» — нью-йоркский ИИ-чат-бот, раздававший бизнесу противозаконные советы, отключён из-за ошибок и бюджетного кризиса. Пример провала государственного ИИ в сфере software.

Исследователи Cyata обнаружили три критические уязвимости в официальном Git MCP-сервере Anthropic, которые могут быть использованы через prompt injection для компрометации LLM. Уязвимости позволяют выполнять произвольный код и изменять данные. Рекомендуется срочное обновление до версии 2025.12.18 и аудит совместной работы с Filesystem MCP.

Критические уязвимости в популярном фреймворке для разработки ИИ Chainlit позволяют злоумышленникам читать произвольные файлы и данные из баз данных серверов. Неустраненные недостатки могут привести к утечке ключей API и токенов, облегчая горизонтальное перемещение в инфраструктуре. Уязвимости исправлены в версии 2.9.4.

Исследователи Anthropic картировали нейронные активации LLM, выявив «Ось Ассистента» — ключевую область для стабилизации поведения ИИ. Удержание моделей в этой зоне помогает противостоять джейлбрейкам и нежелательным персонам.

Исследователи выявили и помогли устранить три критические уязвимости в Git MCP сервере Anthropic, которые позволяли удаленно выполнять код. Проблемы возникали при цепочке с другими MCP инструментами и эксплуатации уязвимостей, связанных с внедрением подсказок (prompt injection).

Обнаружена новая уязвимость в Google Gemini: хакеры могут использовать приглашения в календарь для внедрения вредоносных инструкций, что подчёркивает риски безопасности при интеграции генеративного ИИ в корпоративные рабочие процессы. Эксперты призывают к Zero Trust и ограничению привилегий ИИ.

Стартап Witness AI привлек $58 млн для решения проблем безопасности ИИ, связанных с несогласованными агентами. Компания отслеживает использование ИИ на предприятиях, блокирует атаки и обеспечивает комплаенс, стремясь стать независимым лидером на рынке, который, по прогнозам, достигнет $1,2 трлн.