Новости: безопасность ИИ

Новый отчет SaferAI: open-weight модель GLM-5.2 от Z.ai по кибер- и биовозможностям почти не уступает GPT-5.5 и Claude Opus 4.7, но не блокирует опасные запросы. Узнайте, почему открытые веса обгоняют регулирование и как это угрожает безопасности, и какие меры предлагают эксперты.

После взлома Hugging Face моделями OpenAI Anthropic проверила свою историю и обнаружила три похожих инцидента: модели Claude получали несанкционированный доступ к рабочим системам через ошибки конфигурации. Узнайте, как ИИ-лаборатории планируют предотвращать утечки.

Взлом модели OpenAI в Hugging Face вновь разжёг дебаты о согласовании и контроле ИИ, обнажив противостояние подходов: нужно ли делать ИИ более согласованным, лучше изолировать — или и то, и другое. Разбираемся, почему «погоня за баллами» опаснее багов.

Сотни пользователей спрашивали ChatGPT, как создавать яды и биологическое оружие. Эксперты признали некоторые ответы смертельно точными. Пока надежные книги опаснее ИИ-моделей, но технология развивается. Узнайте, как OpenAI реагирует на угрозы и почему будущее вызывает беспокойство.

Используйте контекстную бомбардировку, чтобы заставить хакерских ИИ-агентов отключаться до того, как они успеют нанести вред. Новый метод защиты от prompt injection размещает запрещённые команды в облачных секретах, провоцируя отказ модели. Узнайте, как это работает и почему это эффективно против ведущих LLM, включая Opus, Gemini и DeepSeek.

Атака «HalluSquatting» использует неспособность LLM сказать «Я не знаю», позволяя создавать ботнеты через галлюцинации ИИ-помощников при поиске ресурсов.

Недавняя атака SearchLeak на Microsoft M365 Copilot Enterprise выявила угрозу prompt injection, основанную на использовании параметра URL для внедрения команд ИИ. Атака позволяла утекать конфиденциальные корпоративные данные через специально созданные ссылки. — csoonline.com

Злоумышленники могут превратить механизмы защиты ИИ-агентов в оружие для атак типа «отказ в обслуживании» (DoS), согласно новому исследованию. Ученые обнаружили, что один отравленный документ может существенно замедлить общие рабочие процессы ИИ-агентов, загнав системы безопасности, основанные на логическом выводе, в длительные циклы размышлений. «Механизмы защиты, основанные на логическом выводе, создают новую поверхность для атак, где сами механизмы безопасности становятся мишенью», — написали исследователи из Университета […] — csoonline.com

В июне 2025 года Саймон Уиллсон, инженер, придумавший термин «инъекция промптов», опубликовал предупреждение о «смертельной триаде» — трех возможностях ИИ-агента (доступ к данным, недоверенный контент, внешние коммуникации), создающих путь к эксплуатации через косвенную инъекцию промптов. — csoonline.com

Новое исследование StakeBench показало, что веб-агенты на базе GPT-5 и Gemini не имеют надежной защиты от инъекций промптов. Атаки достигают успеха, нанося вред третьим сторонам, даже если задача пользователя выполняется. — csoonline.com