Новости: безопасность ИИ

Злоумышленники могут превратить механизмы защиты ИИ-агентов в оружие для атак типа «отказ в обслуживании» (DoS), согласно новому исследованию. Ученые обнаружили, что один отравленный документ может существенно замедлить общие рабочие процессы ИИ-агентов, загнав системы безопасности, основанные на логическом выводе, в длительные циклы размышлений. «Механизмы защиты, основанные на логическом выводе, создают новую поверхность для атак, где сами механизмы безопасности становятся мишенью», — написали исследователи из Университета […] — csoonline.com

В июне 2025 года Саймон Уиллсон, инженер, придумавший термин «инъекция промптов», опубликовал предупреждение о «смертельной триаде» — трех возможностях ИИ-агента (доступ к данным, недоверенный контент, внешние коммуникации), создающих путь к эксплуатации через косвенную инъекцию промптов. — csoonline.com

Новое исследование StakeBench показало, что веб-агенты на базе GPT-5 и Gemini не имеют надежной защиты от инъекций промптов. Атаки достигают успеха, нанося вред третьим сторонам, даже если задача пользователя выполняется. — csoonline.com

Уитфилд Диффи и Эндрю Барто, два лауреата премии Тьюринга, выступили с программными речами на 8-й конференции BAAI в Пекине, сойдясь на общей озабоченности: фундаментальных теоретических проблемах обеспечения безопасности и согласованности AGI. — pandaily.com

Google DeepMind финансирует исследования потенциальных опасностей взаимодействия миллионов ИИ-агентов в сети. По мнению экспертов, массовое появление автономных агентов создает новый класс рисков, требующий срочной разработки мер безопасности в новой области — безопасности мультиагентных систем. — technologyreview.com

Бывший инженер xAI подает в суд на компанию и SpaceX, утверждая, что его уволили за то, что он поднял вопросы безопасности ИИ в отношении Grok за несколько дней до исторического IPO SpaceX. — techcrunch.com

Генеральный прокурор Флориды подал иск против лаборатории ИИ OpenAI, утверждая, что компания эксплуатирует пользователей и подвергает детей риску членовредительства. — neowin.net

CISO, полагающиеся на механизмы защиты LLM и официальные оценки безопасности, рискуют: исследование Cisco показало, что передовые модели ИИ имеют худшие профили рисков при многоходовых атаках по сравнению с одиночными запросами. — csoonline.com

Исследователи утверждают, что для защиты ИИ-агентов в предприятиях необходимо внедрять системные средства контроля, а не полагаться на повышение надежности моделей. Традиционные подходы к безопасности ИИ не соответствуют работе автономных агентов. — csoonline.com

Мы находимся в переходном периоде — все мы. Эксперт по безопасности предупреждает, что с ростом ИИ безопасность должна быть приоритетом, а не дополнением, особенно на фоне проблем с API Google Cloud. — techcrunch.com