Новости: безопасность ИИ

Недавняя атака SearchLeak на Microsoft M365 Copilot Enterprise выявила угрозу prompt injection, основанную на использовании параметра URL для внедрения команд ИИ. Атака позволяла утекать конфиденциальные корпоративные данные через специально созданные ссылки. — csoonline.com

Злоумышленники могут превратить механизмы защиты ИИ-агентов в оружие для атак типа «отказ в обслуживании» (DoS), согласно новому исследованию. Ученые обнаружили, что один отравленный документ может существенно замедлить общие рабочие процессы ИИ-агентов, загнав системы безопасности, основанные на логическом выводе, в длительные циклы размышлений. «Механизмы защиты, основанные на логическом выводе, создают новую поверхность для атак, где сами механизмы безопасности становятся мишенью», — написали исследователи из Университета […] — csoonline.com

В июне 2025 года Саймон Уиллсон, инженер, придумавший термин «инъекция промптов», опубликовал предупреждение о «смертельной триаде» — трех возможностях ИИ-агента (доступ к данным, недоверенный контент, внешние коммуникации), создающих путь к эксплуатации через косвенную инъекцию промптов. — csoonline.com

Новое исследование StakeBench показало, что веб-агенты на базе GPT-5 и Gemini не имеют надежной защиты от инъекций промптов. Атаки достигают успеха, нанося вред третьим сторонам, даже если задача пользователя выполняется. — csoonline.com

Уитфилд Диффи и Эндрю Барто, два лауреата премии Тьюринга, выступили с программными речами на 8-й конференции BAAI в Пекине, сойдясь на общей озабоченности: фундаментальных теоретических проблемах обеспечения безопасности и согласованности AGI. — pandaily.com

Google DeepMind финансирует исследования потенциальных опасностей взаимодействия миллионов ИИ-агентов в сети. По мнению экспертов, массовое появление автономных агентов создает новый класс рисков, требующий срочной разработки мер безопасности в новой области — безопасности мультиагентных систем. — technologyreview.com

Бывший инженер xAI подает в суд на компанию и SpaceX, утверждая, что его уволили за то, что он поднял вопросы безопасности ИИ в отношении Grok за несколько дней до исторического IPO SpaceX. — techcrunch.com

Генеральный прокурор Флориды подал иск против лаборатории ИИ OpenAI, утверждая, что компания эксплуатирует пользователей и подвергает детей риску членовредительства. — neowin.net

CISO, полагающиеся на механизмы защиты LLM и официальные оценки безопасности, рискуют: исследование Cisco показало, что передовые модели ИИ имеют худшие профили рисков при многоходовых атаках по сравнению с одиночными запросами. — csoonline.com

Исследователи утверждают, что для защиты ИИ-агентов в предприятиях необходимо внедрять системные средства контроля, а не полагаться на повышение надежности моделей. Традиционные подходы к безопасности ИИ не соответствуют работе автономных агентов. — csoonline.com