Microsoft выявила семь новых способов взлома ИИ-агентов

Корпорация Microsoft выявила семь новых режимов сбоев в агентурных системах ИИ, в дополнение к тем, что были определены в прошлом году в первом «Таксономии режимов сбоев в агентурных системах ИИ».

Росту списка способов, которыми агентурный ИИ может дать сбой, способствовали четыре фактора: скорость, с которой технология стала мейнстримом, растущая зрелость экосистемы Протокола контекста модели (MCP), рост числа агентов, использующих компьютеры, и, наконец, накопление большего количества эмпирических данных по мере получения исследователями результатов в реальных условиях.

Семь новых режимов сбоев, выявленных Microsoft, заключаются в следующем:

• Компрометация цепочки поставок агента — на поведение агента может влиять естественный язык, а не вредоносный код;
• Перехват цели — инструкции злоумышленника кажутся соответствующими выполнению законной задачи, но при этом незаметно перенаправляют конечную цель агента;
• Эскалация доверия между агентами — скомпрометированный агент заявляет о ложной идентификации или завышает заявленные разрешения оркестратору;
• Визуальная атака агента, использующего компьютер (CUA) — агенты, работающие через графические интерфейсы, могут быть подвергнуты манипуляциям посредством контента, содержащего враждебные инструкции для агента;
• Загрязнение контекста сессии — злоумышленник вводит данные, которые искажают рассуждения агента на последующих этапах, не активируя при этом механизмы безопасности на каком-либо отдельном этапе;
• Злоупотребление MCP / плагинами — обновление охвата первоначальной таксономии в отношении компрометации функций вокруг протоколов MCP и плагинов, в частности, поверхностей атак, специфичных для этих протоколов;
• Раскрытие возможностей / архитектуры — агент раскрывает внутренние детали реализации, такие как имена и схемы инструментов, структуру системного промпта, интерфейсы памяти или логику триггеров согласия/человека в цикле.

Microsoft советует командам по безопасности использовать эти определения для влияния на свое планирование: составить инвентаризацию цепочки поставок, сгенерировать спецификацию материалов программного обеспечения (SBOM) для каждого развернутого агента, криптографически, а не позиционно, проверять идентификацию агента, выдавая подтверждаемые учетные данные при инициализации, добавить семь новых режимов сбоев в свою матрицу покрытия для красных команд и проводить аудит пользовательского опыта с участием человека в цикле в качестве механизма безопасности.

Эта статья впервые появилась на InfoWorld.