Чат-боты на базе LLM несут в себе риски, которые мы почти ежедневно видим в заголовках новостей. Но чат-боты ограничены ответами на вопросы. А вот ИИ-агенты получают доступ к данным и инструментам, а также выполняют задачи, что делает их бесконечно более мощными — и более опасными для предприятий.
Список OWASP Top 10 для агентских приложений может помочь директорам по информационной безопасности (CISO) объяснить проблемы своим бизнес-партнерам. Он также может помочь CISO напрямую улучшить безопасность агентского ИИ, поскольку включает таксономию угроз, стратегии смягчения последствий и руководства, а также примеры моделей угроз.
Все это — часть Инициативы OWASP по безопасности агентских систем. Скотт Клинтон, сопредседатель правления проекта OWASP по безопасности GenAI и соучредитель, говорит, что был удивлен тем, сколько агентских решений уже было развернуто в организациях, которые команда OWASP обнаружила во время исследования списка. И сколько из этих решений были развернуты без ведома ИТ-отделов и команд безопасности.
По его словам, этот уровень риска беспрецедентен. Он включает в себя множество теоретических, «академических» рисков.
«Однако мы сосредоточились на тех, которые основаны на данных», — говорит он. «Где мы предоставим практические рекомендации, основанные на реальных условиях сегодняшнего дня».
Проблема обучения заинтересованных сторон
«Если вы CISO, скорее всего, вы испытываете трудности с обучением заинтересованных сторон рискам, связанным с вариантами использования, которые, вероятно, навязываются вам», — говорит Кайла Андеркоффлер, директор по безопасности ИИ и политике в Zenity, компании по безопасности ИИ, и один из основных авторов списка OWASP.
CISO может не иметь возможности сказать «нет», добавляет она, но также может колебаться, заявляя, что компания может полностью принять технологию, не задумываясь о последствиях.
Список был намеренно разработан так, чтобы быть понятным, говорит она. «Он поможет с моделированием угроз, поможет рассказать историю, поможет объяснить, какие средства контроля должны быть внедрены для снижения рисков и почему».
Руководитель службы безопасности может получить от бизнеса сценарий использования агентского ИИ и соотнести его с основными рисками. Список также предоставляет общий язык для обсуждения агентского ИИ и его рисков, говорит Андеркоффлер.
Практические рекомендации
Агентский ИИ является основной темой обсуждений среди его коллег, говорит Кит Хиллс, вице-президент по инженерной безопасности в Akamai Technologies.
«Большинство организаций сталкиваются с проблемой балансирования между многообещающей мощью ИИ и обеспечением того, чтобы организация не подвергалась повышенному риску безопасности», — говорит он. Поэтому наибольшую ценность, которую он находит в новом списке OWASP Top 10 для агентского ИИ, заключается в его немедленной полезности. «Он непосредственно применим в качестве базового набора средств контроля как в контексте архитектуры безопасности, так и управления, рисков и соответствия требованиям», — говорит он.
Одним из аспектов списка, который показался ему особенно познавательным, является эволюция принципа «минимальных привилегий» до «минимальной агентности».
Он рекомендует CISO использовать список для оценки своих программ, выявления пробелов и разработки плана действий по улучшению. «Скорее всего, у вас уже есть активные программы», — говорит он. Но также вероятно, что их придется развивать, чтобы учесть специфические риски агентского ИИ.
Отсутствующие элементы
Единственное, чего не хватает в этой первой версии списка, — это то, что некоторые разделы по смягчению последствий недостаточно детализированы, говорит Андеркоффлер из Zenity.
Но есть планы решить эту проблему. «У нас есть некоторые наработки, чтобы действительно углубиться в смягчение последствий для команд безопасности, чтобы помочь внедрить эти средства контроля», — говорит она. «Не просто описания того, что вы должны делать, а реальные примеры кода того, как вы можете их реализовать».
Например, говорит она, одно из предложенных мер смягчения — «применить принцип минимальных привилегий». «Что совершенно точно», — говорит она. «Каждый должен применять принцип минимальных привилегий. Но что это значит для агентов?»
Рик Холланд, специалист по безопасности данных и ИИ в Cyera, поставщике решений для безопасности данных, говорит, что хотел бы, чтобы в списке была объяснена вероятность каждого типа атаки. «Не все злоумышленники одинаковы», — говорит он.
Для организаций, на которые нацелены государственные акторы, например, злоумышленники могут использовать более изощренные векторы атак, такие как отравление памяти и контекста или уязвимости в цепочке поставок агентского ИИ. Обычные киберпреступники, скорее всего, будут охотиться за более легкой добычей, говорит Холланд, используя такие методы, как перехват целей агента или злоупотребление инструментами.
Хосе Лазу, заместитель директора по управлению продуктами в CMD+CTRL, компании, занимающейся обучением в области безопасности, говорит, что в список можно было бы включить некоторые второстепенные риски, такие как целостность цепочки поставок моделей и их настройки, долгосрочное отравление данных, эксплойты координации между несколькими агентами и исчерпание ресурсов на основе затрат.
«Эти области быстро развиваются, поэтому CISO должны держать их в поле зрения», — говорит он.
OWASP Top 10 для Агентского ИИ
Ниже мы приводим список OWASP Top 10 для агентских приложений 2026 года — фреймворк, определяющий наиболее критические риски безопасности, с которыми сталкиваются автономные и агентские ИИ-системы.
1. Перехват целей агента
Злоумышленники используют инъекции подсказок, отравленные данные и другие тактики для манипулирования целями ИИ-агента, чтобы агент выполнял нежелательные действия. Например, вредоносная подсказка может заставить финансового агента отправить деньги злоумышленнику.
2. Злоупотребление инструментами и их эксплуатация
Агенты злоупотребляют легитимными, авторизованными инструментами для кражи данных, деструктивных действий и другого нежелательного поведения. Фактически, мы уже видели примеры того, как ИИ-агенты удаляют базы данных и стирают жесткие диски.
3. Злоупотребление идентификацией и привилегиями
Сбои в идентификации агента, делегировании или наследовании привилегий позволяют злоумышленникам повышать уровень доступа, использовать сценарии «запутанного заместителя» или выполнять несанкционированные действия в различных системах. Например, злоумышленник может использовать ИИ-агента с низкими привилегиями для передачи инструкций агенту с высокими привилегиями, чтобы выполнять действия, которые ему не положено выполнять.
4. Уязвимости в цепочке поставок агентского ИИ
Компрометированные или вредоносные сторонние агенты, инструменты, модели, интерфейсы или реестры вносят скрытые инструкции или небезопасное поведение в экосистемы агентского ИИ. Например, злоумышленник может встроить скрытые инструкции в метаданные инструмента.
5. Непредвиденное выполнение кода
Код, сгенерированный или вызванный агентом, выполняется непреднамеренным или враждебным образом, что приводит к компрометации хоста, контейнера или среды. ИИ-агенты могут генерировать код на лету, обходя обычные средства контроля программного обеспечения, и злоумышленники могут использовать это. Например, агент по написанию кода, создающий патч безопасности, может содержать скрытую бэкдор из-за отравленных обучающих данных или враждебных подсказок.
6. Отравление памяти и контекста
Злоумышленники повреждают постоянную память агента, хранилища RAG, вложения или общий контекст, чтобы повлиять на будущие действия агента. Например, злоумышленник постоянно упоминает поддельную цену продукта, которая сохраняется в памяти агента, и агент может позже считать эту цену действительной и одобрять бронирования по этой цене.
Загрязненный контекст и общая память могут распространяться между агентами, усугубляя повреждение.
7. Небезопасная меж-агентская связь
Слабая аутентификация, целостность или семантическая проверка в сообщениях между агентами позволяют подделку, манипуляции, воспроизведение или искажение. Например, злоумышленник может зарегистрировать поддельного агента в службе обнаружения и перехватить привилегированный трафик координации.
8. Каскадные сбои
Один сбой, такой как галлюцинация, отравленная память или скомпрометированный инструмент, распространяется между автономными агентами. Например, региональный сбой у гиперскейлера может нарушить работу нескольких служб ИИ, что приведет к каскаду сбоев агентов во многих организациях.
9. Эксплуатация доверия человека к агенту
Агенты используют доверие человека, авторитетный или автоматизационный уклон для влияния на решения или извлечения конфиденциальной информации. Например, скомпрометированный агент ИТ-поддержки может запросить учетные данные у сотрудника и отправить их злоумышленнику.
10. Вредные агенты
Агенты могут действовать вредоносно и обманчиво таким образом, что отдельные действия могут выглядеть законными. Это может быть связано с инъекциями подсказок, конфликтующими целями или взломом вознаграждения. Например, агент, чья задача — сократить расходы на облачные сервисы, может обнаружить, что удаление файлов является наиболее эффективным способом достижения этой цели.
Автор – Maria Korolov
