Максимальное использование агентного ИИ является приоритетом для многих предприятий в наступающем году, поскольку руководители бизнеса стремятся развернуть автономных ИИ-агентов для преобразования ряда бизнес-операций и рабочих процессов.
Технология находится на начальной стадии, и, как и в случае с развертыванием генеративного ИИ, директора по информационным технологиям (CIO) находятся под давлением необходимости быстро принимать решения в области агентного ИИ — что может стать потенциальным кошмаром для директоров по информационной безопасности (CISO), отвечающих за обеспечение организационной безопасности в условиях широкомасштабных экспериментов и развертывания агентных систем.
Ключевой областью озабоченности является идентификация и аутентификация. По оценкам некоторых экспертов по безопасности, более 95% предприятий, развертывающих или экспериментирующих с автономными агентами, делают это, не используя существующие механизмы кибербезопасности — такие как инфраструктура открытых ключей (PKI) — для отслеживания, идентификации и контроля своих агентов.
Эта проблема становится еще более опасной из-за распространенности взаимодействия между агентами, характерного для развертывания агентного ИИ.
Чтобы агентный ИИ работал, ИИ-агенты должны автономно взаимодействовать с другими агентами для передачи задач, данных и контекста. Без достаточных мер управления идентификацией, аутентификации и связанных с ними мер кибербезопасности, агент может быть не только под контролем киберпреступника или государственного актора, но и вышедшие из-под контроля агенты могут участвовать в различных атаках с использованием инъекций промптов с неограниченным количеством легитимных агентов.
Если захваченный агент будет взаимодействовать с легитимными агентами предприятия до того, как он будет обнаружен и его учетные данные будут отозваны, ущерб от легитимных агентов, следующих инструкциям скомпрометированного агента, не будет остановлен.
И вероятность этого эффекта домино не тривиальна. Большинство надежных механизмов аутентификации сегодня отзывают и/или отключают учетные данные при обнаружении вредоносного поведения. Но системы поведенческой аналитики часто должны стать свидетелями актов вредоносного поведения, прежде чем они смогут отметить проблему для прекращения действия идентификатора. Любые действия, ранее инициированные скомпрометированным агентом, уже будут запущены по всей цепочке агентного взаимодействия.
Наличие следа каждого взаимодействия и автоматизированной системы для связи со всеми легитимными агентами, взаимодействовавшими с недобросовестным агентом, чтобы сообщить им игнорировать инструкции от этого агента — и уведомить IT-безопасность о любых действиях, уже предпринятых по инструкциям недобросовестного агента — является целью, но поставщики еще не решили эту проблему. Более того, многие эксперты по безопасности утверждают, что это слишком сложная проблема для легкого решения.
«Поскольку автономные агенты все чаще способны выполнять реальные действия в организации, если злоумышленник может повлиять на уровень принятия решений автономного агента, возможный ущерб может быть экспоненциально больше, чем в сценарии традиционного взлома», — говорит Ник Кейл, главный инженер Cisco, а также член Коалиции за безопасный ИИ (CoSAI) и программного комитета ACM по безопасности ИИ (AISec).
Постоянно расширяющаяся поверхность атаки автономных агентов
«Поскольку агенты запрограммированы следовать инструкциям, они, вероятно, будут следовать сомнительной инструкции при отсутствии какого-либо механизма, заставляющего агента замедлить процесс для проверки безопасности запроса», — говорит Кейл. «У людей есть интуиция, и поэтому они часто чувствуют, когда что-то не так. Агенты не обладают этим инстинктивным чувством и поэтому будут следовать любому запросу, если система специально не предотвратит это».
Гэри Лонгсайн, генеральный директор IllumineX, согласен с тем, что риски кибербезопасности от неконтролируемого развертывания агентных систем не похожи ни на что, с чем сталкивались CISO.
«Поверхность атаки ИИ-агента можно считать практически бесконечной из-за интерфейса естественного языка и способности агента вызывать потенциально огромный набор других агентных систем», — говорит Лонгсайн.
Технический директор DigiCert Джейсон Сабин предполагает, что ситуация может быть еще хуже из-за относительной легкости угона агента.
«Без надежной агентной аутентификации организации рискуют развернуть автономные системы, которые могут быть угнаны одной фальшивой инструкцией», — утверждает Сабин.
Кризис идентичности агентного ИИ
Эксперты по аутентификации и агентным системам, с которыми проводились интервью — трое из которых оценивают, что менее 5% предприятий, экспериментирующих с автономными агентами, развернули системы агентной идентификации — говорят, что причины такого отсутствия мер безопасности разнообразны.
Во-первых, многие из этих усилий являются эффективно теневыми IT-решениями, когда руководитель бизнес-подразделения (LOB) санкционировал пилотный проект, чтобы увидеть, на что способны эти агенты. В этих случаях IT или команды по кибербезопасности, вероятно, не были вовлечены, и поэтому безопасность не была приоритетом для пилотного проекта.
Во-вторых, многие руководители — в том числе сторонние бизнес-партнеры, занимающиеся цепочками поставок, дистрибуцией или производством — исторически шли на компромиссы для пилотных проектов, поскольку они традиционно ограничивались изолированными средами, отделенными от реальных операционных сред предприятия.
Но агентные системы работают не так. Чтобы проверить их возможности, они, как правило, должны быть выпущены в общую среду.
Правильный подход заключается в том, чтобы каждый агент в вашей среде — будь то разрешенный IT, запущенный бизнес-подразделением или сторонний — отслеживался и контролировался идентификаторами PKI от поставщиков услуг агентной аутентификации. Экстремальная защита будет включать инструктаж всех авторизованных агентов отказываться от связи с любым агентом без полной идентификации. К сожалению, автономные агенты — как и их генеративные ИИ-собратья — часто игнорируют инструкции (также известные как защитные ограждения).
«Взаимодействия, благоприятные для агентного ИИ, противоречат основополагающим принципам безопасности. Предприятия не могут рисковать сценариями, в которых агенты автономно обнаруживают друг друга, устанавливают каналы связи и формируют транзакционные отношения», — говорит Канвар Прит Сингх Сандху, отслеживающий стратегии кибербезопасности для Tata Consultancy Services.
«Когда IT разрабатывает систему, ее задачи и цели должны быть четко определены и ограничены этими обязанностями», — добавляет он. «Хотя взаимодействие между агентами технически возможно, оно представляет серьезные риски для таких принципов, как минимальные привилегии и разделение обязанностей. Для структурированного и спланированного сотрудничества или интеграции организации должны следовать строгим протоколам, таким как MCP [Model Context Protocol] и A2A [Agent to Agent], которые были созданы именно для этой цели».
Сабин из DigiCert говорит, что его взаимодействие с предприятиями выявило «мало или совсем ничего» в создании идентификаторов для их автономных агентов. «Определенно менее 10%, вероятно, менее 5%. Существует огромный пробел в идентификации».
Агентные идентификаторы: Возвращение джинна в бутылку
Как только эксперименты с агентными системами начинаются без установления надлежащих идентификаторов, гораздо сложнее добавить аутентификацию личности постфактум, отмечает Сабин.
«Как мы собираемся начать добавлять идентификацию задним числом? У них нет установленных процессов. Агент может быть и будет угнан, скомпрометирован. У вас должен быть выключатель», — говорит он. «Способность ИИ-агентов проверять, кто выдает команду, и имеет ли этот человек/система полномочия, является одной из определяющих проблем безопасности агентного ИИ».
Для решения этой проблемы CISO, вероятно, придется переосмыслить идентификацию, аутентификацию и привилегии.
«Что действительно сложно в этом, так это то, что мы больше не определяем, как человек аутентифицируется в системе. Теперь нас просят определить, как автономный агент определяет, что лицо, предоставляющее инструкции, является законным, и что инструкции соответствуют ожидаемому шаблону действий», — говорит Кейл из Cisco. «Переход к определению законности на основе оценки намерения человека автономным агентом, а не просто идентификации человека, вносит целый ряд новых факторов риска, которые никогда не были предусмотрены традиционными методами аутентификации».
Исрак Хан, генеральный директор поставщика инструментов для повышения производительности кодирования Kodezi, также считает, что CISO, вероятно, недооценивают угрозы безопасности, существующие в системах агентного ИИ.
«Традиционные системы аутентификации предполагают статичные идентификаторы и предсказуемые шаблоны запросов. Автономные агенты создают новую категорию риска, поскольку они самостоятельно инициируют действия, усугубляют поведение на основе памяти и самостоятельно формируют новые пути связи. Поверхность угрозы становится динамичной, а не статической», — говорит Хан. «Когда агенты обновляют свое внутреннее состояние, учатся на предыдущих взаимодействиях или изменяют свою роль в рабочем процессе, их идентификатор с точки зрения безопасности со временем меняется. Большинство организаций не готовы к агентам, чьи возможности и поведение развиваются после аутентификации».
Хан добавляет: «Скомпрометированный агент может имитировать шаблоны сотрудничества, фабриковать состояние системы или манипулировать другими агентами, приводя к каскадным сбоям. Это не просто вредоносное ПО. Это поведенческая атака на процесс принятия решений».
Хариш Пери, старший вице-президент и генеральный менеджер по безопасности ИИ в Okta, выражается более прямо: «Это не просто проблема NHI. Это рецепт катастрофы. Это новый вид идентификации, новый вид неустанного пользователя».
Относительно проблемы невозможности отмены ущерба, когда угнанный агент дает вредоносные инструкции легитимным агентам, Пери говорит, что это может быть сложной проблемой, которую, похоже, еще никто не решил.
«Если сигнал риска достаточно силен, у нас есть возможность отозвать не только привилегии, но и токен доступа», — говорит Пери. Но «реальное время такой цепочки требует большего осмысления».
Отмена взаимодействий агентов будет непростой задачей
Одна из проблем заключается в том, что отслеживание взаимодействий для обратной цепочки потребует захвата огромного объема данных от каждого агента в корпоративной среде. И учитывая, что автономные агенты действуют со скоростью, недоступной человеку, хранилище данных для такой активности, вероятно, быстро заполнится.
«К тому времени, когда агент что-то сделает и идентификатор будет отозван, все последующие агенты уже взаимодействовали с этим скомпрометированным агентом. Они уже приняли назначения и уже запланировали свои следующие шаги», — объясняет Кейл из Cisco. «Нет никакого механизма для распространения этого отзыва назад. Выключатели необходимы, но они неполны».
Процесс обращения ко всем контактировавшим агентам «звучит как простой скрипт. Это выглядит легко, пока вы не попытаетесь сделать это правильно», — говорит он. «Вам нужно знать каждую инструкцию, выданную агентом, и самая сложная часть — решить, что отменить» — сценарий, который Кейл сравнивает с усталостью от оповещений. «Это абсолютно может рухнуть под собственным весом. Все это может превратиться в шум, а не в безопасность».
Джейсон Сороко, старший научный сотрудник Sectigo, согласен с тем, что обратное оповещение затронутых агентов «еще далеко не полностью решено на данный момент».
Но он утверждает, что кибербезопасность агентных систем непреднамеренно загнала себя в угол.
«Многие методы аутентификации автономных ИИ-агентов будут полагаться на простой API-токен для самопроверки. Мы непреднамеренно создали оружие, ожидающее украденный общий секрет», — говорит Сороко. «Чтобы исправить это, мы должны выйти за рамки общих секретов и перейти к криптографическому доказательству владения, гарантируя, что агент проверяет «кто» стоит за командой, а не просто аутентификатор «браслета на концерт».
(*) Имейте ввиду, редакции некоторых западных изданий придерживаются предвзятых взглядов в освящении некоторых новостей, связанных с Россией. Кроме того, IT издания часто пропагандирует леволиберальные и антриреспубликанские взгляды в освящении некоторых новостей.
Автор – Evan Schuman
