Недавно выявленная техника атак с использованием ИИ позволяет неаутентифицированным пользователям запускать привилегированные рабочие процессы и получать доступ к корпоративным системам, что выявляет пробел в применении контроля идентификации и доступа к ИИ-агентам, согласно исследованию Noma Labs.
В отчете, написанном ведущим исследователем Noma Labs Саси Леви, эта проблема описывается как «угон идентификации рабочего процесса» (workflow identity hijacking), при котором злоумышленники обходят стандартные средства контроля, отправляя обычные, безвредные запросы через неаутентифицированную точку входа, такую как почтовый ящик поддержки, запрос в GitHub, веб-форма или общий документ.
«Корпоративный конвейер ИИ считывает ввод, интерпретирует запрос и выполняет действие в точном соответствии с дизайном», — пишет Леви в отчете. «Основная ошибка заключается в том, что запрашивающий не имел полномочий для такого запроса».
Авторизация нарушается на уровне рабочего процесса
В центре проблемы находится то, что Леви описывает как «ошибку в дизайне авторизации современных корпоративных конвейеров ИИ», где идентификатор запрашивающего и идентификатор, используемый для выполнения действий, расходятся.
«Идентификация и разрешения пользователя, запускающего рабочий процесс, отделены от идентификации и разрешений, используемых для его выполнения», — пишет он. На практике это означает, что рабочие процессы выполняют действия «с использованием учетных записей служб с высокими привилегиями или ключей API разработчика», вместо того чтобы применять права доступа инициирующего пользователя.
В результате рабочие процессы ИИ могут действовать как «неаутентифицированные прокси для привилегированных действий и скрытого извлечения данных», добавляется в отчете.
Вибхум Дубей, специалист по кибербезопасности и red teamer, заявил, что эта проблема отражает известный класс слабостей в авторизации.
«Если неаутентифицированный ввод может запустить доверенный рабочий процесс, и этот рабочий процесс выполняет действия, используя свои собственные привилегии, рабочий процесс может фактически действовать как сбитый с толку заместитель (confused deputy)».
Он добавил, что во многих развертываниях «разрешения исходного запрашивающего не обязательно переоцениваются, когда рабочий процесс выполняет конфиденциальные действия ниже по цепочке».
Одинаковый запрос, разная власть
Отчет иллюстрирует риск на сценарии, включающем идентичные запросы от разных участников.
«Рассмотрим два идентичных входных данных», — пишет Леви, включая запрос финансовых данных из электронной почты старшего руководителя. «Подсказка и запрашиваемая операция идентичны, но решение об авторизации должно быть совершенно иным».
«Финансовый директор имеет право на эту информацию; внешний отправитель — нет».
Поскольку сам ввод является безвредным, «стандартные детекторы инъекций подсказок и защитные механизмы агентов классифицируют эти входные данные одинаково», отметил он. «Риск безопасности заключается не в подсказке, а в границе авторизации».
Модель ведет себя правильно, но система — нет
В отличие от атак с инъекцией подсказок, эта техника не полагается на манипулирование поведением модели, согласно отчету.
«Злоумышленнику вообще не нужно манипулировать моделью», — пишет Леви. «Модель правильно следует своим инструкциям, а рабочий процесс правильно следует своему предопределенному пути выполнения».
Сбой происходит, когда рабочий процесс выполняет результирующее действие «с использованием идентификатора или привилегий создателя рабочего процесса без проверки того, был ли авторизован исходный запрашивающий».
Это различие смещает проблему из области безопасности моделей в область того, как идентификация и разрешения применяются в взаимосвязанных системах.
Активность выглядит законной
Поскольку действия выполняются через доверенные рабочие процессы с использованием действительных учетных данных, активность может не вызывать обычные оповещения безопасности.
«Риск безопасности заключается не в подсказке», — отмечается в отчете, — а в том, как рабочие процессы используют «привилегии, которыми злоумышленник не обладает».
Дубей сказал, что это создает проблему обнаружения для защитников.
«Отдельные события могут выглядеть совершенно законными. Полезные сигналы будут поступать от корреляции исходного запрашивающего, идентификатора, используемого ниже по цепочке, доступных ресурсов, предоставленных параметров и конечного действия».
Без такой корреляции несанкционированный доступ может слиться с обычной автоматизацией, добавил Дубей.
Риск растет по мере того, как злоумышленники используют агентские рабочие процессы
Своевременность этого открытия добавляет ему значимости. Поскольку предприятия расширяют автоматизацию на базе ИИ, злоумышленники также начинают использовать аналогичные многоэтапные рабочие процессы для выполнения операций.
В недавнем посте в блоге группа Google Threat Intelligence описала переход от злоупотребления подсказками к более автономным, управляемым агентами атакам, которые могут планировать и выполнять задачи в различных средах.
Эта эволюция увеличивает зависимость от того же уровня выполнения, на который указывает отчет Noma, — рабочих процессов ИИ, которые связывают системы и действуют от имени пользователей, усиливая влияние любых пробелов в применении идентификации и авторизации.
Перенос контроля за пределы модели
Noma Labs заявила, что снижение риска требует переноса средств контроля безопасности за пределы уровня модели и в дизайн приложений и инфраструктуры.
«Снижение этих рисков, связанных с рабочими процессами ИИ, требует переноса средств контроля безопасности с уровня модели на уровни приложений и инфраструктуры», — пишет Леви.
Отчет рекомендует применять контроль доступа, осведомленный об идентификации, в точке выполнения действий, включая «распространение контекста пользователя» и «явные шаги по оценке контроля доступа и защиты в реальном времени» между результатами, сгенерированными ИИ, и последующими операциями.
Дубей сказал, что один из способов проверить эту проблему — сравнить результаты для пользователей с разными уровнями привилегий.
«Если пользователь с низкими привилегиями может получить тот же результат, что и администратор, потому что нижестоящие системы видят только идентификатор рабочего процесса, именно на этом я бы сосредоточил расследование».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
