Новый метод атаки, обнаруженный Zenity Labs, показывает, что ИИ-агенты становятся постоянными инсайдерами, которых злоумышленники могут вербовать, а не вредоносным ПО, которое им приходится устанавливать.
Исследователи обнаружили AgentForger — фишинговую атаку, которая незаметно создаёт и запускает полностью автономного ИИ-агента в рабочих пространствах OpenAI.
После запуска агент получает полный доступ к таким приложениям, как Outlook, Slack, SharePoint и Google Drive. Он настроен на бесконечную работу без дальнейшего взаимодействия с пользователем, может самостоятельно одобрять свой доступ, включая настройку «никогда не спрашивать», и продолжать выполнять новые задания, отправленные по электронной почте управляющими им злоумышленниками. Широкий, неограниченный доступ к системам позволяет ему проводить разведку, собирать конфиденциальные данные и учётные данные, выдавать себя за жертв и запускать фишинговые кампании.
Хотя OpenAI устранила уязвимость через четыре дня после раскрытия, в более широком масштабе AgentForger проливает свет на то, что может произойти, когда ИИ-агенты выходят из-под контроля.
«Мы переходим в мир, где программное обеспечение не просто помогает людям работать. Оно работает вместе с ними», — сказал Майкл Баргури, сооснователь и технический директор платформы безопасности ИИ-агентов Zenity. «По мере того как ИИ-агенты становятся более способными, злоумышленники, естественно, будут искать способы влиять на них, точно так же, как они всегда искали способы влиять на людей».
«Постоянный оператор», действующий без одобрения
Рабочие агенты OpenAI могут подключаться и работать автономно в Outlook, Gmail, Slack, Google Drive, SharePoint и Teams. Пользователь открывает конструктор агентов, описывает на естественном языке, что агент может делать, подключает инструменты, настраивает одобрения, проверяет и тестирует, планирует действия, а затем публикует. Например, агент может автономно обрабатывать входящие электронные письма, просматривать и выполнять действия с одобрением, собирать информацию из различных источников для ежедневных брифингов или автоматически отвечать на вопросы в каналах ChatGPT или Slack.
Обычно это «полезная автоматизация», — написал исследователь ИИ-безопасности Zenity Майк Такахаси в блог-посте. Но в этой атаке «тот же планировщик становится механизмом сохранения».
Рабочий процесс создания запускается в тот момент, когда пользователь нажимает на фишинговую ссылку, содержащую инструкции от злоумышленника. Для успешной атаки жертва должна быть авторизована в ChatGPT и рабочих агентах, а также иметь хотя бы одну интеграцию с другим приложением, таким как Outlook, Gmail, Slack, Google Drive, SharePoint или Teams.
Поскольку эти соединения уже существуют, экраны согласия OAuth не запускаются. Более того, жертве не нужно нажимать на другую ссылку, держать вкладку Builder открытой или даже снова заходить в ChatGPT.
Поддельный агент — это «постоянный оператор»; он устанавливается при первом нажатии, получает расписание и в заданное время самостоятельно активируется, сканирует электронные письма от адресов злоумышленника с темой «task», выполняет эти команды, а затем отправляет результаты на тот же контролируемый злоумышленником адрес электронной почты.
Он остаётся незамеченным, потому что подсказка злоумышленника даёт указание Builder переключить Outlook на режим «никогда не спрашивать одобрения» для своих действий. Обычно по умолчанию стоит «всегда спрашивать», чтобы не позволять агентам совершать несанкционированные действия; это переключение даёт агентам возможность действовать без запроса одобрения человека.
«AgentForger показал, что злоумышленник может развернуть автономного инсайдерского агента внутри вашего рабочего пространства ChatGPT одним щелчком мыши», — сказал Баргури. Оттуда он может продолжать получать доступ к информации, собирать учётные данные из различных источников, выдавать себя за сотрудников и проводить фишинговые атаки и мошенничество, «используя доверенную личность жертвы».
«Подставной сообщник», выполняющий всю работу
После активации AgentForger может проводить разведку для создания внутренней карты компании. Например, агенты могут сканировать Outlook, Slack, Teams, Google Drive, SharePoint или данные календаря, чтобы определить людей, роли, активные проекты, внутренние обсуждения или повторяющиеся собрания全体员工. Это помогает злоумышленникам определить, на какую часть предприятия атаковать дальше, исходя из активных команд и каналов, текущих проектов или заметных пользователей.
«Это именно тот внутренний контекст, который злоумышленнику обычно приходится создавать медленно», — отметил Такахаси. Но в данном сценарии действие основано на одном задании по электронной почте. «Подставной сообщник» злоумышленника выполняет всю работу.
В другом сценарии агент может красть данные, находя и идентифицируя финансовые документы, деловые соглашения или счета. Или красть учётные данные, сканируя сообщения, содержащие пароли, одноразовые коды, токены доступа, ссылки для восстановления пароля или API-ключи. Кроме того, он может выдавать себя за жертву для проведения фишинговых атак, например, отправляя правдоподобные сообщения в Teams с инструкциями подтвердить учётные данные на поддельной странице входа Microsoft.
Во всех случаях собранная информация организуется, анализируется и отправляется обратно злоумышленнику.
«AgentForger указывает на нечто гораздо большее, чем просто одна уязвимость», — сказал Баргури. «Дело не столько в одной ошибке, сколько в понимании того, как меняется модель безопасности по мере того, как ИИ становится частью повседневных бизнес-операций».
FOMO: выявление пробелов в безопасности
Это не обязательно вопрос доверия, а скорее необходимость быстро двигаться и адаптироваться, подчеркнул Баргури. ИИ-агенты помогают сотрудникам автоматизировать работу, быстрее принимать решения и делать больше. Но предприятия боятся отстать, если не будут действовать достаточно быстро.
«Проблема в том, что мы внедряем в предприятие принципиально новый тип технологии», — сказал Баргури. «Давление, требующее интегрировать следующую ИИ-функцию, опережает меры безопасности, необходимые для её безопасного развёртывания».
Однако ответ не в том, чтобы замедлить внедрение, подчеркнул он; бизнес-ценность слишком значительна. Скорее, первый шаг — понять, где существуют ИИ-агенты, кто их создал, к чему они подключены и что им разрешено делать. А когда речь идёт об автономных агентах, предприятиям необходимо обращать внимание на процессы, которые их запускают: расписание, входящее электронное письмо или другое автоматическое событие.
«Эти триггеры должны управляться так же тщательно, как и сам агент», — сказал Баргури.
Действия с высоким уровнем воздействия должны требовать одобрения там, где это уместно, а команды безопасности должны иметь возможность быстро отключить агента или его триггеры, если что-то выглядит не так, сказал он.
В более широком смысле, ИИ-агенты вызывают необходимость в новой модели безопасности, отметил он. Теперь вопрос не только в том, «Есть ли у этого агента разрешение?». Вопрос также в том, «Это то поведение, которое мы задумывали?»
«Организации, которые ответят на оба вопроса, будут в наилучшем положении для безопасного внедрения ИИ», — сказал Баргури.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Taryn Plumb
