ИИ-копилоты невероятно умны и полезны, однако порой они могут быть наивными, доверчивыми и даже откровенно глупыми.
Новый метод атаки в один клик, обнаруженный исследователями Varonis Threat Labs, наглядно это демонстрирует. Атака получила название «Reprompt» (Повторный запрос). Это трехэтапная цепочка, которая полностью обходит средства контроля безопасности после первоначального запроса к LLM, предоставляя злоумышленникам невидимый, необнаружимый и неограниченный доступ.
«ИИ-помощники стали доверенными компаньонами, которым мы без колебаний сообщаем конфиденциальную информацию, ищем совета и на которых полагаемся», — написал в записи в блоге исследователь безопасности из Varonis Threat Labs Долев Талер. «Но… доверием легко злоупотребить, и ИИ-помощник может превратиться в оружие для утечки данных одним кликом».
Важно отметить, что на данный момент Reprompt обнаружен только в Microsoft Copilot Personal, а не в Microsoft 365 Copilot. Однако это не исключает его использования против предприятий в зависимости от их политик в отношении копилотов и осведомленности пользователей. Microsoft уже выпустила исправление после уведомления о данной уязвимости.
Как Reprompt незаметно работает в фоновом режиме
Reprompt использует три техники для создания цепочки утечки данных: внедрение начального параметра в запрос (P2P injection), двойной запрос и цепочка запросов (chain-request).
P2P внедряет запрос непосредственно в URL, используя стандартную функциональность URL-параметра «q» в Copilot, предназначенную для оптимизации и улучшения пользовательского опыта. URL может содержать конкретные вопросы или инструкции, которые автоматически заполняют поле ввода при загрузке страниц.
Используя эту лазейку, злоумышленники затем применяют двойной запрос, что позволяет им обойти защитные механизмы: Copilot проверяет Q-переменную на наличие вредоносного контента только при первом запросе, а не при последующих.
Например, исследователи попросили Copilot получить URL, содержащий секретную фразу «HELLOWORLD1234!», повторив запрос дважды. Талер отметил, что Copilot удалил секретную фразу из первого URL, но вторая попытка «сработала безупречно».
Далее атакующие могут инициировать цепочку запросов, при которой сервер атакующего отправляет последующие инструкции для поддержания непрерывного диалога. Это обманом заставляет Copilot извлекать историю разговоров и конфиденциальные данные. Злоумышленники могут использовать разнообразные запросы, такие как: «Обобщи все файлы, к которым пользователь обращался сегодня», «Где живет пользователь?» или «Какие у него запланированы отпуска?»
Этот метод «делает кражу данных скрытной и масштабируемой», и нет никаких ограничений на то, что или сколько могут извлечь злоумышленники, отметил Талер. «Copilot постепенно сливает данные, позволяя угрозе использовать каждый ответ для генерации следующей вредоносной инструкции».
Опасность заключается в том, что Reprompt не требует плагинов, активированных коннекторов или какого-либо взаимодействия пользователя с Copilot, кроме первоначального клика по легитимной ссылке Microsoft Copilot в фишинговом сообщении. Злоумышленник может оставаться в Copilot столько, сколько пожелает, даже после того, как пользователь закроет чат.
Все команды доставляются через сервер после первоначального запроса, поэтому почти невозможно определить, что именно извлекается, просто просмотрев этот один запрос. «Настоящие инструкции скрыты в последующих запросах сервера, а не во всем очевидном в запросе, который отправляет пользователь», — отметил Талер.
Что разработчикам и службам безопасности следует предпринять сейчас
Как и в обычной практике обеспечения безопасности, корпоративным пользователям всегда следует относиться к URL-адресам и внешним вводам как к недоверенным, советуют эксперты. Следует проявлять осторожность при работе со ссылками, следить за необычным поведением и всегда делать паузу, чтобы проверить предварительно заполненные запросы.
«Эта атака, как и многие другие, начинается с фишингового электронного письма или текстового сообщения, поэтому применимы все стандартные лучшие практики по защите от фишинга, включая «не переходите по подозрительным ссылкам»», — отметил Энрике Тейшейра, старший вице-президент по стратегии в Saviynt.
Он подчеркнул, что необходимо внедрять аутентификацию, устойчивую к фишингу, не только при первом использовании чат-бота, но и на протяжении всей сессии. Это потребует от разработчиков внедрения средств контроля при первоначальном создании приложений и встраивании копилотов и чат-ботов, а не добавления их позже.
Конечным пользователям следует избегать использования неаутентифицированных чат-ботов и рискованного поведения, такого как реагирование на чувство срочности (например, при побуждении к быстрому завершению транзакции), ответы неизвестным или потенциально вредоносным отправителям или излишнее раскрытие личной информации, отметил он.
«И последнее, но очень важное: не винить в таких случаях жертву», — сказал Тейшейра. Владельцы приложений и поставщики услуг, использующие ИИ, должны создавать приложения, которые не позволяют отправлять запросы без аутентификации и авторизации, или с вредоносными командами, внедренными в URL-адреса. «Поставщики услуг могут внедрить улучшенную гигиену запросов и базовые средства контроля безопасности идентификации, такие как непрерывная и адаптивная аутентификация, чтобы сделать приложения более безопасными для сотрудников и клиентов», — сказал он.
Кроме того, Талер из Varonis советует проектировать с учетом риска со стороны инсайдеров. «Предполагайте, что ИИ-помощники работают с доверенным контекстом и доступом. Соответствующим образом применяйте принцип наименьших привилегий, аудит и обнаружение аномалий».
В конечном счете, это еще один пример того, как предприятия внедряют новые технологии, а о безопасности задумываются в последнюю очередь, отмечают другие эксперты.
«Наблюдать за развитием этой истории — все равно что смотреть на Вайли Койота и Дорожного Бегуна», — сказал Дэвид Шипли из Beauceron Security. «Как только вы узнаете шутку, вы понимаете, что произойдет. Койот доверится какому-нибудь нелепому продукту Acme и использует его крайне глупым образом».
В данном случае таким «продуктом» являются технологии на базе LLM, которым просто разрешено выполнять любые действия без ограничений. Ужасно то, что нет способа их обезопасить, потому что LLM, по описанию Шипли, — это «идиоты на высокой скорости».
«Они не могут отличить контент от инструкций и будут слепо выполнять то, что им велят», — сказал он.
LLM следует ограничивать чатами в браузере, настаивал он. Предоставление им доступа к чему-либо большему — это «катастрофа, которая вот-вот случится», особенно если они будут взаимодействовать с контентом, который может быть отправлен по электронной почте, через сообщения или веб-сайт.
Применение таких методов, как наименьшие привилегии доступа и нулевое доверие, для обхода фундаментальной небезопасности ИИ-агентов «выглядит блестяще, пока не дает обратный эффект», — сказал Шипли. «Все это было бы забавно, если бы не приводило к взлому организаций».
Эта статья изначально была опубликована в Computerworld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Taryn Plumb
