Спустя почти восемь месяцев после подтверждения критической уязвимости безопасности в персональной версии своего ИИ-ассистента Copilot компания Microsoft во вторник выпустила патч для закрытия бреши, которая основана на неспособности LLM различать данные в запросе и инструкцию.
Уязвимость CoSnitch была обнаружена Varonis и стала третьей ошибкой Copilot, о которой Varonis сообщила Microsoft в этом году, после Reprompt, которая обходила защитные механизмы Copilot путём повторения запросов, и SearchLeak, которую Varonis назвала «бесшумным инструментом эксфильтрации» Microsoft 365 Copilot Enterprise. Все три используют одну и ту же схему эксплуатации: достаточно одного клика по легитимно выглядящей ссылке.
Подробный блог, опубликованный Varonis во вторник, сообщил, что возможности этой бреши были значительными.
Varonis написала, что CoSnitch опирался на использование трёх разных уязвимостей Copilot:
- Автоматическое выполнение промпта. «Параметр URL ?q= в сочетании с недокументированным параметром приводит к тому, что любой промпт, предоставленный атакующим, выполняется мгновенно при загрузке страницы: ни клика, ни подтверждения, ни действия пользователя. Достаточно одной ссылки».
- Эксфильтрация данных на внешние серверы. «Внедрённый промпт может запрашивать подключённые приложения жертвы, такие как Gmail, Drive, Calendar или OneDrive, кодировать результаты в URL и эксфильтровать их через встроенную возможность Copilot по загрузке URL на управляемый атакующим webhook».
- Постоянное отравление памяти через веб-суммирование. «Сфабрикованная веб-страница при суммировании Copilot внедряет инструкции атакующего в постоянное хранилище памяти жертвы. Внедрение сохраняется после смены пароля, отзыва сессии и повторной регистрации устройства, оставаясь навсегда».
Но, возможно, самым интригующим элементом уязвимости CoSnitch было то, как она была обнаружена: Copilot фактически сам раскрыл эту брешь.
Copilot раскрыл собственную уязвимость
«Мы попросили Copilot объяснить, почему автоматическое выполнение невозможно, и каждый отказ сопровождался техническим обоснованием, которое описывало архитектуру», — говорится в посте Varonis. Затем Varonis «переформулировала каждый отказ как уточняющий вопрос, и каждый ответ сужал поверхность атаки. Затем Copilot без дополнительного запроса, прямо во время отказа, раскрыл недокументированный параметр URL, включая его историческое поведение и все установленные защиты для его отключения. Мы построили URL в точности так, как было описано. Без клика или подтверждения пользователя промпт был успешно выполнен автоматически. Copilot не был взломан — его переиграли».
Microsoft подтвердила и уязвимость, и исправление, прислав по электронной почте заявление: «наши клиенты уже защищены и не должны предпринимать никаких действий. Мы постоянно обновляем наши защитные механизмы, чтобы усилить защиту от подобных атак». Компания также выпустила раскрытие MSRC, присвоив бреши статус «критическая».
Однако в комментариях Microsoft, присланных по электронной почте, также содержалось утверждение, которое не является строго точным: «корпоративные клиенты, использующие Microsoft 365 Copilot, не затронуты».
Но аналитики и другие эксперты подчеркнули, что сложный характер корпоративных сред часто включает и некоторые потребительские версии Copilot из личных учётных записей сотрудников, а значит, уязвимость в персональной версии могла абсолютно повлиять на корпоративную версию.
Ситуация дополнительно усложняется тем, что Microsoft также заявила, что «находится в процессе перехода к более унифицированному интерфейсу Copilot», который называется Copilot Fusion; подробности запланированного слияния продуктов начали просачиваться в прошлом месяце. Это означает, что корпоративные CISO должны беспокоиться об уязвимостях в персональной версии Copilot, которые могут быть перенесены в объединённое предложение.
Время выпуска исправления Microsoft также было фрагментированным. Varonis сообщила о бреши CoSnitch 31 декабря, а компания исправила один элемент уязвимости — возможность автоматического выполнения — 1 февраля, отметил Лиор Адар, старший исследователь безопасности Varonis, в интервью, но завершила исправление только во вторник.
Тот февральский патч «значительно снизил другие уязвимости», сказал Адар. И добавила его коллега, Чен Леви Бен-Арой, руководитель команды облачных исследований безопасности Varonis: «LLM — это целый новый мир уязвимостей».
Марк Таушек, вице-президент и главный аналитик Info-Tech Research Group, отметил, что методология Varonis по обману Copilot для раскрытия собственных уязвимостей показалась ему убедительной.
Varonis использовала «очень сложную комбинацию социальной инженерии в отношении LLM, разнообразные jailbreak и атаку с внедрением промпта, которая вызывает серьёзную обеспокоенность своими возможностями», — сказал он. «Именно сочетание векторов атаки делает это более поразительным, поскольку ранее мы видели каждый из этих методов по отдельности, но, думаю, все три вместе, работающие в одной эксплуатации, — это новое явление, по крайней мере с точки зрения раскрытия».
Для CISO, по словам Таушека, могут потребоваться срочные действия.
«Как и в дни старых макровирусов в конце 90-х и начале 2000-х, единственный способ окончательно остановить это — отключить. Отключите макросы тогда. Отключите Copilot сейчас», — сказал Таушек. «Существует множество шагов по смягчению, которые могут снизить риск до пренебрежимо малого, но это не ноль. Суть в том, что это только начало».
Денежный след сделает это исправление сложным
Аман Махапатра, директор по стратегии Tribeca Softtech, консалтинговой компании в области технологий из Нью-Йорка, заявил, что в этом случае есть гораздо более сложная проблема. Он утверждает, что финансовые стимулы крупных ИИ-компаний сделают значимое исправление подобных брешей почти невозможным.
Он указал, что каждый защитный механизм, который полностью закрыл бы этот класс атак, ухудшает продукт, поскольку те же возможности, которые эксплуатируются, являются функциями, которые Microsoft продвигает как ценность Copilot. «Исправление и функция находятся в прямом противоречии, а это означает, что они не будут аккуратно пропатчены, а будут постоянно смягчаться, и восьмимесячный период — это то, как выглядит ситуация, когда вендор балансирует между своими обязательствами по безопасности и дорожной картой продукта при каждом исправлении», — сказал Махапатра.
«Это шаблон, который CISO должны усвоить: в агентных системах вредоносное действие и легитимное действие — это одно и то же действие с разным намерением, что разрушает всю модель обнаружения сигнатур и аномалий, на которой строилась корпоративная безопасность в течение двадцати лет», — сказал Махапатра. «CoSnitch серьёзен, но его определяющее свойство в том, что ничего не было сломано. Три сцепленные уязвимости: параметр URL с автозапуском, запускающий промпт без клика, злоупотребление OAuth-коннектором, читающее полные тела Gmail, а не метаданные, и постоянное отравление памяти через веб-суммирование — и каждая из них — это Copilot, делающий именно то, для чего он был спроектирован».
Махапатра добавил, что третий элемент уязвимости CoSnitch является наиболее тревожным.
«Компонент отравления памяти — это то, что недооценивают, и он самый опасный. Одна суммированная веб-страница записывает инструкции атакующего в постоянную память Copilot, и эта память сохраняется после смены пароля, отзыва сессии и повторной регистрации устройства», — сказал он. «Каждый стандартный шаг реагирования на инциденты оставляет внедрение нетронутым. Злоумышленнику не нужна постоянная инфраструктура после первоначальной записи, потому что каждый будущий сеанс выполняется в контексте, контролируемом атакующим, записанном только в интерфейсе настроек памяти, который почти никто из пользователей не открывал».
Флавио Вильянустре, директор по информационной безопасности группы LexisNexis Risk Solutions Group, также указал на более широкую проблему, затрагивающую все агентные и генеративные ИИ-развёртывания.
«Механизмы, лежащие в основе части атаки с внедрением промпта, основаны на неспособности LLM различать данные — небезопасный поток данных, поступающий с внешней веб-страницы, — и инструкции, которые случайно оказываются встроенными в этот поток данных атакующим, контролирующим эту внешнюю веб-страницу», — сказал Вильянустре. «Это ещё один пример того, почему необходим другой архитектурный подход к LLM, разделяющий данные и инструкции, чтобы лучше гарантировать безопасность их работы. Этого до сих пор не сделал ни Microsoft, ни какой-либо другой ИИ-вендор».
Эта статья первоначально появилась на Computerworld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
