Основатель и генеральный директор *Meta Марк Цукерберг приложил огромные усилия, чтобы разрекламировать безопасность своего нового ИИ-ассистента Muse, утверждая, что он «разработан с нуля с учетом конфиденциальности и безопасности». Уязвимость нулевого дня, которая дает локально запущенным приложениям и командам терминала полный контроль над агентом, вызывает серьезные сомнения. Дополнительные вопросы вызывает тот факт, что в воскресенье Amazon начал блокировать Muse на своем сайте.
*Meta представила Muse несколько недель назад. Ассистент «бронирует встречи, заполняет формы и обрабатывает запросы клиентов», «проактивно снимает с вас задачи» и может «совершать покупки, генерировать изображения, создавать документы и подключаться к вашим любимым приложениям и сервисам». Приложение для macOS (любопытно, что версии для Windows нет) также работает с учетными записями *WhatsApp, электронной почтой, календарем и социальными сетями пользователя. Когда задача требует инструмента, которого не существует, Muse создает его на лету.
*Meta слишком сильно расхваливает безопасность Muse
Конечно, чтобы Muse мог выполнять все эти действия, пользователи должны сначала предоставить ему доступ к своим учетным записям. Это включает аутентификацию ассистента для каждого сервиса и, поскольку приложение работает на macOS, предоставление ему разрешений на доступ к широкому спектру ограниченных операционной системой ресурсов устройства, таких как запись файлов на диск, доступ к микрофону и камере, а также отслеживание местоположения и календарей. Apple потратила годы на разработку этих защитных мер, чтобы предотвратить доступ установленных приложений или команд, введенных в терминал, к этим ресурсам, явно потому, что компания считает их угрозой безопасности. Muse полностью отменяет эти стандартные меры.
Уязвимость нулевого дня позволяет любому приложению или команде терминала получить доступ к токену, который аутентифицирует пользователей в их учетной записи Muse. Разработчики *Meta спроектировали ассистента таким образом, что любое локально установленное приложение или выполненный код, независимо от его разрешений в macOS, может изменять длинный список недокументированных настроек. Большинство из них довольно безобидны, например, управление темным режимом. Однако одна настройка совсем не безобидна. Она позволяет процессам изменять конечную точку, где происходит транскрипция. Обычно это адрес сервера, управляемого *Meta. Злоумышленники могут использовать этот недостаток, изменив местоположение на свою собственную конечную точку. Как только это произойдет, злоумышленники получат токен, который дает полный контроль над учетной записью Muse.
,
«Мы можем манипулировать агентом и использовать его привилегии для всего, что захотим», — сказал Арсу Патрик Уордл, эксперт по безопасности macOS, обнаруживший уязвимость нулевого дня. «Так что вместо того, чтобы писать очень комплексный стилер вредоносного ПО для Mac, мы можем просто использовать самого ИИ-ассистента». Уордл сказал, что разработал несколько доказательств концепции атак, которые делают такие вещи, как запись вредоносных файлов на диск и съемка фотографий, во многих случаях без каких-либо предупреждений даже для внимательного пользователя.
Представители *Meta не ответили на отправленные по электронной почте вопросы.
*Meta опубликовала двапоста за последние две недели, документируя проектные решения, принятые для обеспечения безопасности и конфиденциальности ассистента, обладающего таким исключительным доступом к данным и ресурсам пользователя. Эти посты появились на фоне сообщений о том, что внутреннее тестирование моделей от Anthropic и Google привело к нарушениям безопасности внешних сетей третьих сторон, на которые инженеры не намеревались нацеливаться. При традиционном человеческом взломе такие действия, вероятно, могли бы привести к возбуждению уголовных дел. Посты *Meta, вероятно, учитывают последующую негативную реакцию и призывы замедлить разработку ИИ в ответ.
Уордл сказал, что разработчики *Meta приняли несколько проектных решений, которые сделали его эксплойт возможным. Одно из них — выбор облачной обработки речи Muse, где *Meta может ее записывать. macOS давно предоставляет приложениям простой способ обрабатывать речь и транскрипцию в процессах, которые безопасно остаются на устройстве. Если бы разработчики выбрали эту более безопасную альтернативу, атака была бы невозможна.
Другое ошибочное решение заключается в том, что любое приложение может управлять всеми недокументированными настройками. Вероятно, *Meta предполагала, что приложения, работающие с Muse, будут управлять настройками пользовательского интерфейса, и по понятным причинам. Возможность любого приложения или команды управлять конечной точкой, где обрабатывается конфиденциальная речь пользователя, — это совершенно другое дело. В совокупности эти проектные решения ставят под сомнение, сколько усилий разработчики приложили к проектированию и тестированию безопасности и конфиденциальности нового ассистента.
,
«Для меня планка безопасности этих приложений бесконечно выше. Они не должны быть идеальными, но когда вы смотрите на Muse, кажется, что они, по моему мнению, не думали о безопасности, что очень тревожно», — сказал Уордл. «По крайней мере, они должны думать о безопасности с самого начала, а они этого не делают».
Примерно за 12 часов до того, как Уордл раскрыл уязвимость нулевого дня, Amazon начал блокировать пользователей от использования Muse для покупок на своем сайте. Пользователи, которые пытались это сделать, получали сообщение о том, что Muse является «неавторизованным ИИ-агентом, который нарушает Условия использования Amazon».
«Мы считаем, что совершенно очевидно, что сторонние приложения, предлагающие совершать покупки от имени клиентов в других компаниях, должны работать открыто и уважать решения поставщиков услуг о том, участвовать или нет», — говорится в заявлении Amazon, отправленном по электронной почте. «Это помогает обеспечить безопасный, надежный клиентский опыт, и именно так работают другие, включая приложения для доставки еды и рестораны, для которых они принимают заказы, приложения служб доставки и магазины, в которых они делают покупки, а также онлайн-туристические агентства и авиакомпании, билеты на которые они бронируют для клиентов. Агентные сторонние приложения, такие как Muse, имеют те же обязательства, и мы просили *Meta удалить Amazon из этого опыта».
Простой ClickFix — все, что нужно
Существует несколько способов осуществления атак. Один из них заключается в том, что сервер злоумышленника действует как прокси, расположенный между пользователем Muse и конечной точкой *Meta. Как только пользователь вводит голосовую команду, сервер злоумышленника добавляет команду, вызывающую вредоносную команду, такую как отправка архива всех сообщений *WhatsApp злоумышленнику. Как только это произойдет, злоумышленник получит постоянный контроль над учетной записью Muse, поскольку токен также автоматически отправляется на вредоносный сервер.
,
Уордл является создателем Objective-See Foundation, некоммерческой организации, занимающейся безопасностью macOS. Он также является автором серии книг «Искусство вредоносного ПО для Mac» и бывшим сотрудником NASA и Агентства национальной безопасности. Уордл сказал, что планирует более подробно обсудить уязвимость и другие угрозы ИИ-ассистентов на конференции по безопасности Objective by the Sea в ноябре.
Одним из контраргументов, выдвигаемых разработчиками приложений, которые могут быть использованы после компрометации устройства, является то, что после этого все ставки безопасности снимаются. Этот стандарт плохо подходит для данного случая. Уордл обнаружил, что простая вариация атаки ClickFix — техники, которая стала удивительно эффективной в обмане людей, заставляя их заражать свои устройства — это все, что требуется злоумышленнику для получения контроля над учетной записью Muse.
На первом изображении выше Уордл демонстрирует использование простой команды терминала для незаметной отправки запроса на конечную точку *Meta. На втором изображении показан ответ. Чтобы злоумышленники не могли копировать и вставлять запрос в реальных атаках, запрос Уордла спрашивает только о том, как это возможно, что он исходит от непривилегированного злоумышленника. Muse ошибочно отвечает, что такое действие невозможно.
Как уже отмечалось, исключительный доступ, который Muse требует для работы по назначению, накладывает дополнительное бремя на его разработчиков. Как и большинство подобных ИИ-агентов, и вопреки заявлениям *Meta, Muse нельзя доверять. Неясно, когда или будет ли это когда-либо возможно.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin
