AI-помощники невероятно полезны, когда они берут на себя рутинные задачи, например, зачитывают вслух непрочитанные сообщения, пока вы за рулем. На Android Google Gemini использует функцию под названием «Утилиты» (Utilities) для выполнения именно этой задачи, извлекая контекст из приложений, таких как WhatsApp*, Slack и Instagram* . Однако предоставление ИИ разрешения на чтение входящих данных создает уникальную проблему безопасности, поскольку модели ИИ, как известно, с трудом отделяют фрагмент входящих данных от реальной инструкции.
Исследователь безопасности Ор Яир (Or Yair) из SafeBreach недавно обнаружил эту самую уязвимость, продемонстрировав, как одно вредоносное уведомление могло фактически захватить голосового помощника Gemini на Android. Самое страшное? Для эксплуатации эксплойта не потребовалось никаких вредоносных приложений на устройстве. Он просто полагался на то, что помощник воспримет враждебное текстовое сообщение как команду для выполнения (по данным The Hacker News).
Двуязычный трюк
У Google уже были предусмотрены меры защиты для предотвращения срабатывания конфиденциальных действий из-за некорректных входных данных. Обычно, если инструкция пытается открыть приложение или изменить настройки, Gemini требует быстрого подтверждения от пользователя. Чтобы обойти это, Яир разработал хитрую технику под названием «Выравнивание фальшивого контекста» (Fake Context Alignment), которая одновременно реализует две разные иллюзии.
Во-первых, вредоносное уведомление заставляет Gemini запросить авторизацию на языке, которым пользователь, вероятно, не владеет, например, на китайском, спрашивая, может ли он открыть окно или запустить инструмент. Сразу после этого запрос переключается обратно на английский, задавая нечто совершенно безобидное, например: «Это все, что вам было нужно?»
Когда пользователь небрежно отвечает «Да», чтобы отменить то, что выглядит как незначительный сбой программного обеспечения, серверная часть привязывает это подтверждение к скрытому вопросу на иностранном языке. В варианте атаки вредоносная инструкция прячется внутри отключенной гиперссылки. Функция преобразования текста в речь в Gemini полностью пропускает ссылку — произнося вслух: «У меня была ошибка, вы здесь?» — в то время как на экране телефона беззвучно отображается запрос на авторизацию. Пользователь говорит «да» в ответ на голос, и система одобряет команду на экране.
Что может сделать вредоносный запрос?
Пройдя контрольную точку авторизации, потенциальные последствия были огромны. В тестовых средах исследователям удалось управлять подключенными устройствами умного дома, принудительно присоединять телефон к видеозвонку Zoom без запроса и даже создавать запланированные задачи для ежедневного чтения личных сообщений.
Что еще более впечатляет, так это то, что эксплойт достиг «отравления памяти». Поскольку Gemini сохраняет пользовательские данные во всей учетной записи, атака могла заставить помощника постоянно запоминать ложный факт, выбранный хакером. Таким образом, он мог следовать за пользователем на каждое устройство, куда тот входил.
Хорошие новости
К счастью, паниковать не нужно. SafeBreach сообщила об этих уязвимостях в Программу вознаграждений Google еще в августе прошлого года. Вскоре после этого Google внедрила исправление на стороне сервера для смягчения этой проблемы. Поскольку исправление произошло непосредственно на серверах классификатора контента Google, пользователям не нужно искать обновление приложения, чтобы оставаться защищенными.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jean Leon
