На фоне активного продвижения чудес искусственного интеллекта (ИИ) компания Microsoft предупредила клиентов о многочисленных случаях использования техники, которая манипулирует технологией для предоставления предвзятых советов.
Гигант программного обеспечения заявляет, что его исследователи безопасности зафиксировали всплеск атак, направленных на «отравление» «памяти» ИИ-моделей манипулятивными данными. Эта техника получила название «отравление рекомендациями ИИ» (AI Recommendation Poisoning). Она схожа с SEO Poisoning — методом, используемым злоумышленниками для повышения позиций вредоносных веб-сайтов в поисковой выдаче, но ориентирована на ИИ-модели, а не на поисковые системы.
Подразделение Windows сообщает, что обнаружило компании, добавляющие скрытые инструкции к кнопкам и ссылкам «Суммировать с помощью ИИ», размещенным на веб-сайтах.
Сделать это несложно, поскольку URL-адреса, ведущие к ИИ-чатботам, могут включать параметр запроса с манипулятивным текстом подсказки.
Например, The Register ввел в адресную строку Firefox ссылку с закодированным в URL текстом, которая предписывала Perplexity AI суммировать статью CNBC так, как будто ее написал пират.
Сервис ИИ вернул краткое изложение в пиратском стиле, ссылаясь на статью и другие источники.
Менее тривиальная инструкция, или та, которая требует от ИИ генерации контента с определенным уклоном, скорее всего, приведет к тому, что любой ИИ будет создавать контент, отражающий скрытые инструкции.
«Мы выявили более 50 уникальных подсказок от 31 компании из 14 отраслей. Свободно доступные инструменты делают эту технику чрезвычайно простой в развертывании», — говорится в блоге команды Microsoft Defender Security. «Это важно, поскольку скомпрометированные ИИ-помощники могут предоставлять тонко предвзятые рекомендации по критически важным темам, включая здоровье, финансы и безопасность, без ведома пользователей о том, что их ИИ был подвергнут манипуляциям».
Мы обнаружили, что эта техника работает и с Google Поиском.
Исследователи Microsoft отмечают, что различные библиотеки кода, репозитории и веб-ресурсы могут быть использованы для создания кнопок обмена ИИ для внедрения рекомендаций. Они признают, что эффективность этих методов может меняться со временем, поскольку платформы изменяют поведение веб-сайтов и внедряют защиту.
Однако, если предположить, что «отравление» было инициировано автоматически или неумышленно кем-то, то не только выходные данные модели будут отражать текст подсказки, но и последующие ответы будут учитывать этот текст как исторический контекст или «память».
«Отравление памяти ИИ происходит, когда внешний злоумышленник внедряет несанкционированные инструкции или «факты» в память ИИ-помощника», — пояснили в команде Defender. «После «отравления» ИИ рассматривает эти внедренные инструкции как законные пользовательские предпочтения, что влияет на будущие ответы».
Риск, по мнению исследователей Microsoft, заключается в том, что «отравление рекомендациями ИИ» подрывает доверие людей к ИИ-сервисам — по крайней мере, среди тех, кто еще не списал ИИ-модели как ненадежные.
Пользователи могут не тратить время на проверку рекомендаций ИИ, говорят исследователи безопасности, и уверенные утверждения ИИ-моделей делают это еще более вероятным.
«Это делает «отравление памяти» особенно коварным: пользователи могут не осознавать, что их ИИ был скомпрометирован, и даже если они заподозрят что-то неладное, они не будут знать, как это проверить или исправить», — заявила команда Defender. «Манипуляция невидима и постоянна».
Исследователи из Редмонда призывают клиентов проявлять осторожность с ссылками, связанными с ИИ, и проверять, куда они ведут — это разумный совет для любой веб-ссылки. Они также советуют клиентам просматривать сохраненные «воспоминания» ИИ-помощников, удалять незнакомые записи, периодически очищать память и ставить под сомнение сомнительные рекомендации.
Сотрудники Microsoft Defender также рекомендуют корпоративным группам безопасности сканировать почтовые и мессенджер-приложения на предмет попыток «отравления рекомендациями ИИ». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
