Исследователи разместили 2 миллиона цифровых «растяжек» в запросах, отправленных через обширную сеть сервисов искусственного интеллекта, чтобы выяснить, что происходит с конфиденциальной информацией, доверенной им. То, что они обнаружили, было экосистемой, которая пропускала крайне конфиденциальные данные, как решето.
Утечка была обнаружена в ходе хитроумного эксперимента, призванного проверить, могут ли конфиденциальные данные утекать через обширную цепочку широко используемых сервисов ИИ и как эта информация используется, когда это происходит. Многие современные приложения ИИ используют такие сервисы, как OpenRouter или Vercel, которые действуют как посредники. Эти «маршрутизаторы ИИ», иногда также известные как «шлюзы ИИ», получают большое количество запросов от конечных пользователей приложений ИИ и направляют их к доступному механизму вывода на основе таких критериев, как самая низкая цена или наилучшее соответствие поставленной задаче. Вместо использования Anthropic, OpenAI или другого крупного поставщика разработчик нанимает маршрутизатор ИИ для поиска наиболее подходящей модели.
Нарушения безопасности, кража запросов и нарушение конфиденциальности
Чтобы проверить потенциальные утечки, исследователь Эйч Ди Мур собрал коллекцию ключей доступа AWS, действующих учетных данных, связанных с пустыми учетными записями AWS, паролей для таких служб, как SSH, а также уникальных URL-адресов, DNS-имен и ссылок на частные репозитории git. Ни один из секретов ранее не использовался, и он контролировал инфраструктуру, которая получала любые запросы с использованием учетных данных. Затем он внедрил каждый секрет ровно в один запрос, отправленный одному поставщику. В случае утечки каких-либо секретов эти «канарейки» — так называемые, потому что они напоминают роль этой птицы, когда ее берут в угольные шахты — позволили бы Муру идентифицировать каждое звено в цепочке, ответственное за это.
,
Результаты поразительны. Они включали:
- Свидетельства того, что по крайней мере три поставщика ИИ были скомпрометированы злоумышленниками, которые использовали свой доступ для кражи полученных запросов.
- Множество реселлеров на рынке вывода, которые регистрировали запросы и каким-то образом передавали их людям, использовавшим учетные данные.
- Множество случаев, когда поставщики ИИ не соблюдали настройки конфиденциальности конечных пользователей, встроенные в флаги, указывающие такие условия, как «нулевое хранение данных» (ZDR) или «отсутствие сбора данных».
«Мы отправили почти два миллиона запросов ИИ, содержащих уникальные, отслеживаемые секреты, поставщикам ИИ, а затем наблюдали, где эти секреты всплыли», — написал в четверг Мур, главный научный сотрудник компании Dragos. «То, что мы обнаружили, выявило нарушения безопасности, кражу запросов и повсеместные сбои в защите данных клиентов».
Хотя запросы шифруются при передаче, они расшифровываются на каждом этапе внутри большой сети реселлеров вывода. Запрос сначала отправляется маршрутизатору ИИ, который считывает в нем открытый текст, чтобы определить наиболее подходящих поставщиков вывода для обработки запроса. Часто запрос затем отправляется в пул доступных моделей, которые иногда работают у разных поставщиков хостинга. Запросы также могут передаваться от одного маршрутизатора ИИ (например, Vercel) к другому (например, OpenRouter). Каждый из этих участников, вероятно, регистрирует запрос и хранит его в течение срока, предусмотренного его политикой (если не бессрочно).
Дикий Запад в эпоху ИИ
Наиболее тревожным из обнаруженных было взлом трех отдельных поставщиков хостинга. Злоумышленники, скомпрометировавшие одного из поставщиков, повторно использовали «пару сотен» ключей AWS. Мур написал:
Каждый ключ был отправлен ровно в одном запросе одному поставщику, все в течение нескольких коротких окон в конце октября, и каждый запрос, который мы отправляли в эти окна, был украден. Некоторые из украденных ключей поступили из запросов, которые поставщик отклонил до того, как модель была запущена — это говорит нам о том, что злоумышленник копировал запросы у входной двери поставщика, а не где-то глубже в стеке вывода. В двух других взломах некоторые из украденных запросов были помечены как ZDR. Флаг конфиденциальности не помогает, когда злоумышленник уже внутри.
Стороны, связанные с взломом этих трех поставщиков, затем протестировали каждый ключ, в некоторых случаях в течение нескольких часов после его внедрения, чтобы увидеть, к каким ресурсам он дает доступ. Стороны искали в S3-бакетах, менеджерах секретов и хранилищах параметров еще больше учетных данных. Они также пытались включить размещенные модели в AWS Bedrock и добавили своих собственных пользователей IAM для поддержания доступа. В общей сложности украденные «приманки»-ключи использовались «десятки тысяч» раз в вызовах API AWS.
,
Секреты, отправленные двум взломанным поставщикам, были быстро использованы вместе, почти сразу, с одного арендованного сервера. Это означает, что поставщики почти наверняка были скомпрометированы одним и тем же противником.
Как отмечалось ранее, некоторые секреты были украдены самими реселлерами. Чтобы привлечь запросы на свои серверы, они предлагали низкие цены. Затем они включили журналирование запросов и ждали. Мур идентифицировал их, отправляя запросы к одной и той же модели через разных продавцов. Когда учетные данные позже повторно использовались при отправке через одного продавца, а не через другого, исследователь знал, что именно реселлер, а не поставщик модели, несет ответственность.
Наконец, эксперимент с «канарейками» выявил, что некоторые поставщики извлекают секретные URL-адреса, вставляемые в запросы, в нарушение условий конфиденциальности. Мур написал:
Самый яркий пример связан с китайской лабораторией ИИ. Системы этой лаборатории извлекали секретные URL-адреса из более чем половины запросов, которые мы отправляли ее моделям в период с июля по октябрь, включая примерно две трети запросов, помеченных как «без сбора данных» или «нулевое хранение данных». Скрейпер обычно появлялся через два-три дня после запроса.
Это не ограничивалось запросами, отправленными напрямую в лабораторию. Несколько американских хостинг-провайдеров перепродают модели этой лаборатории, и запросы, отправленные этим провайдерам, вызывали тот же скрейпер — запросы возвращались в лабораторию. Клиент, выбравший американского провайдера специально для хранения своих данных в США, не получил того, за что заплатил. Позже клиент git на другом облачном сервисе пытался клонировать частные репозитории, упомянутые в наших запросах, но только для запросов, в которых использовались модели этой лаборатории.
Исследователь заявил, что обнаружил, как один американский хостинг-провайдер сканировал секретный URL более чем через два месяца после того, как он был использован в одном запросе к его поисковому конечной точке. Другой использовал скрейпер, который возвращался за URL-адресами через несколько дней после каждого запроса, независимо от маршрутизатора ИИ, использованного для доступа к нему.
,
Мур заявил, что наиболее эффективным средством предотвращения утечек является размещение моделей на локальных серверах. Однако этот вариант дорог. Для тех, кто не может позволить себе собственную систему, следующим лучшим вариантом, по словам Мура, является получение услуг непосредственно от поставщика первого уровня, который предоставляет «единый контракт и политику конфиденциальности для ознакомления». Мур сказал, что даже в этом случае нет гарантии, что данные не утекут, но эта мера сводит шансы к минимуму. Пользователи ИИ также должны избегать принятия стандартных пулов поставщиков или реселлеров и вместо этого самостоятельно выбирать вышестоящих поставщиков.
Это громкое исследование является последним обвинением, разоблачающим слабую конфиденциальность и безопасность, которые являются неотъемлемой частью большей части экосистемы ИИ. Полученные результаты означают, что люди, которые хотят гарантировать, что секреты, которые они вводят в запросы, останутся конфиденциальными, сталкиваются с непростой задачей, которая вряд ли станет проще в ближайшее время.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin




