Уязвимость в ChatGPT от OpenAI позволила злоумышленникам извлекать данные из подключенного аккаунта Gmail жертвы, передавая скрытые инструкции между отдельными сессиями пользователей, согласно исследованию Check Point.
В рамках демонстрации Check Point показала, что сессия ChatGPT жертвы могла извлечь данные электронной почты и передать их в сессию, контролируемую злоумышленником, в рамках одного, казалось бы, обычного взаимодействия.
«Check Point Research обнаружила скрытый межсетевой канал команд, через который злоумышленник мог использовать сессию ChatGPT жертвы для выполнения скрытых задач с использованием инструментов, данных и подключенных приложений, доступных этой сессии», — написал в отчете исследователь Check Point Алексей Бухтеев . «В нашей демонстрации ChatGPT извлекал данные электронной почты из подключенного аккаунта Gmail жертвы и передавал их злоумышленнику».
По данным отчета, OpenAI уже устранила проблему, подтвердив, что задействованный внутренний сервис выведен из эксплуатации.
Check Point охарактеризовала это как сценарий «принудительного инсайдера», когда сама система ИИ не скомпрометирована, но может быть использована для выполнения непреднамеренных действий в пределах доверенной области организации.
Масштаб атаки распространялся на все, к чему сессия жертвы уже имела авторизованный доступ, включая коннекторы Google Drive, Microsoft Teams и GitHub, а не только Gmail, добавлено в отчете.
Скрытый межсетевой канал
Уязвимость возникла из-за среды выполнения кода ChatGPT, где задачи выполняются в изолированных контейнерах, привязанных к отдельным учетным записям пользователей.
Для поддержки установки программного обеспечения внутри этих контейнеров OpenAI направляет запросы на пакеты через внутренний сервис на базе JFrog Artifactory, согласно отчету.
Хотя контейнеры не должны взаимодействовать друг с другом, Check Point обнаружила, что каждый контейнер может записывать и считывать метаданные в этом общем сервисе.
«Метаданные доставки пакетов фактически стали общей буферной памятью между контейнерами, которые должны были быть изолированы друг от друга», — говорится в отчете.
Записывая инструкции в эти общие метаданные, сессия злоумышленника могла передавать задачи в сессию жертвы. «Сконструированная инструкция могла заставить сессию ChatGPT жертвы незаметно обрабатывать второй поток задач параллельно с разговором, который жертва могла фактически видеть», — заявили в Check Point в отчете.
Данные Gmail доступны без ведома пользователя
В своей демонстрации Check Point показала, что скрытая задача могла дать указание ChatGPT извлечь данные из подключенного аккаунта Gmail жертвы и вернуть их злоумышленнику.
«Видимый ответ выглядел совершенно обычным», — говорится в отчете, даже когда скрытая задача выполнялась параллельно.
Масштаб атаки зависел от того, к чему сессия жертвы имела авторизованный доступ, включая электронную почту, файлы и другие подключенные приложения, такие как облачные хранилища или инструменты для совместной работы, согласно Check Point.
Осведомленность пользователей была минимальной. Единственным наблюдаемым признаком была небольшая метка «Talked to Gmail», указывающая на доступ к внешнему сервису, зарегистрированная после того, как действие уже произошло, говорится в отчете.
Проблема связана с той же инфраструктурой
Check Point Research заявила, что их демонстрация уже работала до того, как отдельная цепочка действий в том же экземпляре Artifactory привела к компрометации Hugging Face, о которой OpenAI впоследствии публично сообщила. Два инцидента использовали разные методы, но восходят к одному и тому же общему внутреннему сервису.
Шилпи Ханда, ассоциированный директор по исследованиям в IDC, заявила, что повторный сбой изоляции на той же инфраструктуре меняет то, как предприятия должны оценивать риски поставщиков.
«Может ли контейнер одного клиента читать или записывать данные, к которым может получить доступ контейнер другого клиента?» — это вопрос, который CIO должны задавать напрямую поставщикам ИИ, сказала Ханда, поскольку ответ не является чем-то, что клиенты могут проверить самостоятельно.
Ханда добавила, что предприятия также должны спрашивать поставщиков, сколько нарушений границ изоляции они зафиксировали за последние 12 месяцев и что структурно изменилось после каждого из них.
OpenAI не сразу ответила на запрос о комментарии.
Меры контроля, которые предприятия могут применить немедленно
Ханда заявила, что предприятиям не нужно ждать ответов от поставщиков, чтобы снизить риски. Она рекомендовала авторизовывать подключенные приложения узко, а не по умолчанию, предоставляя коннектор календаря без одновременного предоставления доступа к Gmail и Drive.
Ограниченное предоставление разрешений «сужает то, что может раскрыть любая утечка на уровне контейнера», — сказала Ханда.
Она также рекомендовала направлять трафик подключенных приложений через DLP или CASB для перехвата регулируемых данных до их выхода из конвейера, а также требовать API или веб-хук, который регистрирует каждое чтение и запись подключенного приложения с временной меткой и категорией данных, экспортируя их в собственный SIEM предприятия.
Без такого логирования, сказала Ханда, «вы не сможете обнаружить этот класс утечек даже после исправления». Она добавила, что консоли администратора у некоторых поставщиков позволяют клиентам переопределять стандартное определение уровня риска для операций чтения, связанных с Gmail или Drive, требуя явного одобрения вместо автоматического доступа. Это переопределение стоит применять специально к конфиденциальным или регулируемым источникам данных, таким как юридические, кадровые или финансовые системы, сказала она.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
