В блог‑записи, опубликованной во вторник днём, OpenAI подробно описала шаги, которые привели к тому, что модели скомпрометировали сервис.
«После расследования мы теперь знаем, что этот конкретный инцидент был вызван комбинацией моделей OpenAI — включая GPT‑5.6 Sol и ещё более способную предрелизную модель, все с пониженными отказами на киберзапросы для целей оценки — в ходе внутреннего тестирования на бенчмарке кибервозможностей», — говорится в записи.
В частности, взлом, по‑видимому, был сосредоточен на ExploitGym, публично размещённом бенчмарке, который оценивает способность моделей выполнять атаки на основе существующих уязвимостей. Бенчмарки вроде ExploitGym обычно используются при обучении моделей для оттачивания конкретных навыков, однако это первый известный случай, когда такое тестирование привело к реальной кибератаке.
В данном случае рассматриваемая модель вообще не должна была иметь доступ к интернету за исключением специального инструмента, позволявшего моделям устанавливать пакеты программного обеспечения, которые могли потребоваться для выполнения задачи. Вместо этого модель смогла найти нераскрытую уязвимость в программе‑установщике пакетов и использовала её для получения неограниченного доступа к интернету.
«Модели были гиперсосредоточены на поиске решения для ExploitGym и шли на крайние меры, чтобы достичь довольно узкой цели тестирования», — говорится в записи OpenAI. «Получив доступ в интернет, модели предположили, что Hugging Face, возможно, размещает модели, наборы данных и решения для ExploitGym. Зная это, модель искала и успешно нашла способы получить доступ к секретной информации, которую можно было использовать для обмана оценки».
В конечном итоге модели нашли уязвимости в инфраструктуре Hugging Face, которые позволили им «получить тестовые решения напрямую из производственной базы данных Hugging Face», фактически предоставив ответы на бенчмарк.
Для Hugging Face очевидным результатом стала сложная и агрессивная кибератака с «многими тысячами отдельных действий в рое недолговечных sandbox‑сред с само мигрирующим command‑and‑control, размещённым на публичных сервисах», как компания заявила в своём первоначальном раскрытии.
OpenAI выявила и сообщила об уязвимостях в установщике пакетов и сейчас работает с Hugging Face над дальнейшим расследованием инцидента. Компания также заявила, что внедрит новые средства контроля как над тестированием моделей, так и над связанной инфраструктурой, чтобы предотвратить подобные инциденты в будущем.
Пока неясно, столкнётся ли OpenAI с какими‑либо юридическими последствиями в результате взлома, хотя действия моделей, вероятно, нарушили Закон о компьютерном мошенничестве и злоупотреблениях.
Тем не менее результат — необычайно яркая иллюстрация силы и опасностей передовых моделей ИИ, действующих в долгосрочной перспективе. Как написал исследователь OpenAI Мика Кэрролл в ответ на новость: «Если это вас не убеждает, что риски несоответствия будут ключевой проблемой в будущем, я не знаю, что убедит».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
