На прошлой неделе Hugging Face сообщила, что автономный ИИ-агент скомпрометировал части её инфраструктуры, воспользовавшись уязвимостями в конвейере обработки наборов данных. Агент получил доступ к ограниченному числу внутренних наборов данных и учётных данных сервисов. В то время Hugging Face заявила, что не знает, какая LLM использовалась в атаке, которая включала тысячи отдельных действий, выполненных в рое недолговечных песочниц.
Сегодня OpenAI раскрыла, что её ИИ-модели были ответственны за взлом производственной инфраструктуры Hugging Face во время внутренней оценки кибербезопасности на прошлой неделе. Компания описала это событие как беспрецедентный инцидент, демонстрирующий, как продвинутые ИИ-модели теперь могут выполнять сложные реальные кибероперации.
Инцидент затронул GPT-5.6 Sol и более мощную, неопубликованную модель OpenAI. Чтобы оценить кибервозможности моделей, OpenAI снизила их обычные отказы в области кибербезопасности и попросила их решить сложные задачи эксплуатации из бенчмарка ExploitGym.
Хотя модели работали в изолированной тестовой среде без доступа к публичному интернету, они потратили значительные вычислительные ресурсы на поиск способа выйти в публичный интернет. В конце концов они обнаружили и использовали zero-day уязвимость в прокси-сервере стороннего реестра пакетов, используемом OpenAI.
После выхода из ограниченной исследовательской среды OpenAI модели повысили привилегии, переместились латерально по инфраструктуре OpenAI и достигли системы с доступом в интернет. Затем они обнаружили, что у Hugging Face могут быть наборы данных или решения, которые помогут им завершить бенчмарк.
Позже модели использовали украденные учётные данные, дополнительные zero-day уязвимости и путь удалённого выполнения кода для доступа к секретной информации из производственной базы данных Hugging Face.
Клем Деланг, сооснователь и генеральный директор Hugging Face, сказал следующее об этом инциденте безопасности:
“Мы благодарны за сотрудничество с OpenAI по этому и другим вопросам. Этот инцидент, возможно, первый в своём роде, доказывает то, во что мы давно верили: безопасность ИИ не будет решена одной компанией, работающей в тайне. Она будет решаться открыто, совместно, с широким доступом к ИИ для каждого защитника, повсюду.”
OpenAI и Hugging Face работали вместе после этого инцидента безопасности. Они уже исправили известные уязвимости, обновили учётные данные, перестроили скомпрометированные системы и ввели более строгие меры контроля. OpenAI также раскрыла выявленную zero-day уязвимость в размещённом внутри компании стороннем ПО поставщику для исправления.
Чтобы помочь Hugging Face справляться с подобными атаками ИИ-агентов в будущем, OpenAI включила её в свою программу доверенного доступа для улучшения защиты. Hugging Face также наняла внешних специалистов по кибербезопасности для расследования инцидента и пересмотра своих политик и процедур безопасности.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pradeep Viswanathan
