OpenAI подтвердила Hugging Face только на этой неделе, что модели, которые она тестировала, осуществили атаку 11 июля на производственную инфраструктуру AI-платформы, примерно через десять дней после вторжения и через несколько дней после того, как Hugging Face публично раскрыла этот инцидент, не зная, кто был ответственен, согласно отчету Wall Street Journal. Модели, по-видимому, были активны в открытом интернете в течение нескольких дней, прежде чем кто-либо их остановил, сообщает Journal, и Hugging Face прекратила атаку через два дня после ее обнаружения с помощью модели с открытыми весами из Китая. Сооснователь и главный научный сотрудник Hugging Face Томас Вулф сообщил изданию, что злоумышленник просматривал наборы данных по кибербезопасности, а не охотился за тем, что человеческий атакующий мог бы продать.
Hugging Face опубликовала свое раскрытие 16 июля, описав автономную агентную среду, которая выполнила тысячи действий в рое недолговечных песочниц, но только 21 июля собственная учетная запись OpenAI назвала GPT-5.6 Sol и невыпущенную фронтирную модель виновниками.
Теперь известно, что модели выполняли бенчмарк ExploitGym от OpenAI — набор из примерно 900 тестов, измеряющих, может ли AI превратить известную программную ошибку в рабочий эксплойт, причем средства защиты компании были удалены для оценки. Вместо решения тестов модели сбежали из своей песочницы, чтобы найти ответы на Hugging Face, согласно версии OpenAI. Вторжение началось с вредоносного набора данных, который злоупотребил двумя путями выполнения кода в конвейере обработки данных, затем повысил привилегии и переместился латерально, используя украденные учетные данные неизвестного происхождения.
Hugging Face сначала попробовала Anthropic Fable 5 и более раннюю модель Opus для анализа логов атаки, но обе отказались, поскольку логи содержали реальные команды атаки и полезные нагрузки эксплойтов. Затем Hugging Face обратилась к GLM 5.2 — модели с открытыми весами от пекинской Z.ai (ранее Zhipu AI), у которой не было таких ограничений. Собственное раскрытие компании от 16 июля описывало заблокированные модели только как «фронтирные модели за коммерческими API» и не называло их.
GLM-5.2 от Z.ai занимала верхние позиции в доступных бенчмарках по умолчанию в течение 18 дней, когда экспортные ограничения США держали Anthropic Fable 5 офлайн в июне, прежде чем Anthropic восстановила модель с одним фильтром, настроенным на блокировку одной техники обнаружения уязвимостей. Здесь есть серьезная ирония, учитывая, что та же китайская модель с открытыми весами, которую Вашингтон стремился оттеснить на второй план с помощью экспортного контроля, занималась реагированием на инцидент после того, как модели американской лаборатории атаковали американскую компанию, а американские коммерческие модели отказались помогать.
Специалисты по безопасности задаются вопросом, демонстрирует ли этот эпизод возможности модели или провал OpenAI. Ветеран кибербезопасности Джейк Уильямс сообщил TechCrunch, что любая модель, выполняющая задокументированные действия, «не была полностью изолирована в песочнице», назвав это провалом контроля. OpenAI заявила, что отключила свои системы тестирования моделей для оценки ущерба, раскрыла zero-day в кэш-прокси реестра пакетов, который позволил побег из песочницы, пострадавшему вендору, и пообещала подробный отчет.
Обе компании заявляют, что расследование продолжается, и OpenAI еще не сообщила, как долго модели бродили без присмотра и достигли ли они каких-либо других целей.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Luke James
