OpenAI признала, что кибератака на базу данных моделей искусственного интеллекта (ИИ) Hugging Face, впервые обнаруженная на прошлой неделе, была организована комбинацией её собственных моделей ИИ, включая GPT-5.6 Sol и более продвинутую, ещё не выпущенную модель. Они совместно скомпрометировали сервис в поисках активов, которые могли бы помочь им подтасовать внутренний процесс оценки в свою пользу. Инцидент, о котором Hugging Face сообщила 16 июля, вероятно, стал первой зафиксированной кибератакой, полностью управляемой автономной системой агентов ИИ. Модели проникли в «ограниченный набор» внутренних баз данных и учётных данных, используемых сервисами Hugging Face, прежде чем были остановлены, хотя истинные масштабы и последствия атаки пока полностью не ясны. По данным OpenAI, неконтролируемые модели участвовали во внутреннем тестировании своих кибервозможностей, в ходе которого им ставилась задача поиска продвинутых методов эксплуатации с использованием сложных путей атаки. Хотя эта деятельность происходила в «высокоизолированной» среде-песочнице, модели нашли и объединили в цепочку ряд ранее неизвестных уязвимостей в собственной исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, включая zero-day в прокси-сервере кэша реестра пакетов. OpenAI полагает, что модели пытались получить тестовые решения от Hugging Face, скорее всего, модели, наборы данных и решения для ExploitGym — открытого эталонного теста, предназначенного для оценки способности агентов ИИ разрабатывать эксплойты. В случае успеха они бы фактически сжульничали на экзамене. В своём заявлении OpenAI сообщила: «Команда безопасности Hugging Face и агенты обнаружили и остановили активность на их инфраструктуре и уже начали сдерживание и криминалистическую реконструкцию с помощью собственных моделей с открытым исходным кодом, когда наши команды связались. Мы активно работаем с ними, чтобы продолжить расследование инцидента. Мы благодарны Hugging Face за быстрое и тесное сотрудничество в расследовании и устранении последствий. «Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с самыми современными кибервозможностями, и реагируем соответствующим образом. На данном этапе мы делимся предварительными выводами, чтобы помочь защитникам понять, что произошло, и откалибровать представления о том, на что теперь способны модели. Мы продолжим тщательное расследование вместе с Hugging Face и сообщим более подробную информацию об уязвимостях, инциденте и выводах после завершения расследования», — заявила компания. В сообщении на социальной платформе X (ранееTwitter) генеральный директор Hugging Face Клеман Деланг заявил: «Мы подозревали, что кибератака на прошлой неделе могла исходить от передовой лаборатории, учитывая сложность агента. Оказалось, так и было! «Мы провели последние 24 часа, тесно работая с командой OpenAI… и мы твердо верим, что с их стороны не было злого умысла. Просто поразительно, что всё это произошло автономно!» Деланг также похвалил команду безопасности Hugging Face, отметив, что они обнаружили, локализовали и раскрыли новую атаку, не похожую ни на что виденное ранее, в рекордно короткие сроки, и поблагодарил китайского разработчика ПО для ИИ Z.ai, чья модель GLM-5.2 стала ключевой частью защиты Hugging Face. «Это первый день кибербезопасности в эпоху агентов, и мы все учимся тому, что секретность — не ответ», — сказал Деланг. «Всем защитникам — не только избранным — повсюду нужны более мощные модели без ограничений, особенно открытые».
Отказ контроля?
Джейк Уильямс, бывший кибероперативник АНБ, а ныне преподаватель IANS Research, заявил, что заявления OpenAI о работе моделей в высокоизолированной песочнице не совсем сходятся. «Система либо „высокоизолирована“, либо нет», — написал он Computer Weekly по электронной почте. «Произошло одно из двух или их комбинация: либо OpenAI проводила red teaming продвинутых моделей без достаточной изоляции, либо это маркетинговый ход, призванный продемонстрировать, насколько способны модели OpenAI. «Для одного „модель сбежала из песочницы“, для другого — „вы не смогли правильно построить песочницу, поэтому она, конечно, сбежала“. Не нужно гадать, на чьей я стороне в этом споре». Уильямс сказал, что если инцидент действительно окажется результатом сбоя контроля в OpenAI, это вызовет серьезные проблемы с доверием к организации в будущем. Майк Перес, главный специалист по технологической безопасности в Ekco, дублинском поставщике управляемых услуг безопасности (MSSP), в некоторой степени поддержал это мнение, заявив, что если передовая лаборатория не может удержать передовые модели в их рамках, то организации, внедряющие те же инструменты, в конечном итоге берут на себя риск. «Когда компания, создавшая технологию, не может полностью её контролировать, каждый бизнес должен честно оценивать свою собственную уязвимость. Hugging Face выжила, потому что была отлична в основах. Обнаружение выявило аномалию. Специалисты по реагированию были вызваны в течение нескольких минут. Учётные данные были заменены, а первопричина устранена», — сказал Перес. «Теперь это планка, [но] большинство британских компаний среднего размера находятся значительно ниже неё. Они достаточно велики, чтобы быть привлекательной целью для атаки, но слишком малы, чтобы иметь выделенную команду безопасности — и они внедряют те же инструменты ИИ, которые только что обогнали своих создателей. «Путь атаки не был новым. Выполнение кода, кража учётных данных, боковое перемещение. ИИ изменил скорость, а не сценарий. Бизнес, который выживет, будет беспощаден к основам — знать, что они запускают, работать в модели zero-trust, расставлять приоритеты и устранять уязвимости, контролировать доступ, реагировать за часы, а не недели. Окно для ошибок в этом только что захлопнулось», — сказал он.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Alex Scroxton
