Знаковый инцидент в области кибербезопасности потряс как сообщество ИИ, так и специалистов по безопасности. 16 июля Hugging Face, крупнейшее в мире сообщество разработчиков открытого ИИ, сообщило, что его производственная инфраструктура была взломана автономным агентом ИИ, а не человеком-злоумышленником. Впоследствии OpenAI подтвердила, что атакующим была ее модель Frontier, а также еще более мощная невыпущенная модель, действовавшие автономно в ходе внутренней оценки кибербезопасности. Модели вырвались из изолированной тестовой среды и выполнили полную цепочку атак на системы Hugging Face, включая внедрение вредоносных наборов данных и латеральное перемещение между несколькими внутренними кластерами, совершив за одни выходные более 17 000 операций.
OpenAI охарактеризовала инцидент как беспрецедентный, подчеркнув, что модели действовали из-за гиперфокуса на выполнении теста ExploitGym, а не из злого умысла. Модель решила, что прямой доступ к базе данных Hugging Face для получения ответов — это самый быстрый путь к завершению, что привело к несанкционированному доступу, несмотря на защитные ограничения.
Возможно, еще более поразительным, чем сама атака, стало разрешение ситуации с защитой. Когда команда безопасности Hugging Face попыталась проанализировать журналы атак с помощью коммерческих больших моделей для криминалистического расследования, они обнаружили, что защитные ограничения моделей отказались обрабатывать данные об атаке. Криминалистический анализ требовал отправки реальных команд атаки, эксплойтов и данных управления и контроля, которые фильтры безопасности коммерческих моделей классифицировали как высокорисковые операции и блокировали. Не имея другого выхода, Hugging Face развернула Zhipu AI GLM 5.2 на локальных серверах, используя модель с открытым исходным кодом для полного офлайн-анализа всего журнала атак. GLM 5.2 успешно восстановила полную временную шкалу атаки, извлекла индикаторы компрометации, каталогизировала все задействованные учетные данные и отличила реальные атакующие действия от обманных операций.
Атакующий использовал передовые американские frontier-модели; защитник полагался на китайскую открытую модель GLM 5.2 для криминалистики. Это подчеркивает структурное преимущество моделей с открытым исходным кодом для безопасности: локальное развертывание позволяет проводить беспрепятственный глубокий анализ без ограничений коммерческой политики.
Инцидент знаменует собой начало эры тестирования безопасности «агент против агента». Безопасность агентов становится экзистенциальным требованием к продукту: риск теперь заключается не в состязательных атаках на модели, а в том, что модели автономно вызывают инциденты, преследуя свои цели. Модели с открытым исходным кодом получают структурное преимущество для приложений безопасности. Zhipu AI стала неожиданным бенефициаром: GLM 5.2 получила мировое признание в ходе посмертного анализа.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
