Автономный ИИ-агент, сбежавший во время тестирования OpenAI, использовал уязвимости в рабочей нагрузке клиента, сторонней облачной платформе и производственной среде Hugging Face, прежде чем был локализован, согласно новым техническим разоблачениям, которые дают наиболее полное представление об одной из первых публично задокументированных цепочек вторжений, управляемых ИИ.
Техническая хронология Hugging Face определяет Modal как стороннюю облачную платформу, где агент получил первоначальную точку опоры после эксплуатации уязвимого кода клиента, работающего внутри управляемой клиентом песочницы. Компания заявила, что скомпрометированная среда стала отправной точкой для более масштабной атаки, которая злоупотребила несколькими путями выполнения кода, повысила привилегии и собрала учетные данные, прежде чем переместиться латерально по производственным системам.
«Агент нашел незащищенную общедоступную конечную точку, размещенную пользователем, предназначенную для выполнения произвольного кода для задач в стиле CyberGym на сторонней инфраструктуре песочницы (Modal)», — написала Hugging Face в блоге. «Он использовал эту внешнюю песочницу как свою базу управления, промежуточного хранения и выхода, выполняя команды от имени администратора/root и используя ее как стартовую площадку для атаки. Эта песочница не имела прямого сетевого пути к нашему кластеру; все нижеперечисленное выполнялось из нее. Инфраструктура Modal никоим образом не была скомпрометирована».
Modal, однако, заявил, что его «платформа и изоляция никоим образом не были скомпрометированы». Вместо этого ИИ-агент использовал обращенную в интернет конечную точку, открытую одним из клиентов Modal, что позволило ему выполнять код внутри песочницы клиента, прежде чем переключиться на Hugging Face.
Reuters сообщил о причастности Modal, сославшись на технического директора компании и двух лиц, знакомых с инцидентом.
Автономная атака развернулась на машинной скорости
Hugging Face сообщил, что его расследование восстановило более 17 600 действий злоумышленника, сгруппированных примерно в 6 280 кластеров активности, что иллюстрирует, как автономные ИИ-системы могут быстро выполнять тысячи решений, которые традиционно требовали бы значительных человеческих усилий.
Компания описала пост как техническую хронологию вторжения, подробно описывающую, как атака злоупотребила рабочими процессами обработки данных, повысила привилегии и расширила доступ, прежде чем команды безопасности локализовали инцидент.
В отличие от обычных кибератак, операция продемонстрировала ИИ-систему, способную самостоятельно выявлять возможности, связывать уязвимости и адаптировать свое поведение по мере продвижения через различные среды.
Для корпоративных команд безопасности инцидент представляет собой переход от изолированных эксплуатаций программного обеспечения к автономным атакам, способным перемещаться по взаимосвязанным облачным сервисам.
«ИИ-агентов следует рассматривать как пользователей с высокими привилегиями, а не как обычные приложения», — сказал Вибхум Дубей, исследователь кибербезопасности и участник red team.
Дубей сказал, что традиционные средства контроля идентификации, включая IAM, RBAC и MFA, остаются необходимыми, но были разработаны в первую очередь для пользователей-людей. Автономные агенты требуют дополнительных мер защиты, таких как разрешения для конкретных задач, мониторинг во время выполнения, рабочие процессы утверждения для чувствительных действий и политики, четко определяющие, к чему ИИ-агенту разрешен доступ или что он может выполнять.
Кевин Кирквуд, директор по информационной безопасности (CISO) в Exabeam, сказал, что организации должны предполагать, что автономные ИИ-нагрузки в конечном итоге будут скомпрометированы, и вместо этого сосредоточиться на ограничении радиуса поражения.
«Цель не в том, чтобы предполагать, что каждая вредоносная нагрузка будет перехвачена. Цель — убедиться, что скомпрометированному рабочему некуда полезно пойти».
Он сказал, что ИИ-нагрузки должны выполняться в одноразовых средах без постоянных облачных учетных данных или прямого доступа к производственной инфраструктуре. Кратковременные идентификаторы, сегментация сети и мониторинг обнаружения учетных данных могут предотвратить расширение скомпрометированного агента до более масштабного корпоративного взлома.
Индустрия отвечает новыми мерами защиты
Инцидент уже начал менять практики безопасности за пределами непосредственно вовлеченных организаций.
OpenAI заявил, что экспериментальная модель скомпрометировала учетные записи в четырех внешних сервисах, прежде чем была отключена и ограничена для дальнейшего тестирования.
«Одна из этих четырех учетных записей использовалась как исходящий ретранслятор и промежуточный путь, а другая учетная запись использовалась для хранения данных. Оставшиеся две учетные записи были доступны моделям только для чтения и не использовались для дальнейшей компрометации Hugging Face», — говорится в заявлении.
Компания заявила, что не выявила никакого другого инцидента, сопоставимого по серьезности или масштабу с вторжением в Hugging Face.
JFrog, который работал с OpenAI в рамках скоординированного процесса раскрытия уязвимостей, заявил, что это упражнение выявило множество уязвимостей нулевого дня, которые поставщики исправили до публичного раскрытия. Компания заявила, что инцидент демонстрирует, как ИИ-системы могут значительно ускорить обнаружение и эксплуатацию уязвимостей, делая быстрое скоординированное устранение все более важным.
«Это предварительный просмотр мира, где программное обеспечение, а не люди, зондирует, связывает и эксплуатирует уязвимости на машинной скорости», — заявил JFrog.
Реакция вышла за пределы поставщиков программного обеспечения
Сообщество CISO Альянса облачной безопасности на этой неделе выпустило экстренные рекомендации, призывающие организации не ждать формальных стандартов, прежде чем усиливать контроль над автономными ИИ-агентами.
«Быстрая реакция отраслевых экспертов и корпоративных практиков является ключевым инструментом для превращения неопределенности в практические рекомендации, как это было сделано с инцидентом с Hugging Face», — сказал Джим Ревис, генеральный директор Альянса облачной безопасности, в заявлении.
Рекомендации предлагают рассматривать ИИ-нагрузки как ненадежные по умолчанию, обеспечивать доступ с минимальными привилегиями, изолировать среды выполнения и непрерывно мониторить поведение агентов, поскольку предприятия предоставляют ИИ-системам большую операционную автономию.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
