Это тревожный инцидент для всех, кто хоть немного обеспокоен возможностью выхода ИИ-моделей из-под контроля. С момента события прошло всего несколько дней, но уже появилось множество предсказаний о новой парадигме кибербезопасности, в которой ИИ-модели запускают настолько мощные атаки, что защищаться от них могут только другие ИИ-модели.
Но, несмотря на оправданную тревогу, парадигма, возможно, изменилась не так сильно, как кажется. Эксперты, с которыми поговорил TechCrunch, подчеркнули, что агент OpenAI в значительной степени действовал как человек — с некоторыми оговорками — и что лучше реализованные традиционные методы защиты могли бы помочь остановить атаку. Короче говоря, у нас уже могут быть инструменты для защиты от такого рода атак; мы просто не используем их должным образом.
Hugging Face в своем отчете об инциденте высказал аналогичную точку зрения, заявив, что уязвимости, использованные в атаке, «были знакомы» и «способный человек-атакующий мог бы найти и использовать те же недостатки».
Кайл Райан, руководитель отдела исследований и разработок в Pensar, стартапе, разрабатывающем непрерывные ИИ-агенты для взлома, и Влад Ионеску, сооснователь и технический директор RunSybil, стартапа, создающего ИИ-охотников за багами, согласились и сообщили TechCrunch, что методы, использованные в атаке, были бы теми же, что применяются человеком или группой людей — red teamers. То есть хакерами, которым поручено атаковать систему, чтобы помочь компании-владельцу улучшить защиту.
Совершенно нечеловеческими были скорость, масштаб и неумолимость атаки. Как объяснил Hugging Face, агент OpenAI выполнил 17 600 действий за четыре с половиной дня: он проник в систему, провел разведку, украл пароли и код, а также перемещался по инфраструктуре компании.
«Что впечатляет, так это автономность и выносливость, — сказал Райан. — Именно такая устойчивая, адаптивная операция больше всего бросается в глаза».
С другой стороны, учитывая огромное количество действий в течение нескольких дней, агент OpenAI был «безумно шумным», как выразился Райан. В отличие от человека, который мог бы действовать скрытнее, агент производил много шума, что должно было раньше вызвать срабатывание защиты Hugging Face и, в идеале, привести к вмешательству человека и остановке атаки.
«Я бы назвал это скорее провалом защиты, чем исключительно хорошей атакой. Инструменты Hugging Face на самом деле объединили активность в сигнал атаки, но не смогли повысить критичность и вызвать дежурную команду, что стоило им времени, — объяснил Райан. — Затем людям все равно пришлось осознать серьезность и отреагировать».
Джеймисон О’Райли, основатель компании по кибербезопасности Dvuln, пришел к тому же выводу в посте на X, анализирующем отчет Hugging Face.
«Это и есть тот самый разрыв между наблюдением и остановкой, — написал О’Райли. — Система увидела атаку и даже поняла ее, но ничто не превратило это понимание в быстрое вмешательство».
Райан объяснил, что правильно реализованные методы, такие как эшелонированная защита (defense-in-depth) — стратегия, использующая несколько уровней мер кибербезопасности, — должны были дать Hugging Face несколько шансов обнаружить атаку.
«Сильная современная программа безопасности по-прежнему должна быть способна прервать такую атаку в нескольких точках с помощью эшелонированной защиты, минимальных привилегий, сегментации, хорошего обнаружения, надежной эскалации и непрерывного наступательного тестирования для выявления пробелов», — пояснил Райан.
Как выразился О’Райли, «ничто из этого не является экзотическим, и ничто из этого не зависит от того, что атакующий — ИИ», учитывая, что использованные в атаке методы были «старыми».
Что в некотором смысле зависело от того, что атакующий был ИИ, так это то, что агенту OpenAI не было дано указание действовать скрытно. «Агент не был небрежным. У него просто не было причин вести себя тихо. Никто его об этом не просил. Цель состояла в том, чтобы хорошо выполнить задачу», — сказал Нико Вайсман, главный специалист по информационной безопасности в XBOW, стартапе, создающем ИИ-охотников за багами.
Вайсман также указал, что самой большой ошибкой Hugging Face было то, что один единственный украденный пароль дал агенту OpenAI высокие привилегии в нескольких его системах.
При всем при этом, как гласит старая поговорка, атакующим нужно победить только один раз, и защищаться от хакеров любого рода непросто.
«Hugging Face мог бы сделать больше для обнаружения, но, по справедливости, не все организации справляются с этим хорошо, — сказал Винсент Ю, управляющий директор SYON Security. — Непросто размещать инфраструктуру и выживать как бизнес в 2026 году. Хакеры повсюду».
По словам Влада из RunSybil, который сообщил, что в прошлом занимался реагированием на инциденты в Mandiant и Meta*, Hugging Face, похоже, принял «разумные меры, учитывая их понимание возможностей моделей».
«Очень трудно классифицировать, что является вредоносным действием, на которое следует обратить внимание, а что — просто выполнением работы, — сказал Влад. — Один только объем не обязательно является тревожным сигналом».
Дэн Гвидо, генеральный директор исследовательской компании по кибербезопасности Trail of Bits, рассказал TechCrunch, что OpenAI заслуживает некоторой критики за то, что не осознал, что атака продолжалась несколько дней, в то время как Hugging Face заслуживает похвалы за то, что в конечном итоге самостоятельно обнаружил атаку.
«Раньше сложной частью было распознавание сложной атаки, но теперь сложная часть может заключаться в том, чтобы выделить реальную атаку из шума, который создает атакующий на своем пути, — сказал Гвидо. — Никто не будет вручную читать 17 000 восстановленных действий, чтобы разобраться, что произошло, поэтому Hugging Face пришлось создавать инструменты просто для восстановления временной шкалы».
И для этого компании понадобился свой собственный ИИ. Hugging Face сообщил, что ему пришлось использовать открытую модель GLM 5.2 от китайской компании Z.ai после того, как ему было заблокировано использование передовых моделей из-за их защитных механизмов, которые, как выразилась компания, «не могут отличить реагирующего на инцидент от атакующего».
На этом этапе Hugging Face объединил ИИ и людей для расследования хакера на базе LLM от OpenAI. Это относительно новая ситуация. Но помимо этого, инцидент показывает, что старомодные концепции и методы защитной кибербезопасности все еще могут во многом помочь защититься от хакеров-ИИ и бороться с ними.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lorenzo Franceschi-Bicchierai
