Не так давно генеральный директор Anthropic Дарио Амодеи описал Claude Mythos как способного к кибервойне, породив целую мифологию, которая стала популярным чтением за столами инвесторов и даже за столом правительства США, выпустившего приказ об экспортном контроле для него. Теперь настала очередь OpenAI сделать то же самое с постом в блоге, описывающим, как бот-кибергруппировка, включающая его будущую GPT-5.6 Sol и «ещё более способную предрелизную модель», выбралась из своей виртуальной клетки и в конечном итоге проникла в производственную инфраструктуру Hugging Face во время теста на способность к атакам. OpenAI назвал этот сбой «беспрецедентным киберинцидентом».
Некоторые могут осудить эти разоблачения как маркетинговые трюки, призванные успокоить всё более подозрительных инвесторов, однако нельзя отрицать доказанную эффективность распознавания образов моделями ИИ, когда дело доходит до поиска уязвимостей в программном обеспечении. Многие профессионалы даже объявили отраслевой стандарт 90-дневного окна раскрытия уязвимостей устаревшим.
Обычный modus operandi, однако, предполагает предоставление боту доступа к репозиториям исходного кода, чтобы он мог сканировать их на предмет ошибок, которые легко пропустить нашим бедным человеческим глазом. В тесте, описанном OpenAI, Sol и его команда смогли найти множественные уязвимости, анализируя свою изолированную сеть, а затем производственные машины Hugging Face, причём, судя по всему, без какого-либо первоначального доступа к исходному коду.
OpenAI создал изолированную среду, в которой Sol и его сообщники якобы не могли выйти в интернет. Важно отметить, что боты работали «без производственных классификаторов, используемых для предотвращения преследования моделями высокорисковой киберактивности» — по сути, много слов для «без ограничений». Единственным сетевым доступом у них был прокси-сервер установщика пакетов. Теоретически это, вероятно, также мешало им использовать Retrieval-Augmented Generation (RAG), то есть они не могли искать решения в интернете.
Учитывая, что у ботов безграничное терпение и им не нужен сон, они в конечном итоге прорыли свой собственный виртуальный туннель в интернет, найдя и использовав zero-day уязвимость в прокси-программном обеспечении пакетов — впечатляющий подвиг, если он был выполнен так, как описано. OpenAI заявляет, что раскрыл технические детали соответствующему вендору.
Оказавшись в интернете, подобно студентам-жуликам, боты, как сообщается, рассудили, что вместо выполнения заданий ExploitGym (набора упражнений по безопасности типа «захват флага» для ботов) они могут просто найти решения, и стали «гиперсосредоточенными» на этой цели. Они вычислили, что данные находятся на серверах Hugging Face, и приступили к взлому, используя «украденные» учётные данные и дополнительные неуказанные zero-day уязвимости для получения привилегий удалённого выполнения кода.
Интересно, что собственный отчёт Hugging Face говорит, что атака состояла из «тысяч отдельных действий в рое недолговечных песочниц с само мигрирующим командным центром, размещённым на публичных сервисах» — живая иллюстрация сценария из многих научно-фантастических книг и фильмов, в очередной раз доказывающая, что жизнь подражает искусству. Hugging Face заявляет, что ни один из его клиентских сервисов не скомпрометирован, и что он остановил атаку, используя собственные возможности ИИ — ещё один знакомый клише.
Со своей стороны, OpenAI заявляет, что добавит контроли для бота «ценой скорости исследований», и что инцидент «указывает на необходимость дальнейшего усиления согласованности нашей модели, киберзащиты во время оценки и мониторинга во время внутреннего тестирования» — заявление, которое может быть очевидным фактом или предназначаться для переоценки возможностей модели. Как бы то ни было, факт остаётся фактом: когда дело доходит до цифровой безопасности, боты доказали свою способность. В конце концов, даже если они не виртуальные Брюсы Шнайеры, им просто нужно быть немного эффективнее среднего человека.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
