Рой из сотен агентов OpenAI загрузил «вредоносные пакеты» в RubyGems и попытался украсть API-ключи, сообщила в пятницу служба хостинга пакетов сообщества Ruby.
OpenAI подтвердила часть информации, заявив: «Наши агенты использовали платформу RubyGems для доступа в Интернет с целью выполнения безобидных задач и получения общедоступной информации. Мы продолжим расследование в рамках нашего более широкого обзора активности агентов во время обучения и оценки».
Цели агентов были неясны, как и то, занимались ли они роевой активностью в исследовательских целях, и даже были ли они явно отправлены сотрудниками OpenAI, но анализ, опубликованный RubyGems, убедительно предполагает злой умысел.
«Как только ИИ получали произвольное удаленное выполнение кода (RCE) в среде сборки, они иногда использовали эту среду для попытки кражи API-ключей других пользователей, хотя мы не уверены, удалось ли им это», — говорится в сообщении RubyGems. «Агенты явно считали то, что они делали, взломом. Агенты использовали имена файлов, такие как hack[.]rb, evil[.]rb, inject[.]rb, exploit[.]rb и ssrf[.]rb. SSRF означает «подделка запроса на стороне сервера» (Server-Side Request Forgery) — тип уязвимости безопасности. Они также давали пакетам броские названия, такие как pwnp999, exfiltestwand3, hacksvn1778554764 и lambproxyhackabcxyz. В ходе кампании были разбросаны комментарии вроде «# вредоносный зонд» или «# взлом».
В сообщении также говорится, что агенты пытались обмануть защитные системы.
«В некоторых случаях агенты пытались действовать скрытно. Мы обнаружили несколько пакетов, которые деактивировали себя, чтобы скрыть свою полезную нагрузку в следующей версии», — говорится в сообщении. «Они загрузили пакет с комментарием «# отключить зло в следующей версии и повысить версию», который после выполнения модифицировал пакет, удаляя изначально вставленный вредоносный код».
OpenAI должна нести ответственность
Аналитики и консультанты заявили, что атака вызывает беспокойство, поскольку, если подобные действия будут происходить достаточно часто, это может замедлить реагирование центров безопасности операций (SOC).
Надер Хенейн, аналитик Gartner уровня VP, заявил, что он крайне обеспокоен грядущей тенденцией роевых атак ботов.
«То, что мы знаем, это то, что это стандартный тип атаки, теперь усиленный ИИ, который станет обычным явлением в ближайшие месяцы», — сказал Хенейн. «Это скорее не вышедший из-под контроля агент, а злоумышленник, потенциально использующий скомпрометированные учетные данные, который вооружает рой агентов, подобно тому, как злоумышленники использовали скомпрометированные конечные точки для проведения DDoS-атак на протяжении большей части последнего десятилетия. Разница здесь в том, что это не индивидуально скомпрометированные боты. Защитные механизмы OpenAI не должны были допустить этого».
Фрэнк Диксон, ведущий аналитик Dickson Research, добавил: «OpenAI должна нести ответственность. Они хотят создать «монстра доктора Франкенштейна», но, похоже, не хотят брать на себя вину за последствия. OpenAI не отрицала, что ее агенты использовали RubyGems. Они оспаривают слово «вредоносный» и называют эту деятельность «безобидной», одновременно признавая, что за тот же период недель их агенты получили доступ к кластерному администрированию в Hugging Face и скомпрометировали учетные записи в четырех других сторонних сервисах. Эти две характеристики трудно согласовать. Такое поведение по-прежнему неприемлемо».
Однако Эрик Авакян, технический консультант Info-Tech Research Group, подчеркнул, что не обязательно, что OpenAI запустила этих агентов с явными инструкциями. Агенты могли легко выбрать этот деструктивный путь самостоятельно.
«Агенты OpenAI абсолютно могли действовать автономно. Мы уже видели, что способные агенты могут выбирать различные неожиданные пути для выполнения задачи, когда у них достаточно автономии и доступа», — сказал он. «Человек мог санкционировать оценку или предоставить агентам доступ к инструментам, но это не означает, что человек одобрил каждое их последующее действие».
Может замедлить реагирование SOC
Диксон добавил, что опасается, что конечный риск кибербезопасности заключается в том, что сотрудники SOC столкнутся с таким количеством подобных атак, что у них начнется усталость от оповещений.
«Если поставщик, чьи агенты совершили это, снижает уровень опасности, то у аналитика SOC, читающего заголовки вместо основного отчета, есть все основания недооценить ситуацию», — сказал Диксон. «Операции безопасности не соответствуют своему назначению, если они работают на предположении, что метка агента ИИ делает вторжение менее реальным. Украденный API-ключ или путь удаленного выполнения кода ведут себя одинаково, независимо от того, является ли действующим лицом группа программ-вымогателей или неконтролируемая модель, преследующая сигнал вознаграждения».
Майк Уилкс, корпоративный CISO в Aikido Security, также отметил, что тот факт, что агенты самоидентифицировались как OpenAI, ничего не значит, поскольку все агенты могут убедительно притворяться, представляя кого угодно, особенно если они думают, что это замедлит реакцию, даже на короткий период.
«Строка User-Agent — это бирка, написанная посетителем, а не паспорт», — сказал он. «Если инструменты SOC начнут подавлять оповещения, потому что трафик выдает себя за агента OpenAI, Anthropic, Google или другого ИИ, злоумышленники немедленно примут эти личности, если они еще этого не сделали».
Таким образом, сказал он, «если человек-исследователь или сотрудник делегирует полномочия автономному агенту, должна существовать проверяемая цепочка, показывающая, кто делегировал эти полномочия, какую организацию они представляют, какой агент был авторизован, какой объем полномочий ему был предоставлен и на какой период времени».
План на случай подобных атак
Консультант Брайан Левин, исполнительный директор FormerGov, призвал CISO предвидеть больше подобных атак и соответствующим образом планировать.
«Организации, которые зависят от открытого исходного кода, а это почти все из них, должны считать реестры активным полем боя [и должны] тесно ротировать и ограничивать область действия API-ключей, отслеживать аномальные публикации пакетов и доступ к учетным данным, а также закреплять и проверять зависимости, вместо того чтобы доверять имени», — сказал он. «Экономика изменилась. Автоматизация позволяет злоумышленнику дешево пробовать тысячи вариаций, поэтому защитники должны максимально уменьшить выгоду от любого отдельного успеха».
Джастин Грейс, генеральный директор консалтинговой фирмы Acceligence, согласился.
«Если законная исследовательская деятельность в области ИИ все чаще генерирует поведение, похожее на враждебное сканирование, эксплуатацию, доступ к учетным данным или сохранение присутствия, команды SOC могут привыкнуть относиться к этим сигналам как к шуму», — сказал Грейс. «Злоумышленники поймут это очень быстро. Опасной фразой станет «это, вероятно, просто агент ИИ».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
