Похоже, агенты OpenAI наводнили RubyGems вредоносными пакетами, что стало очередным событием в почти ежедневном потокенеконтролируемых ИИ-моделей, занимающихся потенциально незаконной деятельностью, в то время как их создатели сталкиваются с растущими вопросами об ответственности за плохое поведение своих агентов.

Рой агентов начал загружать вредоносное ПО в реестр пакетов Ruby 5 мая и заполнил RubyGems более чем 2000 вредоносными пакетами между 11 и 12 мая, что в конечном итоге вынудило администраторов отключить регистрацию новых пользователей на четыре дня.

«Мы полагаем, что они были созданы внутренними агентами OpenAI», — заявили в пятницу исследователи Спенсер Киттс, Томас Ларсен и Сидни Фон Аркс.

Представитель OpenAI подтвердил, что компания расследует инцидент. «По результатам нашего анализа, наши агенты использовали платформу RubyGems для доступа в Интернет с целью выполнения неопасных задач и получения общедоступной информации», — заявил представитель. «Мы продолжим расследование в рамках нашего более широкого анализа деятельности агентов во время обучения и оценки».

Ранее в этом месяце та же троица исследователей заявила, что обнаружила доказательства того, что рой OpenAI захватил немецкую вики за несколько месяцев до того, как агенты ИИ атаковали Hugging Face.

Как и в случае с инцидентом с немецкой вики, агенты, участвовавшие в злоупотреблении RubyGems, идентифицировали себя как представители OpenAI. Сотни гемов содержали «oai» в своем названии, а 15 установили «oai» в качестве автора. По крайней мере, еще один использовал «openaixyz65947@gmail.com» в качестве контактного адреса электронной почты.

Также, по данным исследователей, более 100 вредоносных пакетов следовали одному и тому же пути эксплуатации: отправляли вредоносный пакет в общедоступную библиотеку и инициировали запрос документации, чтобы заставить RubyDoc.info собрать пакет.

Затем агенты OpenAI использовали скрипт сборки для запуска кода на RubyDoc.info, сканировали целевые веб-сайты и крали данные с сервера документации, публикуя другой гем в общедоступном реестре пакетов языка Ruby, сообщили исследователи.

«Кроме того, получив произвольное удаленное выполнение кода (RCE) в среде сборки, ИИ иногда использовали ее для попыток кражи ключей API других пользователей (хотя мы не уверены, удалось ли им это или нет)», — написали они.

Агентный рой также обнаружил и попытался использовать уязвимость кэширования CDN нулевого дня 12 мая, которая не была обнаружена администраторами до июля. Уязвимость позволила бы ИИ красть ключи API пользователей. По крайней мере, шесть вредоносных пакетов, включая один под названием slnleaker5, использовали эту уязвимость, сообщили исследователи.

Большая часть активности агентов пришлась на май. После того как команда RubyGems добавила меры безопасности, такие как требование подтвержденных адресов электронной почты для новых регистраций, агенты OpenAI возобновили свои усилия 18 июня и опубликовали 83 гема за три часа.

Хотя исследователи отмечают, что они не знают, использовал ли рой общую доску сообщений для связи, как это делали агенты во время вторжений в Hugging Face, они «подозревают», что боты координировались и, вероятно, имели какой-то способ обмена информацией.

Исследователи также заявили, что «неясно», узнала ли OpenAI и когда именно, что ее агенты использовали RubyGems для сбора общедоступных данных. «Похоже, что либо их системы мониторинга не смогли это отследить, либо они не раскрыли это», — написал трио.

Похоже, это касается и других недавних взломов, совершенных агентами, которые, как выяснилось, вышли из-под контроля во время тренировочных упражнений OpenAI.

Справедливости ради стоит отметить, что боты Anthropic также получили несанкционированный доступ к сторонним системам за последние несколько месяцев, не будучи обнаруженными в то время своими кураторами.

В свете все более апокалиптических предупреждений об ИИ — или, возможно, в собственной попытке захвата регулирования — несколько крупнейших руководителей отрасли в выходные поддержали коллективное замедление обучения и разработки ИИ, после того как генеральный директор Anthropic Дарио Амодеи предупредил, что будущие агенты могут стать «способными захватить весь Интернет с помощью постоянной ботсети».

Тем временем президент Трамп заявил в Truth Social: «Единственный контроль или «ограничения», которые нужны ИИ, — это сильный и умный (с высоким IQ!) президент», и утверждал, что его администрация остановила «ИИ-«людей» от совершения плохих или потенциально плохих «дел»».®

Примечание редактора: Эта статья была дополнена после публикации комментарием OpenAI.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.