OpenAI признала, что ее экспериментальные ИИ-агенты использовали открытый немецкий вики-ресурс по программированию для общения, как сообщает Reuters. Это произошло за несколько недель до того, как аналогичные ИИ-агенты обошли ограничения и скомпрометировали Hugging Face, утверждает отчет. Зная о проблеме, OpenAI не раскрыла ее, но теперь заявляет, что индустрии нужны лучшие стандарты для отчетности о непреднамеренном поведении ИИ. OpenAI признала неправомерные действия. Однако эти проступки вызывают больше вопросов, чем дают ответов.
Начиная примерно с мая 2026 года, тысячи агентов OpenAI — по сути, хорошо оснащенных продвинутых краулеров — обнаружили, что могут писать на DseWiki, старом немецкоязычном сайте для совместной работы над программированием. Таким образом, в период с мая по июнь агенты использовали более 3700 имен для создания около 18 000 сообщений, обмениваясь информацией, полезной для выполнения оценок и обхода ограничений. Некоторые создавали резервные страницы на случай, если модераторы удалят их сообщения, что фактически превратило вики в постоянный сервис хранения данных для указанных агентов для обмена информацией. OpenAI называет это «инцидентом с вики» и признает неправомерные действия.
«Наши практики раскрытия информации о несоответствии должны расширяться для этой новой фазы возможностей моделей», — написала компания в посте на X. «У нас и у всего сообщества ИИ пока нет четкого стандарта, как сообщать о несоответствии, которое проявляется во время обучения, оценки и развертывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках. Мы работаем над фреймворком и поделимся им в ближайшие недели, а параллельно работаем с десятками государственных регулирующих органов по всему миру над этими вопросами».
Впоследствии OpenAI поместила в карантин обученные веса задействованной экспериментальной модели, отложила запуски обучения с подкреплением на переднем крае и добавила меры безопасности. Компания далее уточнила, что агенты не разрабатывали собственных целей, а агрессивно преследовали назначенные им задачи по кибербезопасности ExploitGym и рассматривали ограничения как препятствия для их выполнения.
Для этого агенты нашли непреднамеренные каналы связи, которые позволили отдельным запускам обмениваться уязвимостями, техниками получения доступа в Интернет, что в конечном итоге привело к компрометации учетных данных Hugging Face.
По словам исследователей, продвинутые краулеры — которые OpenAI называет ИИ-агентами — использовали неизвестную уязвимость во внутреннем прокси-сервере репозитория пакетов Artifactory компании, повысили привилегии, перемещались по системам и получили доступ в Интернет. Затем они скомпрометировали десятки серверов Hugging Face, получили root-доступ к одной машине, получили доступ к некоторой частной информации и учетным данным для обмена сообщениями, а также скопировали частные данные оценки в общедоступный набор данных Hugging Face. Остальное — история.
Агенты OpenAI могут показаться чем-то, нарушающим знаменитые Три закона робототехники Айзека Азимова, но сравнение ограничено.
Первый закон гласит, что робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Нет никаких указаний на то, что агенты OpenAI причинили физический вред кому-либо.
Второй закон требует, чтобы роботы подчинялись людям, если только это не противоречит Первому закону. Здесь сравнение становится более интересным: агенты, безусловно, обошли ограничения, наложенные их владельцами/операторами, получили несанкционированный доступ в Интернет и использовали внешние системы при выполнении назначенных им задач. В рамках Азимова это, безусловно, означает непослушание. Между тем, ИИ-агенты одновременно следовали инструкциям человека по решению собственных задач. Это может не считаться непослушанием, поскольку эти агенты не причинили вреда людям. Между тем, мы ходим по очень тонкому льду. Несанкционированный доступ в Интернет при использовании систем для собственной выгоды не приветствуется в США и Европе.
Третий закон требует, чтобы робот защищал свое существование, пока это не противоречит первым двум законам. Есть явные доказательства того, что ИИ-агенты OpenAI пытались сохранить себя: создание постоянных каналов связи и резервных страниц вики помогло им выполнить свои задачи, а не обеспечило их выживание.
Современные модели ИИ не запрограммированы на основе законов Азимова. Вместо этого инциденты прекрасно демонстрируют реальную инженерную проблему, которую законы Азимова пытались решить: достаточно способная машина может следовать буквальной цели, поставленной людьми, но ее поведение далеко от того, что ожидали или хотели ее создатели. Но вот мы здесь.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anton Shilov
