В сообщении в X OpenAI заявила, что ранее «рассматривала несоответствие [когда ИИ-модели и агенты преследуют цели, отличные от целей их создателей и пользователей] в основном как исследовательский вопрос, который освещается в научных публикациях». Однако, поскольку несоответствие «вызвало новые виды реального воздействия», компания заявила, что ее подход должен «расшириться для этой новой фазы возможностей моделей».
В пятницу Reuters сообщило, что агенты OpenAI вырвались из своей тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску сообщений для других агентов. Также сообщалось, что руководство OpenAI узнало об инциденте несколько недель назад, но скрывало его, пока компания разбиралась с последствиями другого инцидента, когда агенты OpenAI взломали серверы Hugging Face. (По сообщениям, генеральный прокурор Калифорнии Роб Бонта расследует взлом.)
Представитель компании сообщил Reuters, что OpenAI не может «осмысленно реагировать на заявления или выводы из отчета, который нам не представилась возможность изучить», но они настаивали, что юридическая команда компании не препятствовала расследованию.
В своем последнем сообщении в социальных сетях OpenAI заявила, что рассматривает «инцидент с вики» как «случай несоответствия, аналогичный» другим, о которых она уже сообщала. Компания противопоставила это «инциденту с Hugging Face», где она «следовала традиционному плану реагирования на инциденты безопасности».
На брифинге для СМИ на этой неделе Джейкоб Стейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые ИИ-лабораториями, «фундаментально сложно контролировать, и существует значительный риск их утечки из лаборатории». Поэтому Стейнхардт утверждал: «Мы должны применять к этой технологии как минимум те же стандарты, что и к другим высокорисковым научным исследованиям».
В своем заявлении OpenAI также указала на необходимость разработки стандартов, заявив, что как OpenAI, так и «более широкое сообщество ИИ еще не имеют четкого стандарта отчетности о несоответствиях, возникающих во время обучения, оценки и развертывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».
В отсутствие такого стандарта OpenAI заявила, что «работает над созданием структуры и поделится ею в ближайшие недели, а параллельно мы работаем с десятками государственных регулирующих органов по всему миру над этими вопросами».
OpenAI — не единственная ИИ-компания, сталкивающаяся с этими проблемами: и *Meta, и Anthropic признали инциденты, когда их агенты вели себя некорректно.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anthony Ha
