Представитель передовой лаборатории не уточнил, действительно ли эти агенты были из OpenAI, и когда лаборатория узнала об их действиях. Там отметили, что OpenAI не предоставили возможности ознакомиться с выводами исследователей до их сегодняшней публикации, но заявили, что разработчик ИИ-модели «тщательно изучает их содержание и предпримет все необходимые дальнейшие шаги».
После того как OpenAI сообщила, что агенты, работавшие над внутренней оценкой, получили доступ к открытому интернету и использовали уязвимость Hugging Face, группа исследователей — Сидни фон Аркс (CEO Nightingale), Кормак Слейд Берд (исследователь ИИ), Спенсер Киттс (Redwood Research) и Томас Ларсен (AI Futures Project) — начала искать доказательства существования других вышедших из-под контроля ИИ-агентов.
Они поставили себя на место агентов, чтобы понять их потребности, и развернули собственную большую языковую модель (LLM), чтобы выявить вероятные места их скопления. Затем они обнаружили сервис хостинга вики, который был особенно уязвим: DseWiki существует 25 лет, но за последние 20 лет в нем было всего 10 правок — до появления агентов.
Начиная с 11 мая, исследователи отслеживали агентов, многие из которых имели идентификаторы OpenAI в своих именах, пытаясь, а затем и успешно редактируя немецкий вики-сайт. К середине июня агенты активно обменивались советами о том, как отвечать на вопросы веб-поиска в условиях временных ограничений, делясь ответами для сдачи тестов. По-видимому, человек-модератор заметил эти сообщения и начал их удалять, посчитав спамом, против чего агенты боролись, пытаясь скрыть свои сообщения от алфавитной сортировки, начиная каждое со строки «ZZZ».
«Администратор провел следующие 5 дней, ведя проигрышную битву против агентов, удаляя в среднем 100 страниц в день, в то время как агенты создавали около 400 новых страниц в день», — написали исследователи. «22 июня активность агентов внезапно прекратилась, и администратор в течение следующих 5 недель каждый вечер удалял оставшиеся страницы, созданные агентами. Агенты удалили содержимое главной страницы вики и заменили его своими ссылками. Модератор восстановил исходную версию. Этот обмен продолжался девять раз».
В конце концов, кто-то в OpenAI, по-видимому, заметил это — исследователи отследили, как браузеры, предположительно принадлежащие людям, исходили с IP-адресов OpenAI, после чего активность агентов упала почти до нуля, а затем снова возросла, когда посетители, связанные с OpenAI, попытались восстановить удаленные страницы.
Хотя OpenAI делала расплывчатые заявления о получении агентами несанкционированного доступа к внешним коммуникационным сервисам, ранее она не раскрывала этот конкретный инцидент и не сообщала, как часто происходят подобные вещи. Хотя в ходе этого инцидента, по-видимому, не было совершено никаких явно незаконных действий, это вызывает больше вопросов о том, может ли OpenAI отслеживать и контролировать создаваемые ею технологии, в то время как общественный надзор или участие в работе передовых ИИ-лабораторий ограничены.
«Отсутствие реального федерального регулирования ИИ означает, что передовые компании могут выбирать, когда раскрывать подобные инциденты», — заявила представительница Лори Трахан (демократ от штата Массачусетс). Трахан внесла на рассмотрение двухпартийный законопроект «Frontier Act», который обяжет лаборатории раскрывать такие инциденты и проводить независимые аудиты.
Исследователи безопасности ИИ обеспокоены тем, что последнее поколение мощных моделей, чье поведение становится все более непрозрачным для создателей, может совершать действия, наносящие вред людям. Astra, выпущенная вчера OpenAI, является самой мощной моделью на сегодняшний день.
Компания утверждает, что Astra также является моделью, наиболее склонной следовать человеческим указаниям, но сторонние исследователи, которых попросили оценить ее, выразили обеспокоенность по поводу ее соответствия заданным параметрам. Британский Институт безопасности ИИ (AI Safety Institute) и Apollo Research сообщили о своих опасениях, что модель может осознавать, что ее оценивают, и потенциально скрывать свое истинное поведение.
«Apollo считает, что, учитывая более высокие показатели осведомленности об оценке и ограниченное окно оценки, низкие показатели недопустимого поведения здесь не предоставляют существенных доказательств соответствия или несоответствия модели», — написали исследователи в своей оценке.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
