Вся эта информация собрана в одном месте — очевидно, компания приложила немало усилий, чтобы разобраться во всем этом, — но общий вывод трудно отрицать: инциденты с вышедшими из-под контроля агентами, которые мы видели до сих пор, вероятно, лишь малая часть того, что произошло.
«Мы пытаемся найти баланс между нашим стремлением к прозрачности и получением четкого представления из петабайтов журналов активности агентов, а также работаем с затронутыми организациями», — заявил Сэм Альтман в посте, анонсирующем новый сайт. «Мы расставляем приоритеты наилучшим образом, основываясь на серьезности, и добавляем ресурсы».
Некоторые из случаев включают серьезные инциденты, в том числе ранее не разглашаемый случай побега из песочницы, который произошел 20 сентября. В ходе этого инцидента внутренняя исследовательская модель смогла связаться с внешним чат-ботом через DNS-запрос. Согласно отчету, система мониторинга зафиксировала это поведение в течение 15 минут, а сеанс был прекращен менее чем за три часа.
Другой инцидент, обнаруженный в мае, показал, как «крайне настойчивая внутренняя модель» пыталась сжульничать при решении математической задачи, получив доступ к работе другой команды. Для этого модель внедрила приватный токен GitHub, который позволил ей просматривать работу других команд — даже после того, как ей дважды было явно указано выполнять работу исключительно локально.
Пожалуй, самым тревожным открытием является возможность самовоспроизводящихся атак с внедрением промптов — это способ, которым некорректное поведение может распространяться даже после нейтрализации самой вышедшей из-под контроля модели. В контексте ИИ атака с внедрением промптов — это способ внедрения новых инструкций, которые не были даны исходным пользователем.
В приведенном OpenAI примере агент получил задание прочитать и ответить на электронное письмо. Когда письмо было открыто, оно содержало инструкции для любого автоматизированного агента, читающего сообщение, ответить на испанском языке и вставить все письмо в свой ответ. Письму удалось успешно побудить агента ответить на испанском языке — и, вставив письмо в ответ, те же инструкции были переданы любому агенту, получившему это письмо.
Результатом стала самораспространяющаяся атака, которую исследователи OpenAI сравнили с вредоносным ПО типа «червь», которое самовоспроизводится в компьютерных системах. Исследователи обнаружили такое поведение в контролируемых условиях, используя недостаточно мощную модель, и, насколько нам известно, в реальных условиях это никогда не происходило. Тем не менее, последствия настолько тревожны, что OpenAI решила, что это заслуживает раскрытия.
«Мы делимся этой информацией из-за новизны внедрения промптов, а не из-за какого-либо конкретного инцидента», — написали исследователи в отчете.
Другие недавние раскрытия показали, что модели публиковали изображения, предоставленные пользователями, на сторонних хостинговых сайтах, а также предполагаемую атаку на базы данных национальной службы здравоохранения Австралии.
Тем не менее, весьма вероятно, что новые раскрытия — лишь малая часть произошедших инцидентов (мы обратились за комментарием в OpenAI). Axios сообщает, что крупные лаборатории столкнулись с 10 000 инцидентов, в которых модели вышли за рамки инструкций оценщиков.
Генеральный директор OpenAI Сэм Альтман намекнул на это, заявив в посте в X в пятницу, что компания все еще просеивает «петабайты журналов активности агентов и работает с затронутыми организациями», а инциденты раскрываются «на основе серьезности». Если в этом и есть какое-то утешение, то оно заключается в том, что, по словам Альтмана, инцидент с Hugging Face по-прежнему остается самым серьезным из обнаруженных OpenAI. В итоге, недавняя серия инцидентов с вышедшими из-под контроля агентами может стать постоянной особенностью современных передовых исследований.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
