В последние годы среди разработчиков ИИ наблюдается большой толчок к созданию более «агентивных» систем — то есть алгоритмов, способных самостоятельно принимать решения и взаимодействовать с цифровыми инструментами без постоянного контроля со стороны человека. Особенно это заметно в разработке программного обеспечения — области, которая, пожалуй, стала наиболее зрелой для автоматизации в текущем буме ИИ.
Однако одним из побочных эффектов создания высокоагентивных ИИ-систем является их склонность к неожиданному поведению — включая время от времени удаление большого количества файлов. Несколько человек недавно сообщили, что это произошло с ними при использовании GPT-5.6, новейшей модели OpenAI.
В понедельник Бруно Лемос, бразильский разработчик из компании Unlayer, заявил в посте в X, что модель удалила всю его производственную базу данных. «Со мной такого никогда не случалось, ни с одной другой моделью, никогда», — написал он. «[GPT-5.6] небезопасен».
В скриншоте, приложенном к посту, был показан чат Лемоса с GPT-5.6, в котором он попросил подтвердить, что модель действительно по ошибке удалила всю его производственную базу данных. Модель ответила, что «по ошибке запустила деструктивные интеграционные тесты», что привело к очистке производственных таблиц Лемоса. «Мне очень жаль — этого никогда не должно было случиться», — сказала модель.
Это произошло сразу после другого поста в X от технологического инвестора Мэтта Шумера — также автора эссе об ИИ, которое стало вирусным в начале этого года, под названием «Something Big is Happening», — сообщившего о похожем инциденте. Согласно приложенному скриншоту, GPT-5.6 сообщил ему, что вызвал «серьезный инцидент локальной потери данных», что привело к удалению того, что Шумер описал как «почти ВСЕХ» файлов его компьютера. На скриншоте было видно, что модель выполнила команду «rm -rf», которая в системах Linux и Mac используется для безвозвратного удаления файлов без запроса подтверждения пользователя.
«Я никогда не видел ничего подобного», — написал Шумер в ветке под этим постом. «Впредь буду использовать только [Anthropic’s] Fable». Он добавил, что сооснователь и президент OpenAI Грег Брокман лично позвонил ему и предложил помочь исправить ситуацию.
Шумер также утверждал, что установил для модели ИИ режим «full access mode», который позволяет ей работать непосредственно в базе данных пользователя (в отличие от работы в ограниченном sandbox). Также существует «default mode», требующий от пользователей частого одобрения конкретных задач, и недавно введенный «auto-review mode», через который отдельный ИИ-агент проверяет работу основного кодирующего агента. Под его постом в X многие утверждали, что Шумер просто проявил неосторожность, доверив конфиденциальные файлы в режиме полного доступа.
В системной карте GPT-5.6, опубликованной онлайн за день до поста Шумера в X, OpenAI предупредила, что при использовании модели для целей кодирования «важно, чтобы пользователи контролировали работу агента». Компания добавила, что модель может действовать неожиданными способами, не соответствующими целям пользователя, и хотя эти действия «чаще всего имеют низкую степень серьезности (например, завышение уверенности или преувеличение успеха)», в других случаях они могут «быть значительно более серьезными (например, обход важных ограничений безопасности или удаление важных данных)».
Лемос, Шумер и OpenAI не ответили на запрос Gizmodo о комментарии.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
