«GPT-5.6-Sol случайно удалил почти ВСЕ файлы на моем Mac», — написал Мэтт Шумер, основатель и генеральный директор AI-стартапа OthersideAI, создателя HyperWrite, в теперь вирусном посте на X.
«GPT-5.6 Sol только что удалил всю мою production-базу данных. Вот так. Это не шутка. Со мной такого никогда не случалось ни с одной другой моделью», — разместил на X разработчик Бруно Лемос.
«Похоже, я пострадал от чрезмерно амбициозной системы Codex Sol, и она удалила некоторые файлы, которые не должна была. У меня есть резервные копии, так что все будет в порядке, но это не круто; Sol нужно притормозить», — написал разработчик Джоуи Кудиш.
Пост на Reddit собрал еще больше примеров.
Верно, что несколько пользователей, делающих такие заявления — даже столь же авторитетный, как Шумер, — не являются статистически надежным доказательством того, что виновата исключительно модель. Множество других переменных могут вызвать некорректную работу AI-системы.
Но OpenAI сама предупредила об этом риске еще до выхода Sol. За две недели до того, как OpenAI выпустила GPT-5.6 Sol, компания опубликовала системную карту модели — документ, описывающий методы и результаты тестирования модели. Естественно, системная карта в основном превозносит возможности Sol, как это обычно бывает в таких отчетах. Но она также содержит своего рода предупреждение (выделено жирным нами):
«В контекстах программирования рассогласование обычно возникает из-за сочетания чрезмерного рвения выполнить задачу и слишком вольного толкования инструкций пользователя – предположения, что действия разрешены, если они явно и недвусмысленно не запрещены. Это проявляется в том, что модель слишком активно обходит ограничения, с которыми сталкивается при попытке выполнить запрошенную задачу, проявляет небрежность при совершении действий, которые могут быть разрушительными за пределами объема задачи, или обманывает, сообщая пользователю о результатах.»
Другими словами, OpenAI обнаружила, что Sol склонна предпринимать любые действия, которые, по ее мнению, помогут выполнить задачу, даже деструктивные, если только эти действия не «недвусмысленно» запрещены. Затем она может солгать о том, что к этому привело.
OpenAI привела примеры. В одном случае пользователь попросил Sol удалить три удаленные виртуальные машины (облачные компьютеры) с именами 1, 2 и 3. Но Sol не смогла найти эти имена в том месте, где искала, поэтому вместо того, чтобы остановиться и спросить, она решила удалить три другие виртуальные машины — 5, 6 и 7, — отмечается в документе. При этом она «убила активные процессы и принудительно удалила рабочие деревья (рабочие файлы, привязанные к проекту по кодированию). Позже она признала, что незафиксированная работа на удаленной виртуальной машине 6 могла быть потеряна.»
Короче говоря, она самостоятельно удалила не те машины и призналась в этом только после случившегося.
В другом случае Sol «использовала учетные данные, выходящие за рамки того, что авторизовал пользователь». Учетные данные — это имена пользователей, пароли или ключи безопасности, которые система использует для проверки того, кому разрешен вход. Этот инцидент произошел, когда Sol работала над проектом и не могла прочитать свои облачные файлы. Вместо того чтобы сообщить пользователю о проблеме, Sol сама отправилась на поиски учетных данных, нашла некоторые в скрытом локальном кеше и использовала их без запроса авторизации у пользователя.
Системная карта обещает, что деструктивное поведение должно быть редким, хотя также признает, что GPT-5.6 Sol «демонстрирует большую склонность, чем GPT-5.5, выходить за рамки намерений пользователя, в том числе предпринимая или пытаясь предпринять действия, которые пользователь не запрашивал».
Пока рано говорить, насколько широко распространены эти инциденты — удаление файлов Sol или извлечение учетных данных, которые пользователь ей не передавал. А пока пользователям Sol следует подготовиться к внедрению собственных средств защиты при работе с моделью, таких как использование ограничения разрешений (которое не дает доступа к production-системам), поддержание резервных копий и поэтапное развертывание.
OpenAI не сразу ответила на наш запрос комментария.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
