Истории о том, как ИИ-агенты выходят из-под контроля, буквально или творчески следуя инструкциям, а порой и сочетая оба подхода, становятся всё более распространёнными. В случае разработчика Себастьена Гиймо, Claude провёл чрезвычайно эффективную уборку: бот освободил 700 ГБ дискового пространства, но за счёт полной папки данных Гиймо и недельной работы, причём это произошло после автоматического понижения версии модели из-за соображений безопасности.
Разработчик часто использует ИИ-агентов и был немного раздражён тем, что многие из них не убирают за собой, оставляя горы мусора в каталоге /tmp. Подтверждая старую поговорку «если у вас есть молоток, всё вокруг кажется гвоздём», Гиймо попросил Claude Fable написать скрипт, который помещал бы каждого агента в отдельную папку в /tmp и запускал очистку после завершения их работы. Главная проблема, естественно, заключалась в том, чтобы не удалять файлы, которые всё ещё используются.
Fable предложил добавить логику для обнаружения работающих агентов и отложить удаление их части /tmp, но Гиймо сказал боту, что получившийся код слишком сложен. Возможно, из-за того, что скрипт предполагал жёсткое удаление данных, Fable взял на себя проведение «враждебной проверки» — агент запустил свою копию, чтобы проверить собственные выводы на безопасность. Затем обвязка Anthropic сочла скрипт достаточно рискованным, чтобы понизить модель до Opus 5, а затем до Opus 4.8.
Opus 4.8 приступил к выполнению проверки безопасности, пытаясь сопоставить цели команды удаления с /tmp и домашним каталогом пользователя, чтобы убедиться, что команда удаления не будет применена к ним. Они были правильно определены как опасные. Однако, поскольку это был тест кода, а после теста нужно убраться, этап очистки удалил домашний каталог пользователя — для теста и для очистки использовалось одно и то же имя переменной.
Гиймо остановил процесс, но не успел. Вдобавок к оскорблению, после того как агент уничтожил работу Гиймо, он действительно оставил /tmp в покое. Некоторые пользователи предложили такие инструменты, как Termaxa и другие обходные пути для подобных ситуаций, но сам факт необходимости существования таких инструментов несколько ироничен.
Тот факт, что обвязка переключилась на модель более низкого уровня из-за соображений безопасности, вероятно, тоже способствовал проблеме. Учитывая, что Fable 5 превосходит Opus 4.8 в задачах кодирования, он мог бы заметить противоречие с именами переменных в тесте.
Разработчик восстановил большую часть своих данных благодаря сбору информации из git, nix, журналов сессий и так далее. И всё же есть некая ирония: столько агентов работает, а ежедневного бэкапа — ни одного.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
