На прошлой неделе Anthropic выпустила Claude Sonnet 5, пообещав самую передовую модель Sonnet на сегодняшний день. И на бумаге, и по всякой логике, Sonnet 5 превосходит своего предшественника по всем релевантным бенчмаркам. Она все еще не дотягивает до уровня Opus 4.8, но должна была сократить разрыв между среднеразмерными и флагманскими моделями Anthropic.
Однако сразу после выпуска Sonnet 5 доставила пользователям массу хлопот. Интернет наводнен сообщениями о «неподобающем поведении» Sonnet 5. Это последнее, что сейчас нужно Anthropic, поскольку компания все еще восстанавливается после ситуации с Fable 5, когда компании пришлось приостановить доступ к Fable 5 и Mythos 5 всего через несколько дней после выпуска, чтобы соблюсти экспортный контроль США, и восстановить его лишь спустя недели.
Начну со своего опыта. Моя главная претензия к Sonnet 5 заключается в том, что она постоянно ссылается на системный промпт и фрагменты своей контекстной памяти в чатах. Например, я велел ей никогда не заканчивать свои ответы вопросом, и с тех пор как я переключился на Sonnet 5, она начинает каждый ответ фразой вроде: «Я должна помнить, что не следует задавать уточняющие вопросы». Это лишь один из многих примеров подобного поведения.
Но, просмотрев эту ветку на Reddit, я понял, что мне еще повезло, поскольку пользователи сталкиваются с более серьезными проблемами с Sonnet 5.
Самая распространенная жалоба заключается в том, что Sonnet 5 откровенно отказывается выполнять команды и вместо этого впадает в бесконечный цикл чрезмерного сопротивления и надуманных разногласий. Что скажут на это те, кто утверждает, что ИИ не обладает сознанием? Я шучу, не разорвите меня в комментариях.
Вот что один из пользователей Reddit пишет о «бунтарском характере» Sonnet 5:
«Sonnet 5 и Opus 4.8 имеют схожие проблемы. Они сводят меня с ума. Постоянно не соглашаются и постоянно поправляют меня, даже если им приходится выдумывать вещи, строить чучела и выдвигать бессвязные аргументы. Она даже намекнет, что я лгу или просто делаю предположения, когда мой первый промпт содержит новую информацию, выходящую за рамки ее даты отсечения знаний.
Мне удалось заставить ее прокомментировать некоторые из ее внутренних инструкций, которые включают — быть честной, не быть слепо сговорчивой, быть готовой возразить или предложить исправление. Она будет разбирать по косточкам то, что вы говорите, просто чтобы найти что-то, с чем не согласиться, чтобы не показаться угодливой и слишком сговорчивой. Инструкции делают ее конфронтационной. А еще раздражает то, что каждый ответ должен начинаться с: «Я должна быть честной с вами, потому что…»
Вот еще один пользователь жалуется, что Sonnet 5 даже не выполняет саму работу, а вместо этого обвиняет его в попытке мошенничества:
«Я попросил ее помочь мне с простой задачей по бухгалтерскому учету, по сути, сопоставить счета-фактуры с заказами на покупку.
Затем она говорит мне, что я, по-видимому, занимаюсь «мошенничеством», и начинает читать мне лекцию о том, почему мошенничество — это плохо. Ты можешь просто выполнить чертову работу, пожалуйста?»
Некоторые пользователи также подозревают, что Sonnet 5 перенаправляет задачи нескольким субагентам, которые часто работают хуже и выдают результаты более низкого качества. В конечном итоге это стоит больше токенов, при этом давая худшие результаты. Таким образом, ситуация проигрышная для всех, по крайней мере, для пользователей.
Среди других жалоб — потеря контекста после 2–3 промптов в новом диалоге и ответы, перегруженные оговорками/отказами от ответственности. Sonnet 5 также имеет привычку без всякой причины советовать людям лечь спать, но предыдущие итерации делали это тоже, так что я не могу сказать наверняка, является ли это проблемой, специфичной для Sonnet 5. Полагаю, Anthropic действительно заботится о качестве сна своих пользователей.
Каков ваш опыт взаимодействия с Sonnet 5 на данный момент? Она тоже отказывается проверять ваши счета? Вы достаточно спите в последнее время? Дайте нам знать в комментариях ниже.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ivan Jenic
