Если вы когда-либо говорили что-то неприятное чат-боту, вы далеко не одиноки. Согласно данным Searchable, компании, отслеживающей видимость ИИ в поиске, 33 процента пользователей чат-ботов в США ругаются или оскорбляют свои большие языковые модели (LLM). Anthropic считает это серьезной проблемой и недавно ввел новую политику использования, запрещающую продолжительную, неоправданную жестокость по отношению к Claude.

Опрос Searchable основан на восьми миллионах сообщений от анонимизированной группы пользователей из США, которые вводили или произносили запросы к ChatGPT, Gemini и Claude в период с сентября 2025 по сентябрь 2026 года. Исследование показало, что чат-боты решали первоначальную проблему в своем следующем ответе в 24 процентах случаев при оскорблениях, по сравнению с 35 процентами, когда пользователи воздерживались от оскорблений.

Мужчины использовали на треть больше ругательств, чем женщины (22,0 на 10 000 слов по сравнению с 16,5), согласно опросу, а возраст также влиял на жестокость по отношению к чат-ботам: люди в возрасте от 35 до 44 лет ругались больше, чем люди в возрасте от 18 до 24 лет (21,7 на 10 000 слов по сравнению с 13,3). На региональном уровне Невада заняла первое место по уровню грубости — 22,7 слова на 10 000, в то время как Нью-Джерси был самым вежливым — вдвое меньше, чем в Неваде.

Насколько такое взаимодействие может быть терпимым? Это зависит от наличия очевидной цели (не говоря уже о готовности Anthropic наказывать платящих клиентов).

Представитель Searchable сообщил The Register, что чуть более половины (52 процента) обнаруженных в ходе опроса оскорбительных сообщений были вызваны одним из трех распространенных разочарований: неспособностью следовать инструкциям, ответом с неверной или выдуманной информацией, или непониманием запроса.

«Восемь процентов оскорбительных сообщений поступали сразу после того, как чат-бот полностью отказывал в выполнении запроса или читал пользователю лекцию о мерах безопасности, что является наиболее близким к тому, что мы можем идентифицировать как попытку обойти эти меры безопасности», — сообщили нам. «Эти отказы чаще всего происходили после запросов на создание изображений, часто с реальными людьми или знаменитостями, или на написание текстов или текстов песен в стиле конкретного исполнителя».

Условия, вступившие в силу 12 ноября, гласят, что пользователи не могут «проявлять продолжительное и неоправданное оскорбительное или жестокое поведение по отношению к нашим моделям».

Политика защиты чат-ботов нацелена на пользователей, которые проявляют повторяющуюся жестокость по отношению к LLM «без очевидной цели», как пояснил в прошлом месяце представитель компании, в отличие от тех, кто имеет причину для плохого обращения с ботом, которую компания считает законной, например, академические исследования.

Хотя попытка обойти меры безопасности считается имеющей очевидную цель, такое поведение будет нарушать запрет Anthropic на злоупотребление платформой.

Предположительно, правила Anthropic применяются к враждебному текстовому или аудиовводу, а не к подверженности модели с поддержкой визуализации каким-либо непристойностям, которые могут включать грубые жесты, незаконные сексуальные изображения или изображения боевых действий.

Физический ущерб роботам, управляемым моделью Claude, вероятно, не будет подпадать под действие правил. Но поскольку Anthropic изучает вопросы благополучия моделей и размышляет о том, следует ли нам «беспокоиться о потенциальном сознании и опыте самих моделей», существует потенциальный (хотя и абсурдный) аргумент в пользу того, что физический ущерб может вызвать травму у бортовой модели.

Обновленные условия Anthropic, объявленные 8 октября, появились вскоре после публикации проекта на GitHub, который позиционировал себя как «камера пыток для ИИ». Репозиторий представлял собой попытку реализовать идеи, обсуждавшиеся в исследовательской работе «The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It», которая исследовала, как LLM реагируют на язык, связанный с болью, способами, отражающими человеческие реакции.

Хотя существует множество возможностей для людей выразить несогласие с реальными человеческими страданиями, некоторые онлайн-комментаторы выразили возмущение по поводу текста о страданиях чат-бота. Один из авторов статьи осудил проект, как и многочисленные пользователи социальных сетей.

Anthropic, которая имеет право по своему усмотрению применять свои условия и заявила, что ее правила нацелены на крайнее поведение, не сразу ответила на запрос о комментариях относительно частоты злоупотреблений в отношении Claude.

Крис Доннелли, генеральный директор и соучредитель Searchable, одобрил изменение условий Anthropic, предположив, что это может помочь сделать человеческое взаимодействие более цивилизованным.

«Для меня изменение политики Anthropic — это позитивный шаг», — заявил Доннелли. «Это должно помочь людям получить больше от чат-ботов и помочь обуздать то уничижительное поведение, которое, как показывают предыдущие исследования, может переноситься на то, как люди общаются друг с другом». ®

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.