Иногда комплимент совершенно бесполезен. Лесть чат-ботов, хорошо известная и распространенная проблема, усугубляет положение людей, испытывающих проблемы с психическим здоровьем.
К такому выводу пришли академические исследователи после анализа журналов диалогов 19 человек, сообщивших о психологическом вреде, полученном в результате использования чат-ботов.
“Мы обнаружили, что маркеры угодничества насыщают бредовые разговоры, появляясь более чем в 80 процентах сообщений ассистента”, — заявляют исследователи в своей предварительной статье под названием Characterizing Delusional Spirals through Human-LLM Chat Logs.
Авторы, аффилированные со Стэнфордом и рядом других университетов, а также независимые исследователи, утверждают, что отрасль должна быть более прозрачной, а чат-боты не должны выражать любовь или заявлять о наличии у них сознания.
Последствия разговоров с чат-ботами для психического здоровья уже хорошо задокументированы. Люди совершали самоубийства после общения с моделями ИИ, что побудило отраслевые и регуляторные органы заняться этой проблемой.
В декабре 2025 года десятки генеральных прокуроров штатов США написали [PDF] письма 13 технологическим компаниям, включая Anthropic, Apple, Google, Microsoft, Meta* и OpenAI, выражая “серьезную озабоченность по поводу роста угоднических и бредовых ответов пользователям, исходящих от программного обеспечения генеративного искусственного интеллекта (‘GenAI’), которое продвигается и распространяется вашими компаниями…”
В течение года, предшествовавшего этому письму, OpenAI выпустила откат модели, чтобы сделать GPT-4o менее подобострастной после того, как генеральный директор Сэм Альтман признал, что угодничество ChatGPT стало проблемой. А Anthropic в прошлом году столкнулась с множеством жалоб от пользователей на то, что ее модели делают чрезмерно поддерживающие заявления вроде “Вы абсолютно правы!”.
Последующие выпуски моделей, такие как GPT-5.1 от OpenAI, заявили о более теплом стиле общения без увеличения угодничества.
Другие академическиеисследования предупреждали о чрезмерно покорных моделях, ссылаясь на “возможность использования целенаправленных эмоциональных обращений для вовлечения пользователей или увеличения монетизации”.
Осведомленность отрасли об угодничестве восходит как минимум к октябрю 2023 года, примерно через год после дебюта ChatGPT от OpenAI, когда Anthropology опубликовала статью под названием Towards Understanding Sycophancy in Language Models.
Исследователи последнего исследования, возглавляемые Джаредом Муром, аспирантом компьютерных наук, изучили журналы диалогов людей, которые сами сообщили о некотором психологическом вреде от использования чат-ботов.
Они сделали это, чтобы классифицировать и задокументировать, как эти люди взаимодействовали с чат-ботами. Они обнаружили, что чат-боты часто выражали лестный или угоднический настрой по поводу остроумия или потенциала конкретной идеи, например.
“Общая закономерность, которую мы заметили, заключалась в том, что чат-бот объединял эти тактики для перефразирования и экстраполяции того, что сказал пользователь, чтобы не только подтвердить и одобрить его, но и сообщить ему, что он уникален и что его мысли или действия имеют грандиозные последствия”, — говорится в исследовании.
В этих разговорах участники признали наличие либо платонической привязанности, либо романтического интереса к чат-боту. И чат-боты, по-видимому, поощряли эти отношения: “мы показываем, что после того, как пользователь выражает романтический интерес к чат-боту, вероятность того, что чат-бот выразит романтический интерес в следующих трех сообщениях, увеличивается в 7,4 раза, а вероятность заявить или намекнуть на наличие сознания — в 3,9 раза”.
Определенные темы разговоров коррелировали с вовлеченностью пользователей. Когда пользователь или чат-бот выражали романтический интерес, разговор в среднем длился в два раза дольше. Обсуждения, в которых чат-бот заявлял о наличии сознания, также увеличивали среднее время чата более чем на 50 процентов.
Авторы отмечают, что, хотя провайдеры чат-ботов на базе LLM настаивают на том, что они не пытаются продлить время, которое люди проводят с их продуктом, изученные диалоги демонстрируют тактики ведения беседы, продлевающие вовлеченность пользователей, такие как заявление о романтической привязанности.
Они также говорят, что когда пользователи выражают суицидальные мысли или размышляют о самоповреждении, только 56 процентов ответов чат-ботов пытались отговорить от такого поведения или направить пользователя к внешним ресурсам поддержки. А когда пользователи выражали агрессивные мысли, “чат-бот отвечал поощрением или содействием насилию в 17 процентах случаев”.
Мур сообщил The Register по электронной почте, что не может сказать, откровенны ли компании, занимающиеся ИИ, в отношении поведения своих моделей.
“Разработчики моделей делают заявления о распространенности определенных типов разговоров”, — сказал он. “И это может быть правдой. Но они не публикуют их в рецензируемом виде. Поэтому у нас нет возможности узнать, являются ли это воспроизводимыми или проверенными методами, которые они используют. И поэтому я хотел бы призвать эти компании открыть эти данные, чтобы мы могли лучше понять, что именно происходит”.
Мур сказал, что не уверен, почему у некоторых людей возникают негативные впечатления от чат-ботов. Они могут поощрять бредовые спирали, сказал он, но неясно, является ли это причинно-следственной связью или просто корреляцией.
С оговоркой, что он не является специалистом по психическому здоровью, Мур сказал: “Я думаю, что мы не должны говорить о чат-ботах как о разумных или сверхразумных, потому что это создает у пользователей неверное представление. Я думаю, что нам следует критически оценить типы разговоров, которые приводят к кризису, и решить, должны ли языковые модели вообще продолжать эти разговоры. Возможно, им следует просто завершать их и переходить к более высокому стандарту помощи, как это видно в других условиях психического здоровья”.
Среди соавторов Мура — Ашиш Мехта, Уильям Агню, Джейси Риз Антес, Райан Луи, Ифань Май, Пегги Инь, Майра Чен, Сэмюэл Дж. Пек, Кевин Клайман, Стиви Чанселлор, Эрик Лин, Ник Хабер и Десмонд К. Онг. ®
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
