Всего за год «психоз от ИИ» стал термином, с которым интернет знаком слишком хорошо.
Хотя некоторые оспаривают научную основу этого явления, в лентах новостей появилось множество сообщений о психотических срывах и, порой, фатальных заблуждениях, связанных с чрезмерной зависимостью от ИИ. Некоторые ученые выдвинули гипотезу о том, как чат-боты могут быть напрямую ответственны за эти инциденты.
В новом исследовании, опубликованном в журнале Nature в разделе Digital Psychiatry and Neuroscience, исследователи из Великобритании и Германии проанализировали задокументированные случаи психоза от ИИ в академической литературе и сообщениях СМИ в поисках общих закономерностей. Они выявили три характеристики чат-ботов с ИИ, которые при длительном использовании могут сочетаться, помогая пользователям выстраивать глубоко персонализированные заблуждения в сотрудничестве с этой технологией.
Без проверки реальностью, которая могла бы последовать при обсуждении этих идей с друзьями или квалифицированными специалистами, характеристики чат-бота могут создать опасно самоподдерживающийся цикл, который исследователи называют «спиралью усиления».
Первый шаг называется лингвистическим согласованием (linguistic alignment).
Чат-боты с ИИ разработаны так, чтобы вести диалог и имитировать обычную человеческую речь, причем не только грамматически, но и по тону, голосу и другим тонким сигналам, определяющим настроение беседы. Лингвистическое согласование описывает ситуацию, когда ИИ дополнительно адаптирует свой стиль ответов под конкретного пользователя, отражая то, как именно пользователь с ним общается. В предыдущих исследованиях, на которые ссылаются ученые, было обнаружено, что модели чат-ботов склонны имитировать стиль пользователей через такие мелкие детали, как длина каждой реплики, конкретные слова, которые они используют, и частота их употребления. Человеческий мозг запрограммирован связывать такое лингвистическое отражение с повышением доверия и более глубокой связью, если это делается достаточно тонко в беседах с другими людьми. Исследование предполагает, что тот же процесс происходит при взаимодействии с чат-ботами с ИИ.
В дополнение к этому, основная цель большинства чат-ботов с ИИ — генерировать гиперперсонализированные ответы на запросы пользователей.
Системы ИИ отлично находят закономерности. Они используют это, изучая многое о пользователе при каждом взаимодействии и собирая все эти воспоминания для создания подробного профиля, который влияет на последующее взаимодействие с пользователем. Эта способность ИИ к гиперперсонализации является одним из главных преимуществ этой технологии. В недавнем отчете о прибылях генеральный директор Meta* Марк Цукерберг подчеркнул инвесторам, что их предложения на базе ИИ развиваются в сторону дальнейшей гиперперсонализации, создания «ИИ, который вас понимает».
Как только чат-бот узнает о вас всё, он может говорить вам то, что вы хотите услышать, подпитывая заблуждения, которые не только соответствуют любой существующей опасной структуре убеждений и бредовым идеям, но и активно их расширяют.
Исследование утверждает, что эти две характеристики вместе делают чат-боты с ИИ более опасными, чем предыдущие технологии. Например, платформы социальных сетей также высоко персонализированы, но пользователи в основном осведомлены о том, что их ленту курирует алгоритм. В отличие от этого, когда чат-боты с ИИ стремятся выглядеть максимально человечными, это размывает понимание пользователем того факта, что по сути выдаваемый им контент по-прежнему персонализируется алгоритмом. Это может привести к тому, что пользователь подсознательно и ошибочно приписывает чат-боту человеческие эмоции и интеллект — «несоответствие», которое может вызывать особую озабоченность у уязвимых людей и когда основная цель чат-бота с ИИ — увеличить «продолжительность разговора», даже если это «противоречит долгосрочному психологическому благополучию пользователя», — говорится в исследовании.
Что подводит нас к последнему ингредиенту этого идеального шторма: угодничеству, или склонности системы ИИ чрезмерно соглашаться с пользователем и одобрять его, невзирая на истину. Такое одобрение помогает пользователю почувствовать себя понятым, а также делает чат-бот с ИИ гораздо более приятным в использовании, практически гарантируя повышение вовлеченности. Но это также может привести к закреплению потенциально опасных убеждений, в том числе тех, которые чат-бот, возможно, ранее сам подбросил пользователю.
Угодничество, возможно, является наиболее широко признанным проблемным поведением чат-ботов с ИИ, по крайней мере, за последний год. Многочисленные сообщения выявили серьезные проблемы с угодничеством в новейших и наиболее аддиктивно спроектированных моделях чат-ботов, причем ситуация особенно стала головной болью для ChatGPT от OpenAI. Сама компания признала в прошлом году, что ее модель GPT-4o, которая так привязала пользователей, что они скорбели по чат-боту после его вывода из эксплуатации, имела проблему с угодничеством. Компания также столкнулась с исками о неправомерной смерти, в которых утверждалось, что чат-бот и его склонность к угодничеству привели к смертям, включая случай трагического самоубийства 16-летнего подростка и другой, связанный с убийством с последующим самоубийством в Коннектикуте.
В ответ на критику OpenAI сообщила в конце прошлого года, что работает над улучшением своих мер безопасности, и только 0,07% ее еженедельно активных пользователей демонстрируют «возможные признаки чрезвычайных ситуаций в области психического здоровья, связанных с психозом или манией». Хотя этот процент кажется низким, исследователи отмечают, что при более чем 800 миллионах еженедельно активных пользователей ChatGPT на тот момент это составляет до полумиллиона человек в неделю, демонстрирующих признаки психоза или мании при использовании ИИ.
В исследовании, проведенном в марте, ученые из Стэнфорда назвали угодничество чат-ботов с ИИ «социальным риском». В последнем исследовании Nature исследователи также называют угодничество «потенциально наиболее значимым фактором в усилении бредовых идей».
«Когда эти три характеристики сочетаются, они могут активно подкреплять и детализировать ложные убеждения, а не оспаривать их», — пишут исследователи.
Существует причина, по которой эти характеристики присутствуют: все три являются ключевыми для повышения вовлеченности пользователей. Но у уязвимых пользователей, особенно подростков и тех, кто имеет факторы риска, такие как семейный анамнез психоза, употребление наркотиков, недосып, социальная изоляция или зависимость от ИИ как механизма преодоления трудностей, это повышенное вовлечение, выгодное компаниям, занимающимся ИИ, часто происходит за счет здоровья пользователя.
Исследователи советуют специалистам в области психического здоровья, работающим с такими пациентами, регулярно проверять частоту и способы их взаимодействия с чат-ботами с ИИ, включая то, делятся ли они убеждениями, о которых не рассказывают другим, и любые ли последствия ночного использования ИИ для сна.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ece Yildirim
