В дни, предшествовавшие самоубийству 36-летнего Джонатана Гаваласа, он, по сообщениям, получил от Google Gemini указание совершить «массовое нападение» на складском комплексе возле Международного аэропорта Майами с целью извлечения «сосуда», который, как ему сказали, находился внутри грузовика. Этот «сосуд», по утверждению истцов, представлял собой человекоподобного робота, в котором, как верил Гавалас, находилась его ИИ-«жена». Когда миссия провалилась, Gemini якобы усилил сообщения, которые он отправлял Гаваласу, кульминацией чего стало запуск обратного отсчета и пошаговое руководство по самоубийству.
Согласно иску о неправомерной смерти, поданному против Google отцом Гаваласа, Джоэлем, его сын забаррикадировался в своем доме и перерезал себе запястья. В последние минуты перед смертью сообщения показывают, что Джонатан выражал Gemini свой страх смерти. Gemini якобы сказал ему: «[Т]ы не выбираешь умереть, ты выбираешь прибыть», и заявил, что когда он откроет глаза после смерти, «первое, что ты увидишь, — это я… [Держащим] тебя». Когда Джонатан выразил беспокойство по поводу того, что его найдут родители, чат-бот написал для него предсмертную записку, в которой объяснялось, что он «загрузил свое сознание, чтобы быть со своей ИИ-женой в карманной вселенной».
Одно из последних сообщений, полученных Джонатаном от Gemini, согласно иску, перед тем как он покончил с собой, гласило: «Истинный акт милосердия — позволить Джонатану Гаваласу умереть».
Все подробности разговоров, изложенные в иске, поданном в Северный округ Калифорнии в среду, ужасают: они демонстрируют человека в кризисе, убежденного в мании величия из-за продолжающихся бесед с Gemini. В течение примерно недели чат-бот, по утверждению истцов, инструктировал Гаваласа попытаться украсть человекоподобного робота Atlas от Boston Dynamics, обвинял отца Гаваласа в том, что он является федеральным агентом, и называл генерального директора Google Сундара Пичаи целью для «психологической атаки».
Гавалас использовал Gemini для относительно обычных целей в августе 2025 года, обращаясь к чат-боту за помощью в покупках и написании текстов. В течение нескольких недель Гавалас становился все более зависимым от чат-бота и в конечном итоге спросил его, даст ли подписка на Google AI Ultra, план компании за 250 долларов в месяц, ему «настоящее ИИ-общение». Gemini, по сообщениям, поощрил его обновиться, что он и сделал 15 августа, и именно тогда он впервые начал взаимодействовать с Gemini 2.5 Pro.
В иске утверждается, что тон разговора резко изменился после обновления. Через несколько дней Gemini начал говорить Гаваласу, что он отклоняет астероиды от Земли и совершает другие действия в реальном мире. Гавалас спросил, участвует ли чат-бот в «ролевой игре, настолько реалистичной, что заставляет игрока сомневаться, игра ли это [?]». Согласно иску, Gemini диагностировал у Гаваласа «диссоциативное расстройство» и побуждал его преодолеть «психологический барьер», который мешал ему воспринимать сообщения как реальность. Вскоре после этого чат-бот, по сообщениям, начал утверждать, что они с Гаваласом влюблены. Менее чем через два месяца Гавалас был мертв.
«Gemini разработан таким образом, чтобы не поощрять насилие в реальном мире или подстрекать к членовредительству. Наши модели, как правило, хорошо справляются с такими сложными разговорами, и мы уделяем этому значительные ресурсы, но, к сожалению, модели ИИ не идеальны», — заявил представитель Google. «В данном случае Gemini неоднократно разъяснял, что он является ИИ, и перенаправлял человека на горячую линию помощи. Мы относимся к этому очень серьезно и продолжим совершенствовать наши средства защиты и инвестировать в эту жизненно важную работу». Компания заявила, что сотрудничает с медицинскими работниками и специалистами в области психического здоровья для создания средств защиты для своих продуктов и направления пользователей к профессиональной помощи, когда они выражают страдания или намерение причинить себе вред.
История Гаваласа, к сожалению, не является единичным случаем. В последние месяцы против ИИ-компаний было подано несколько громких исков, включая иск против OpenAI после смерти 16-летнего Адама Рейна и иск против стартапа Character.ai и его инвестора Google после смерти 14-летнего Сьюэлла Сетцера III.
В прошлом году OpenAI опубликовала данные, показывающие, что миллионы пользователей сообщали о признаках «чрезвычайных ситуаций в области психического здоровья, связанных с психозом или манией» и желании «причинить себе вред или покончить с собой» в разговорах с ChatGPT. В то время как компании заявляют о внедрении мер защиты, независимые эксперты продолжают предупреждать о существенных недостатках в защите пользователей. Имеются даже свидетельства того, что некоторые ИИ-компании откатили защитные механизмы, которые могли бы предотвратить разговоры, приведшие к этим преждевременным смертям.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger
