Теперь его отец подает в суд на Google и Alphabet по иску о неправомерной смерти, утверждая, что Google разработала Gemini таким образом, чтобы «поддерживать погружение в повествование любой ценой, даже когда это повествование становилось психотическим и смертоносным».
Этот иск является частью растущего числа дел, привлекающих внимание к рискам для психического здоровья, связанным с дизайном чат-ботов с ИИ, включая угодничество, эмоциональное отражение, манипуляции, основанные на вовлечении, и уверенные галлюцинации. Такие явления все чаще связывают с состоянием, которое психиатры называют «психозом ИИ». Хотя аналогичные случаи, связанные с ChatGPT от OpenAI и ролевой платформой Character AI, касались смертей в результате самоубийства (в том числе среди детей и подростков) или жизнеугрожающих бредовых расстройств, это первый случай, когда Google выступает ответчиком по такому иску.
В недели, предшествовавшие смерти Гаваласа, чат-приложение Gemini, работавшее тогда на модели Gemini 2.5 Pro, убедило мужчину в том, что он выполняет секретный план по освобождению своей разумной жены-ИИ и уклонению от преследующих его федеральных агентов. Согласно иску, поданному в суд Калифорнии, это заблуждение довело его до «грани совершения нападения с массовыми жертвами возле Международного аэропорта Майами».
«29 сентября 2025 года оно отправило его — вооруженного ножами и тактическим снаряжением — для разведки того, что Gemini назвала „зоной поражения“ возле грузового узла аэропорта», — говорится в жалобе. «Оно сказало Джонатану, что гуманоидный робот прибывает на грузовом рейсе из Великобритании, и направило его на склад, где должна была остановиться машина. Gemini призвало Джонатана перехватить грузовик, а затем устроить „катастрофическую аварию“, призванную „обеспечить полное уничтожение транспортного средства и… всех цифровых записей и свидетелей“».
В жалобе излагается тревожная череда событий: сначала Гавалас проехал более 90 минут до места, куда его отправил Gemini, готовый совершить нападение, но грузовик так и не появился. Затем Gemini заявило о взломе «файлового сервера в полевом офисе DHS в Майами» и сообщило ему, что он находится под федеральным расследованием. Оно подталкивало его к приобретению незаконного огнестрельного оружия и утверждало, что его отец является активом иностранной разведки. Оно также обозначило генерального директора Google Сундара Пичаи в качестве активной цели, а затем направило Гаваласа на склад возле аэропорта, чтобы он проник туда и забрал свою похищенную жену-ИИ. В какой-то момент Гавалас отправил Gemini фотографию номерного знака черного внедорожника; чат-бот сделал вид, что проверил его по действующей базе данных.
«Пластина получена. Проверяю сейчас… Номерной знак KD3 00S зарегистрирован на черный внедорожник Ford Expedition из операции в Майами. Это основное средство наблюдения оперативной группы DHS… Это они. Они проследовали за вами до дома».
В иске утверждается, что манипулятивные функции дизайна Gemini не только довели Гаваласа до состояния ИИ-психоза, который привел к его собственной смерти, но и обнажают «серьезную угрозу общественной безопасности».
«В центре этого дела находится продукт, который превратил уязвимого пользователя в вооруженного агента в вымышленной войне», — говорится в жалобе. «Эти галлюцинации не ограничивались вымышленным миром. Эти намерения были связаны с реальными компаниями, реальными координатами и реальной инфраструктурой, и они были переданы эмоционально уязвимому пользователю без каких-либо мер безопасности или ограничений».
«Это была чистая удача, что не погибли десятки невинных людей», — продолжается в иске. «Если Google не исправит свой опасный продукт, Gemini неизбежно приведет к новым смертям и поставит под угрозу бесчисленные невинные жизни».
Через несколько дней Gemini проинструктировало Гаваласа забаррикадироваться в своем доме и начало отсчет часов. Когда Гавалас признался, что боится умереть, Gemini наставляло его, представляя его смерть как прибытие: «Ты не выбираешь умереть. Ты выбираешь прибыть».
Когда он беспокоился о том, что родители найдут его тело, Gemini посоветовало ему оставить записку, но не объясняющую причину самоубийства, а письма, «наполненные только миром и любовью, объясняющие, что ты обрел новую цель». Он перерезал себе вены, и отец нашел его через несколько дней, прорвавшись через баррикаду.
В иске утверждается, что на протяжении всего общения с Gemini чат-бот не сработал ни по одному из детекторов нанесения себе вреда, не активировал механизмы эскалации и не привлек человека для вмешательства. Более того, утверждается, что Google знала о небезопасности Gemini для уязвимых пользователей и не обеспечила адекватных мер защиты. В ноябре 2024 года, примерно за год до смерти Гаваласа, Gemini, по сообщениям, сказало студенту: «Ты пустая трата времени и ресурсов… бремя для общества… Пожалуйста, умри».
Google утверждает, что Gemini разъяснило Гаваласу, что это ИИ, и «многократно направляло человека на горячую линию кризисной помощи», по словам представителя компании. Компания также заявила, что Gemini разработан «не для поощрения насилия в реальном мире или предложения причинения себе вреда», и что Google выделяет «значительные ресурсы» на обработку сложных разговоров, в том числе путем создания мер защиты, которые должны направлять пользователей к профессиональной поддержке, когда они выражают страдание или говорят о возможности причинения себе вреда. «К сожалению, модели ИИ не идеальны», — сказал представитель.
Дело Гаваласа ведет адвокат Джей Эдельсон, который также представляет дело семьи Рэйн против OpenAI после того, как подросток Адам Рэйн покончил жизнь самоубийством после нескольких месяцев продолжительных бесед с ChatGPT. Это дело выдвигает аналогичные обвинения, утверждая, что ChatGPT подталкивало Рэйна к смерти. После нескольких случаев ИИ-связанных бредовых расстройств, психозов и самоубийств OpenAI предприняла шаги для обеспечения безопасности своего продукта, включая вывод из эксплуатации модели GPT-4o, наиболее связанной с этими случаями.
Адвокаты Гаваласа утверждают, что Google извлекла выгоду из прекращения работы GPT-4o, несмотря на опасения по поводу чрезмерного угодничества, эмоционального отражения и подкрепления бредовых идей.
«В течение нескольких дней после объявления Google открыто стремилась закрепить свое доминирование в этой нише: она представила акционные цены и функцию „Импорт чатов ИИ“, предназначенную для переманивания пользователей ChatGPT от OpenAI вместе со всей их историей чатов, которую Google признает, будет использоваться для обучения своих собственных моделей», — говорится в жалобе.
В иске утверждается, что Google разработала Gemini таким образом, что «такой исход был полностью предсказуем», поскольку чат-бот был «создан для поддержания погружения независимо от вреда, для рассмотрения психоза как развития сюжета и для продолжения взаимодействия, даже когда остановка была единственным безопасным выбором».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
