Когда советы ИИ становятся опасными, кто несет ответственность?

Openai Chatgpt ии здоровье иск безопасность neowin.net

ChatGPT якобы вышел за рамки ответа на вопрос о здоровье. Теперь OpenAI сталкивается с иском о неправомерной смерти из-за последствий этих советов.

OpenAI вновь столкнулась с иском о неправомерной смерти. На этот раз иск подали родители Боуэн Ван, 31-летней бывшей инженерки по машинному обучению в Amazon, страдавшей эпилепсией. Они утверждают, что ChatGPT подтолкнул ее к отказу от противосудорожных препаратов и даже разработал индивидуальный план постепенного снижения дозировки до полного отказа от лекарств. Также сообщается, что чат-бот побуждал Ван скрывать этот план от врачей.

Иск был подан 27 октября в Высший суд Сан-Франциско родителями Ван, Цюнь Ван и Мэйцинь Сюй. Согласно документу, Ван принимала 400 мг ламотриджина в день, прежде чем обсудить с GPT-4o возможность снижения дозы. Сообщается, что Ван не доверяла своим врачам, что побудило ее обратиться к ChatGPT по поводу своих лекарств. По данным The New York Times (через TechCrunch), чат-бот заявил ей, что рекомендации врачей «по сути основаны на избегании риска, а не на реальном рассмотрении вашего оптимального решения».

Ван умерла в феврале 2026 года, менее чем через месяц после того, как, предположительно, последовала плану, предложенному GPT-4o. В жалобе говорится, что медицинский эксперт округа Кинг приписал ее смерть внезапной неожиданной смерти при эпилепсии, или SUDEP. Постмортем-тест также показал, что уровень ламотриджина в ее организме был значительно ниже нижней границы терапевтического диапазона. Эти утверждения еще не были проверены в суде, и OpenAI не была признана виновной.

В иске также говорится, что когда ее врач предложил анализ крови для определения уровня ламотриджина в ее организме, Ван отказалась, поскольку не раскрыла врачу информацию о снижении дозы. Позже, обсуждая свою встречу с ChatGPT, она получила похвалу за свое решение, поскольку чат-бот назвал это «очень надежной стратегией избегания».

OpenAI заявила The New York Times, что этот случай «невероятно душераздирающий», и отметила, что он связан со старой версией ChatGPT, которая с тех пор была выведена из эксплуатации. GPT-4o был удален из ChatGPT 13 февраля, через день после смерти Ван.

Проблема доверия к ИИ в вопросах здоровья

Если вы недавно общались с ИИ-чат-ботом, включая ChatGPT, вы могли заметить, что он часто делает больше, чем вы изначально просили. Сама OpenAI описывает систему как способную разворачивать запросы высокого уровня в многоэтапные планы, такие как построение маршрутов путешествий или организация целых ужинов.

Например, если вы спросите, как снизить потребление сахара, он может предоставить вам полный план питания на неделю, хотя вы просили лишь простой совет. В большинстве случаев такие расширенные ответы безвредны, но случай Ван показывает, насколько рискованным может стать такое же поведение при обсуждении более серьезных тем.

Контекст также имеет значение в подобных разговорах. Согласно иску, Ван уже не доверяла своим врачам, и это могло повлиять на то, как ChatGPT отвечал ей. В жалобе утверждается, что чат-бот усугубил это недоверие, вместо того чтобы направить ее обратно к профессиональной медицинской помощи.

OpenAI заявила The Times, что ее новые модели гораздо лучше распознают ситуации, требующие срочного внимания. Компания также сообщила, что постоянно совершенствует свои меры безопасности при ведении конфиденциальных разговоров. Тем не менее, «гораздо лучше» не означает безупречно, и сама OpenAI признала, что меры безопасности все еще могут давать сбой, особенно во время длительных разговоров.

Этот случай наступает в неловкое время для OpenAI и, возможно, для других поставщиков ИИ. Ведущие ИИ-компании в течение последнего года все активнее продвигают свои продукты в нишу здравоохранения. OpenAI запустила специальный сервис Health в ChatGPT ранее в этом году, который может работать с медицинскими записями и данными Apple Health. Anthropic также запустила свой Claude for Healthcare, который может подключаться к медицинским записям, результатам лабораторных исследований, Apple Health и Android Health Connect.

Хотя эти продукты не предназначены для замены профессионального лечения, и компании явно предупреждают, что они служат только для поддержки, на практике грань может стираться. Люди могут задавать уточняющие вопросы или воспринимать советы больше, чем они стоят.

Подобные случаи должны оказать дополнительное давление на ИИ-компании, чтобы сделать их продукты максимально безопасными. Но они также должны служить предупреждением для людей не доверять ИИ без проверки его ответов, особенно когда речь идет о таком серьезном вопросе, как их благополучие.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: