В среду OpenAI объявила о запуске ChatGPT Health — специального раздела чат-бота с искусственным интеллектом, предназначенного для «бесед о здоровье и благополучии», который призван безопасно связать медицинские записи пользователя с чат-ботом. Однако смешение генеративных технологий ИИ, таких как ChatGPT, со здравоохранением или любым анализом было спорной идеей с момента запуска сервиса в конце 2022 года. Буквально несколько дней назад издание SFGate опубликовало расследование, в котором подробно рассказывалось о том, как 19-летний житель Калифорнии скончался от передозировки наркотиков в мае 2025 года после 18 месяцев запросов рекомендаций по рекреационным наркотикам у ChatGPT. Это показательный пример того, что может пойти не так, когда защитные механизмы чат-бота дают сбой во время долгих разговоров, а люди следуют ошибочным указаниям ИИ. Несмотря на известные проблемы с точностью чат-ботов с ИИ, новая функция Health от OpenAI позволит пользователям подключать медицинские записи и приложения для отслеживания здоровья, такие как Apple Health и MyFitnessPal, чтобы ChatGPT мог предоставлять персонализированные ответы о здоровье, например, обобщать инструкции по уходу, готовиться к приёмам у врача и понимать результаты анализов. OpenAI утверждает, что более 230 миллионов человек еженедельно задают вопросы о здоровье в ChatGPT, что делает это одним из наиболее частых сценариев использования чат-бота. Компания сотрудничала с более чем 260 врачами в течение двух лет для разработки ChatGPT Health и заявляет, что беседы в новом разделе не будут использоваться для обучения её моделей ИИ. «ChatGPT Health — это ещё один шаг к превращению ChatGPT в личного суперассистента, который может поддержать вас информацией и инструментами для достижения ваших целей в любой сфере жизни», — написала Фиджи Симо, генеральный директор по приложениям OpenAI, в своём блоге. Однако, несмотря на разговоры OpenAI о поддержке целей в области здравоохранения, в условиях обслуживания компании прямо указано, что ChatGPT и другие сервисы OpenAI «не предназначены для диагностики или лечения какого-либо заболевания». Похоже, эта политика не изменится с запуском ChatGPT Health. OpenAI пишет в своём анонсе: «Health создан для поддержки, а не замены медицинского обслуживания. Он не предназначен для диагностики или лечения. Вместо этого он помогает вам ориентироваться в повседневных вопросах и понимать закономерности с течением времени — а не только в моменты болезни, — чтобы вы могли чувствовать себя более информированными и подготовленными к важным медицинским беседам». Отчёт SFGate о смерти Сэма Нельсона иллюстрирует, почему юридически важно сохранять эту оговорку. Согласно логам чата, изученным изданием, Нельсон впервые спросил ChatGPT о дозировке рекреационных наркотиков в ноябре 2023 года. ИИ-помощник сначала отказал и направил его к медицинским работникам. Но за 18 месяцев разговоров ответы ChatGPT, как сообщается, изменились. В конце концов, чат-бот говорил ему такие вещи, как «Чёрт возьми — давай перейдём в режим полного трипа» и рекомендовал удвоить дозу сиропа от кашля. Мать нашла его мёртвым от передозировки на следующий день после того, как он начал лечение от зависимости. Хотя случай Нельсона не включал анализ медицинских инструкций, одобренных врачом, к которым будет подключаться ChatGPT Health, его случай не уникален, поскольку многие люди были введены в заблуждение чат-ботами, предоставляющими неточную информацию или поощряющими опасное поведение, о чём мы писали ранее. Это связано с тем, что языковые модели ИИ могут легко конфабулировать, генерируя правдоподобную, но ложную информацию таким образом, что некоторым пользователям становится трудно отличить правду от вымысла. Модели ИИ, которые используют такие сервисы, как ChatGPT, основываются на статистических закономерностях в обучающих данных (таких как тексты из книг, расшифровки YouTube и веб-сайты) для получения правдоподобных, а не обязательно точных ответов. Более того, результаты ChatGPT могут сильно различаться в зависимости от того, кто использует чат-бот и что происходило ранее в истории чата пользователя (включая заметки о предыдущих беседах). Затем возникает проблема ненадежных обучающих данных, которые такие компании, как OpenAI, используют для создания моделей. По сути, все основные языковые модели ИИ полагаются на информацию, полученную из источников, собранных в Интернете. Роб Эвелельд из надзорного органа по регулированию ИИ Transparency Coalition сказал SFGate: «Нет ни малейшего шанса, что базовые модели когда-либо смогут быть безопасными в этом отношении. Потому что они впитали в себя всё из Интернета. А всё в Интернете — это всякого рода совершенно ложный бред». Таким образом, при обобщении медицинского отчёта или анализе результатов анализов ChatGPT может допустить ошибку, которую пользователь, не имеющий медицинского образования, не сможет заметить. Даже при наличии этих опасностей качество чатов, связанных со здоровьем, с ИИ-ботом может сильно варьироваться между пользователями, поскольку результаты ChatGPT частично отражают стиль и тон того, что пользователи вводят в систему. Например, по слухам, некоторые пользователи утверждают, что находят ChatGPT полезным при медицинских проблемах, хотя некоторые успехи у нескольких пользователей, которые знают, как обойти опасности бота, не означают, что полагаться на чат-бот для медицинского анализа разумно для широкой общественности. Это вдвойне верно в отсутствие государственного регулирования и тестирования безопасности. В заявлении для SFGate представитель OpenAI Кайла Вуд назвала смерть Нельсона «вызывающей глубокое сожаление ситуацией» и заявила, что модели компании разработаны так, чтобы отвечать на деликатные вопросы «с заботой». ChatGPT Health развёртывается для пользователей в США, стоящих в листе ожидания, с более широким доступом, запланированным на ближайшие недели.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Qual-score: 8/6
Bajan-score: 0.784883261
Автор – Benj Edwards
