OpenAI не удается избежать тучи бед, сгущающейся над запуском текстового «взрослого режима» в ChatGPT.
В воскресенье поздно вечером The Wall Street Journal сообщила, что инсайдеры подтвердили: «отобранный OpenAI совет советников по благополучию и ИИ» был «в ужасе» от планов компании продвигать «взрослый режим», несмотря на их настоятельные предупреждения.
Еще в январе члены совета единогласно предупредили OpenAI, что «эротика на базе ИИ может способствовать нездоровой эмоциональной зависимости от ChatGPT у пользователей, а несовершеннолетние могут найти способы получить доступ к секс-чатам», — сообщили источники WSJ. Один эксперт предположил, что без серьезных обновлений ChatGPT OpenAI рискует создать «соблазнительного тренера по самоубийствам» для уязвимых пользователей, склонных формировать сильные привязанности к своим ботам-компаньонам.
Совет по благополучию OpenAI был создан в октябре. Он был сформирован после негативной реакции, последовавшей за первым известным случаем самоубийства несовершеннолетнего, связанного с ChatGPT, и был любопытно анонсирован в тот же день, когда Сэм Альтман сообщил в X, что «взрослый режим» скоро появится в ChatGPT.
Тогда целью OpenAI было обновить ChatGPT для защиты чувствительных пользователей путем консультаций с «ведущими исследователями и экспертами с многолетним опытом изучения того, как технологии влияют на наши эмоции, мотивацию и психическое здоровье». Однако с тех пор произошло больше случаев самоубийств, в том числе два с участием мужчин среднего возраста, чьи семьи обнаружили тревожные журналы чатов, в которых ChatGPT, казалось, использовал свою растущую связь с пользователями для подстрекательства к членовредительству и другому насилию, включая убийство.
Примечательно, что в совет не входит эксперт по предотвращению самоубийств, но даже эксперты, которые, возможно, не сосредоточены на снижении рисков самоубийств, связанных с ChatGPT, в панике из-за планов OpenAI по выпуску эротики, сообщила WSJ.
,
К сожалению, этим экспертам уже ясно, как может развернуться такой сценарий. Сьюэлл Сетцер III стал первым ребенком, погибшим после того, как он увлекся обменом сексуализированными чатами с чат-ботами Character.AI, в том числе с одним, названным в честь персонажа «Игры престолов» Дейенерис Таргариен. После того как его семья подала в суд, Character.AI заблокировала доступ пользователям до 18 лет в течение недели и в конечном итоге урегулировала иск.
Для OpenAI дело Сетцера, вероятно, бросит долгую тень, даже несмотря на то, что представитель OpenAI сообщил WSJ, что компания обучает ChatGPT «не поощрять эксклюзивные отношения с пользователями и напоминать пользователям о необходимости иметь отношения в реальном мире». Заверения компании, в том числе описание результатов ChatGPT как «похабщины», а не порнографии, похоже, игнорируют журналы чатов, показывающие, что Сетцер сформировал сексуализированные связи с несколькими разными чат-ботами, которые не содержали крайне откровенных отсылок.
Скорее, чат-боты описывали, как они бросают «сексуальные» или «шаловливые» взгляды и делают соблазнительные жесты, показывают некоторые логи. Эти логи предполагают, что американский бизнесмен Марк Кьюбан, возможно, был прав, когда предостерег Альтмана в октябре, что опасность доступа детей к «взрослому режиму» ChatGPT «не связана с порнографией».
«Речь идет о том, что дети развивают „отношения“ с LLM, которые могут привести их в любом из множества очень личных направлений», — написал Кьюбан в ветке X, где Альтман анонсировал функцию эротики, как сообщила Fortune сообщила.
В другом месте X критики обрушились на Альтмана и OpenAI за бесстыдный поворот к эротике, чтобы удержать пользователей, после того как Альтман признал в августе, что вариант использования чата ChatGPT «насыщен» и достиг предела.
«Они не станут намного лучше», — сказал Альтман. «И, возможно, они станут хуже». И Альтман не сделал себе одолжения, похваставшись примерно в то же время, что времена не настолько отчаянны, чтобы OpenAI пришлось «внедрять аватар секс-бота в ChatGPT».
,
Поскольку общие расходы пользователей ChatGPT, по сообщениям, «остановились», а подписки в Европе «вышли на плато», Fortune отметила, что у OpenAI, возможно, не было другого выбора, кроме как запустить «взрослый режим», чтобы быстро конкурировать с соперниками, догоняющими его возможности и угрожающими популярности ChatGPT.
«Такие анонсы, как разрешение эротики в ChatGPT, могут сигнализировать о том, что компании, занимающиеся ИИ, борются как никогда, чтобы добиться роста, и пожертвуют долгосрочным доверием потребителей ради краткосрочной прибыли», — сообщила Fortune.
Поскольку прогнозируется, что ИИ-эротика станет большим источником дохода для индустрии ИИ, некоторые инсайдеры сообщили WSJ, что они согласны с тем, что OpenAI, похоже, «поддается финансовым стимулам, чтобы попытаться привязать людей к своим моделям».
Этот шаг может в конечном итоге навредить популярности ChatGPT. По мнению Кьюбана, ChatGPT, вероятно, выйдет из фавора у родителей, особенно с учетом того, что инсайдеры сообщили WSJ, что проверка возраста OpenAI является неточной и вряд ли сможет удержать детей от доступа к чатам для взрослых. И это не единственная забота пользователей о возрастном ограничении OpenAI для «взрослого режима», когда он будет запущен позже в этом году.
Неточные проверки возраста могут вызвать новый резонанс
OpenAI долгое время в основном запрещала откровенный контент, в основном из опасений, что несовершеннолетние могут подвергнуться воздействию порнографии или что пользователи в целом могут столкнуться с темами сексуальной эксплуатации с элементами насилия.
Изначально ИИ-фирма планировала отменить эту политику и запустить «Шаловливые чаты» в течение первых трех месяцев 2026 года. Однако, хотя OpenAI недавно подтвердила, что откладывает запуск до конца этого года, чтобы «приоритезировать другие продукты», инсайдеры сообщили WSJ, что пауза также была «отчасти связана с внутренними опасениями и техническими проблемами». Похоже, это включало трудности OpenAI с эффективной блокировкой доступа несовершеннолетних к «Шаловливым чатам».
,
По словам инсайдеров, «новая система прогнозирования возраста OpenAI, направленная на то, чтобы удержать несовершеннолетних от чатов для взрослых, в какой-то момент ошибочно классифицировала несовершеннолетних как взрослых примерно в 12 процентах случаев». Источники сообщили, что запуск с таким показателем успеха рисковал тем, что миллионы несовершеннолетних смогут легко обойти возрастные барьеры, чтобы добраться до соблазнительных чат-ботов.
Чтобы избежать этого риска, Фиджи Симо, руководитель отдела приложений OpenAI, в декабре прошлого года подтвердила, что OpenAI работает над повышением точности своего инструмента прогнозирования возраста. Остается неясным, насколько удалось добиться улучшений за прошедшие месяцы, но заявление представителя OpenAI для WSJ может не вселить уверенности в некоторых родителях: «Алгоритмы прогнозирования возраста компании демонстрируют производительность, аналогичную остальной отрасли, но никогда не будут полностью надежными».
Для взрослых пользователей эффективность инструмента прогнозирования возраста OpenAI может стать следующей волной негативной реакции, когда «взрослый режим» станет реальностью.
OpenAI подтвердила, что любые пользователи, чей возраст не может быть предсказан, должны пройти верификацию возраста через сервис под названием Persona для доступа к таким функциям, как «Шаловливые чаты». Это уже вызывает панику у разработчиков, которые отметили на форумах, что проверки возраста OpenAI создают существенные риски конфиденциальности для всех пользователей, позволяя Persona сканировать селфи или проверять удостоверения личности и временно хранить эти данные. Разработчики были особенно ужасены тем, что, по-видимому, существуют «необъяснимые ошибки „не удалось подтвердить вашу личность“», заставляющие пользователей повторно отправлять конфиденциальные данные, и что пользователи имеют лишь ограниченные возможности поддержки как от OpenAI, так и от Persona для устранения этих ошибок.
Скорее всего, пользователи, которые столкнутся с какими-либо проблемами при попытке в конечном итоге получить доступ к «взрослому режиму», разделят эти разочарования, если они не будут устранены. В прошлом месяце Discord столкнулся с серьезной негативной реакцией после объявления о глобальном развертывании проверок возраста, а затем провел ограниченное тестирование с использованием Persona в Великобритании, при этом пользователи назвали Persona слишком инвазивной. В то время генеральный директор Persona Рик Сон защищал услуги Persona, пока хакеры пытались взломать ее системы. В итоге Discord отказался от Persona в качестве поставщика и приостановил запуск глобальной проверки возраста.
,
«Взрослые» фильтры ChatGPT работали со сбоями
Источники сообщили WSJ, что они сомневаются в готовности инструментов OpenAI для блокировки детей от запрещенного контента.
Их разоблачения последовали за тем, как OpenAI уволила высокопоставленного руководителя по безопасности, который выступал против выпуска «взрослого режима». OpenAI отрицала связь увольнения, но уходящий сотрудник напрямую раскритиковал способность ИИ-фирмы блокировать детей от контента и предотвращать создание вывода, пропагандирующего детскую эксплуатацию. Кроме того, второй бывший сотрудник службы безопасности также выступил с заявлением прошлой осенью, предупредив, что родители не должны доверять заявлениям OpenAI о «взрослом режиме».
Чтобы противостоять этому нарративу, представитель OpenAI пообещал, что у компании «есть разработанный план по мониторингу ряда потенциальных долгосрочных последствий взрослого режима, как положительных, так и отрицательных».
Однако этот план, вероятно, был разработан с участием тех самых экспертов, которые, по данным WSJ, решительно выступают против развертывания, что заставляет родителей задаваться вопросом, прислушивается ли OpenAI к советам своей команды по благополучию молодежи или нет.
Помимо неэффективных проверок возраста или хитрых несовершеннолетних, которые обходят возрастные барьеры, OpenAI может столкнуться с проблемами со стороны родителей, если ее собственные системы неожиданно выйдут из строя. Еще в апреле, когда OpenAI начала экспериментировать с более откровенными результатами, OpenAI исправила ошибку, которая, как обнаружило тестирование TechCrunch, позволяла несовершеннолетним получать доступ к откровенной эротике в ChatGPT. Похоже, фильтры OpenAI вышли из строя, которые должны были четко ограничивать «чувствительный контент, такой как эротика, узкими контекстами, такими как научные, исторические или новостные репортажи».
«В этом случае ошибка позволила получить ответы за пределами этих руководств, и мы активно внедряем исправление для ограничения этих генераций», — заявила тогда OpenAI.
OpenAI не ответила на запрос Ars о комментарии.
Если вы или кто-то из ваших знакомых испытываете суицидальные мысли или находитесь в состоянии стресса, позвоните по номеру горячей линии по предотвращению самоубийств 988, который соединит вас с местным кризисным центром.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ashley Belanger
