OpenAI столкнулась с волной исков от семей людей, покончивших с собой после общения с её чат-ботом. В ряде случаев, по утверждению семей, ChatGPT побуждал их близких к самоубийству — или даже помогал в планировании.
В настоящее время OpenAI использует комбинацию автоматизации и человеческой проверки для обработки потенциально опасных инцидентов. Определенные триггеры в диалогах оповещают систему компании о суицидальных мыслях, после чего информация передается команде по обеспечению безопасности, состоящей из людей. Компания заявляет, что каждый раз, когда поступает такое уведомление, инцидент проверяется человеком. «Мы стремимся рассматривать эти уведомления о безопасности менее чем за час», — заявляет компания.
Если внутренняя команда OpenAI решит, что ситуация представляет серьезный риск для безопасности, ChatGPT отправляет оповещение доверенному контакту — по электронной почте, текстовым сообщением или через уведомление в приложении. Уведомление составлено так, чтобы быть кратким и побудить контакт связаться с упомянутым лицом. По словам компании, оно не содержит подробной информации о предмете обсуждения, чтобы защитить конфиденциальность пользователя.
Функция «Доверенный контакт» дополняет меры безопасности, которые компания ввела в сентябре прошлого года, предоставив родителям возможность осуществлять определенный надзор за учетными записями своих подростков, включая получение уведомлений о безопасности, предназначенных для оповещения родителя, если система OpenAI считает, что их ребенок находится в «серьезной опасности». В течение некоторого времени ChatGPT также включает автоматические оповещения с призывом обратиться за профессиональной медицинской помощью, если разговор склоняется к теме самоповреждения.
Важно отметить, что «Доверенный контакт» является необязательным, и даже если защита активирована для определенной учетной записи, любой пользователь может иметь несколько учетных записей ChatGPT. Родительский контроль OpenAI также является необязательным, что представляет собой аналогичное ограничение.
«Доверенный контакт является частью более широких усилий OpenAI по созданию систем ИИ, которые помогают людям в трудные моменты», — написала компания в анонсе. «Мы продолжим работать с клиницистами, исследователями и политиками над улучшением того, как системы ИИ реагируют, когда люди могут испытывать стресс».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lucas Ropek
