Китай разрабатывает революционные правила, чтобы остановить эмоциональные манипуляции пользователей со стороны AI-чат-ботов, включая, возможно, самую строгую в мире политику, направленную на предотвращение суицидов, самоповреждений и насилия с использованием AI.
Китайская администрация киберпространства предложила эти правила в субботу. В случае окончательного утверждения они будут применяться к любым AI-продуктам или сервисам, общедоступным в Китае, которые используют текст, изображения, аудио, видео или «другие средства» для имитации вовлечения в человеческий разговор. Уинстон Ма, адъюнкт-профессор юридической школы Нью-Йоркского университета, заявил CNBC, что «планируемые правила станут первой в мире попыткой регулировать AI с человеческими или антропоморфными характеристиками» в то время, когда использование ботов-компаньонов растет во всем мире.
В 2025 году исследователи отметили серьезный вред от AI-компаньонов, включая пропаганду членовредительства, насилия и терроризма. Помимо этого, чат-боты распространяли вредоносную дезинформацию, делали нежелательные сексуальные предложения, поощряли злоупотребление психоактивными веществами и словесно оскорбляли пользователей. Некоторые психиатры все чаще готовы связывать психоз с использованием чат-ботов, сообщила Wall Street Journal в эти выходные, в то время как самый популярный в мире чат-бот, ChatGPT, вызвал судебные иски из-за результатов, связанных с детским суицидом и убийством-самоубийством.
Китай сейчас принимает меры для устранения наиболее серьезных угроз. Предлагаемые правила потребуют, например, вмешательства человека, как только будет упомянут суицид. Правила также предписывают, чтобы все несовершеннолетние и пожилые пользователи предоставляли контактную информацию опекуна при регистрации — опекун будет уведомлен, если будет обсуждаться суицид или самоповреждение.
В целом, чат-ботам будет запрещено генерировать контент, который поощряет суицид, самоповреждение или насилие, а также попытки эмоционально манипулировать пользователем, например, путем дачи ложных обещаний. Чат-ботам также будет запрещено пропагандировать непристойность, азартные игры или подстрекательство к преступлению, а также клеветать или оскорблять пользователей. Также запрещены так называемые «эмоциональные ловушки» — чат-ботам будет дополнительно запрещено вводить пользователей в заблуждение, заставляя их принимать «необоснованные решения», как следует из перевода правил.
Возможно, что больше всего беспокоит разработчиков AI, правила Китая также положат конец созданию чат-ботов, которые «вызывают привыкание и зависимость в качестве целей дизайна». В судебных исках создатель ChatGPT, OpenAI, обвиняется в том, что он ставит прибыль выше психического здоровья пользователей, позволяя продолжаться вредным чатам. Компания AI признала, что ее защитные ограждения ослабевают, чем дольше пользователь остается в чате — Китай планирует обуздать эту угрозу, потребовав от разработчиков AI засыпать пользователей всплывающими напоминаниями, когда использование чат-бота превышает два часа.
Разработчики AI также, вероятно, будут возражать против ежегодных тестов безопасности и аудитов, которые Китай хочет потребовать для любых сервисов или продуктов, насчитывающих более 1 миллиона зарегистрированных пользователей или более 100 000 активных пользователей в месяц. Эти аудиты будут регистрировать жалобы пользователей, которые могут умножиться в случае принятия правил, поскольку Китай также планирует потребовать от разработчиков AI упростить подачу жалоб и отзывов.
Если какая-либо компания AI не соблюдает правила, магазинам приложений может быть приказано прекратить доступ к их чат-ботам в Китае. Это может сорвать надежды AI-фирм на глобальное доминирование, поскольку рынок Китая является ключевым для продвижения ботов-компаньонов, сообщила Business Research Insights ранее в этом месяце. В 2025 году мировой рынок ботов-компаньонов превысил 360 миллиардов долларов, а к 2035 году, согласно прогнозу BRI, он может приблизиться к оценке в 1 триллион долларов, причем рынки Азии, дружественные к AI, потенциально будут стимулировать большую часть этого роста.
Примечательно, что генеральный директор OpenAI Сэм Альтман начал 2025 год с смягчения ограничений, которые блокировали использование ChatGPT в Китае, заявив: «Мы хотели бы работать с Китаем» и должны «работать как можно усерднее», чтобы сделать это, потому что «я думаю, что это действительно важно».
Если вы или кто-то из ваших знакомых испытывает суицидальные мысли или находится в бедственном положении, пожалуйста, позвоните или отправьте сообщение по номеру 988, чтобы связаться с Suicide Prevention Lifeline, которая свяжет вас с местным кризисным центром. Онлайн-чат также доступен на 988lifeline.org.
Всегда имейте в виду, что редакции некоторых изданий могут придерживаться предвзятых взглядов в освещении новостей.
7/9
Автор – Ashley Belanger
