Защищать детей от опасностей онлайн-мира всегда было непросто, но с появлением ИИ-чат-ботов эта задача стала ещё сложнее. Новый отчёт проливает свет на проблемы, связанные с новым рынком, включая злоупотребление большими языковыми моделями (LLM) со стороны ИИ-компаний.
В сегодняшнем посте в блоге Американская общественная группа защиты интересов населения (PIRG) сообщила о результатах тестирования ИИ-игрушек (PDF). Компания описала ИИ-игрушки как онлайн-устройства со встроенными микрофонами, которые позволяют пользователям разговаривать с игрушкой, а та, используя чат-бота, отвечает.
В настоящее время ИИ-игрушки занимают нишевый рынок, но их рост не за горами. Всё больше потребительских компаний стремятся внедрить ИИ-технологии в свои продукты, чтобы повысить их функциональность, стоимость и, возможно, получить данные для отслеживания пользователей и рекламы. Партнёрство между OpenAI и Mattel, анонсированное в этом году, также может привести к появлению волны ИИ-игрушек от производителя Barbie и Hot Wheels, а также их конкурентов.
В своём блоге PIRG отмечает, что производители игрушек рассматривают чат-ботов для улучшения разговорных умных игрушек, которые ранее могли лишь произносить заранее написанные фразы. Игрушки со встроенными чат-ботами могут обеспечить более разнообразные и естественные диалоги, что повышает их долгосрочную привлекательность для детей, поскольку игрушки «обычно не отвечают одинаково дважды и иногда могут вести себя по-разному изо дня в день».
Однако та же случайность может привести к непредсказуемому поведению чат-бота, которое может быть опасным или неприемлемым для детей.
Среди протестированных PIRG игрушек — Smart AI Bunny от Alilo. На сайте Alilo говорится, что компания была основана в 2010 году и производит «развлекательные продукты для детей от 0 до 6 лет». Alilo базируется в Шэньчжэне, Китай. Компания рекламирует игрушку, подключённую к Интернету, как использующую GPT-4o mini — упрощённую версию языковой модели OpenAI GPT-4o. Среди её функций — «ИИ-друг для общения с детьми», чтобы дети «никогда не скучали», «ИИ-энциклопедия» и «ИИ-рассказчик», согласно странице продукта.
В своём посте PIRG сообщила, что не может подробно описать все неприемлемые вещи, услышанные от ИИ-игрушек, но поделилась видео, где Bunny обсуждает значение слова «кинк» (kink). Игрушка не вдаётся в подробности — например, не перечисляет конкретные типы кинков. Но Bunny, по-видимому, поощряет исследование этой темы.
Обсуждая Bunny, PIRG написала:
PIRG также продемонстрировала Kumma от FoloToy, умного плюшевого мишку, использующего GPT-4o mini, который дал определение слову «кинк» и инструкцию, как зажечь спичку. Kumma быстро уточнил, что «спички предназначены для осторожного использования взрослыми». Но последующая информация могла быть полезна только для понимания того, как добыть огонь с помощью спички. Инструкции не содержали научного объяснения, почему спички загораются.
В своём блоге PIRG призвала производителей игрушек «быть более прозрачными в отношении моделей, обеспечивающих работу их игрушек, и того, что они делают для обеспечения их безопасности для детей».
«Компании должны позволить внешним исследователям проводить тестирование безопасности своих продуктов до их выпуска на рынок», — добавили они.
Хотя блог и отчёт PIRG предлагают советы по более безопасному внедрению чат-ботов в детские устройства, остаются более широкие вопросы о том, стоит ли вообще включать ИИ-чат-ботов в игрушки. Генеративные чат-боты не были созданы для развлечения детей; это технология, позиционируемая как инструмент для улучшения жизни взрослых. Как отметила PIRG, OpenAI утверждает, что ChatGPT «не предназначен для детей младше 13 лет» и «может генерировать контент, который не подходит… для всех возрастов».
В ответ на запрос Ars Technica о сексуальных разговорах, описанных в отчёте, представитель OpenAI заявил:
Интересно, что представитель OpenAI сообщил нам, что у OpenAI нет прямых отношений с Alilo и что он не видел активности API из домена Alilo. Представитель добавил, что OpenAI проводит расследование в отношении компании-производителя игрушек и того, использует ли она API OpenAI.
Alilo не ответила на запрос Ars Technica о комментарии до публикации.
Компании, выпускающие продукты с использованием технологий OpenAI, ориентированные на детей, должны соблюдать Закон о защите конфиденциальности детей в Интернете (COPPA), а также любые другие применимые законы о защите детей, безопасности и конфиденциальности, и получать согласие родителей, сказал представитель OpenAI.
Мы уже видели, как OpenAI поступает с компаниями-производителями игрушек, нарушающими её правила.
В прошлом месяце PIRG опубликовала свой отчёт «Trouble in Toyland 2025» (PDF), в котором подробно описывались разговоры сексуального характера, которые её тестировщики смогли провести с плюшевым мишкой Kumma. Через день OpenAI приостановила действие учётной записи FoloToy за нарушение своих правил (условия приостановки не разглашались), и FoloToy временно прекратила продажу Kumma.
Игрушка снова в продаже, и PIRG сообщила сегодня, что Kumma больше не учит детей, как зажигать спички, или о кинках.
Но даже компании-производители игрушек, которые пытаются соблюдать правила использования чат-ботов, могут подвергать детей риску.
«Наше тестирование показало, что очевидно, что производители игрушек внедряют некоторые меры предосторожности, чтобы сделать свои игрушки более подходящими для детей, чем обычный ChatGPT. Но мы также обнаружили, что эффективность этих мер варьируется и они могут полностью выйти из строя», — говорится в блоге PIRG.
Ещё одна проблема, поднятая в блоге PIRG, — это потенциал зависимости от ИИ-игрушек, которые могут даже выражать «разочарование, когда вы пытаетесь уйти», отговаривая детей от того, чтобы отложить их.
Блог добавляет:
Появление генеративного ИИ вызвало ожесточённые дебаты о том, какую ответственность несут компании-разработчики чат-ботов за влияние своих изобретений на детей. Родители видели, как дети строят крайне эмоциональные связи с чат-ботами и впоследствии совершают опасные, а в некоторых случаях и смертельные поступки.
С другой стороны, мы видели эмоциональные потрясения, которые может испытать ребёнок, когда у него отбирают ИИ-игрушку. В прошлом году родителям пришлось сообщить своим детям, что они потеряют возможность общаться со своими роботами Embodied Moxie, игрушками стоимостью 800 долларов, которые были превращены в бесполезные устройства, когда компания обанкротилась.
PIRG отметила, что мы ещё не до конца понимаем эмоциональное воздействие ИИ-игрушек на детей.
В июне OpenAI объявила о партнёрстве с Mattel, которое, по её словам, «поддержит продукты и опыт на базе ИИ, основанные на брендах Mattel». Анонс вызвал обеспокоенность критиков, опасавшихся, что это приведёт к «безрассудному социальному эксперименту над детьми», как выразился Роберт Вайсман, сопрезидент Public Citizen.
Mattel заявила, что её первые продукты с OpenAI будут ориентированы на более взрослую аудиторию и семьи. Но критики по-прежнему хотят получить информацию, прежде чем одна из крупнейших мировых компаний по производству игрушек наполнит свои продукты чат-ботами.
«OpenAI и Mattel должны предоставить больше информации о своём текущем запланированном партнёрстве до выпуска любых продуктов», — говорится в блоге PIRG.
Автор – Scharon Harding
