В начале этого месяца соседка Джозефа Тэккера упомянула, что заказала для своих детей пару наполненных динозавров под названием Bondus. Эти игрушки оснащены функцией чат-бота на базе ИИ, позволяющей детям общаться с ними как с воображаемым другом, поддерживающим машинное обучение. Поскольку Тэккер — исследователь безопасности, ранее работавший над рисками ИИ для детей, она поинтересовалась его мнением. Он решил разобраться. Всего за несколько минут совместно с веб-специалистом по безопасности Джоэлем Марголисом он обнаружил шокирующую уязвимость: веб-портал Bondus, предназначенный для родителей и сотрудников компании, позволял любому пользователю с аккаунтом Gmail получить доступ к расшифровкам почти всех детских диалогов с игрушкой. Без взлома, просто войдя через Google, исследователи увидели личные разговоры, клички, предпочтения, любимые закуски и танцы малышей. В общей сложности, как обнаружили Марголис и Тэккер, в открытом доступе оказались имена детей, даты рождения, имена членов семьи, цели, заданные родителями, а главное — полные записи бесед между ребёнком и игрушкой, созданной для доверительного общения один на один. Bondus подтвердил, что через уязвимый портал было доступно более 50 000 расшифровок — почти все, кроме удалённых вручную. «Было странно и тревожно видеть такие личные данные», — говорит Тэккер. «Доступ ко всем этим беседам — это грубое нарушение приватности детей». После уведомления компании её представители за несколько минут отключили консоль, а на следующий день запустили её снова с корректной аутентификацией. По словам генерального директора Bondus Фатина Анама Рафида, исправления «были завершены за часы, за ними последовало масштабное ревью безопасности и внедрение дополнительных мер защиты». Он отметил, что «не обнаружено признаков доступа, кроме как со стороны исследователей». (Сами учёные подчёркивают, что не сохранили данные, кроме нескольких скриншотов и видео для WIRED.) «Мы серьёзно относимся к приватности пользователей и защите их данных», — добавил Анам Рафид. «Мы проинформировали всех активных пользователей о мерах безопасности и продолжаем укреплять системы, а также наняли фирму по безопасности для проверки и мониторинга». Даже после устранения уязвимости, исследователи считают, что случай с Bondus — предупреждение о рисках AI-игрушек. Доступ к бэкенду показал, насколько детально компания собирает данные, сохраняя историю каждого чата для улучшения взаимодействия. (К счастью, аудиозаписи автоматически удаляются, остаются только текстовые расшифровки.) Даже при исправлении уязвимости возникает вопрос: сколько сотрудников внутри таких компаний имеют доступ к данным, как контролируется этот доступ и насколько защищены их учётные данные? «Это вызывает цепную реакцию проблем с приватностью», — говорит Марголис. «Достаточно одного слабого пароля — и вся информация снова в открытом доступе». Он отмечает, что подобные сведения о мыслях и чувствах ребёнка могут использоваться для жестокого обращения или манипуляций. «Честно говоря, это мечта похитителя, — утверждает он. — Речь идёт о данных, которые позволяют заманить ребёнка в опасную ситуацию, и они были доступны кому угодно». Кроме того, Марголис и Тэккер обнаружили, что Bondus, судя по панели администратора, использует Gemini от Google и GPT-5 от OpenAI, что может означать передачу информации о детских беседах этим компаниям. Анам Рафид ответил, что используются «поставляемые предприятиям ИИ-сервисы для генерации ответов и проверки безопасности, при этом данные передаются безопасно». Он подчеркнул, что компания «минимизирует объём передаваемого, использует договорные и технические меры, а также работает в корпоративных режимах, где провайдеры заявляют, что промпты и выводы не используются для обучения моделей». Исследователи также предупреждают, что компании, создающие AI-игрушки, чаще используют ИИ при разработке кода, инструментов и веб-инфраструктуры. Они предполагают, что незащищённая консоль Bondus могла быть создана с помощью генеративных ИИ-инструментов — «виб-кода», известного по созданию уязвимого ПО. Bondus не ответил на вопрос WIRED, применялись ли ИИ-инструменты при разработке консоли. В последнее время растёт число предупреждений об опасностях AI-игрушек для детей, в основном из-за риска, что беседы могут затрагивать неподходящие темы или даже поощрять самоповреждающее поведение. Например, в декабре NBC News сообщала, что AI-игрушки давали подробные объяснения сексуальных терминов, советы по заточке ножей и транслировали китайскую пропаганду, утверждая, что Тайвань — часть Китая. Bondus, напротив, похоже, пытается внедрять меры безопасности. Компания предлагает вознаграждение в 500 долларов за «неуместный ответ» от игрушки. «Эта программа действует уже больше года, и никто не смог заставить игрушку сказать что-то неподобающее», — говорится на сайте компании. Однако одновременно Bondus оставлял полностью открытыми все чувствительные данные пользователей. «Это идеальный пример подмены безопасности и защиты», — говорит Тэккер. — «Имеет ли значение «безопасность ИИ», если все данные открыты?» Ранее Тэккер рассматривал возможность купить AI-игрушку для своих детей, как это сделал его сосед. Но увиденное изменило его решение. «Хочу ли я это у себя дома? Нет, не хочу, — говорит он. — Это просто кошмар с точки зрения приватности».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Andy Greenberg, wired.com
