На этой неделе генеральный прокурор Сан-Франциско Дэвид Чиу направил письма с требованием прекратить противоправные действия, призвав Apple и Google удалить из своих магазинов приложений 13 так называемых nudification-приложений, сообщает Wired.
Nudification-приложения позволяют с пугающей лёгкостью превращать обычные фотографии реальных людей в откровенные изображения. Вредоносные инструменты на базе ИИ дают злоумышленникам возможность «снимать» одежду, изменять черты лица, помещать человека в сексуализированные позы и заменять лица жертв на обнажённые тела других людей.
В письме Чиу предупредил, что магазины приложений нарушают «законы Калифорнии, запрещающие вспомогательные услуги , создающие дипфейк-порнографию», сообщает Wired.
В беседе с Wired Чиу заявил, что его офис «абсолютно ужаснулся» тому, насколько повсеместной стала технология «раздевания», жертвами которой в основном становятся женщины и дети в пугающих масштабах по мере появления всё новых инструментов.
«Эти изображения используются для травли, унижения и запугивания женщин и девочек», — сказал Чиу Wired. «Эта индустрия оказывает ужасающее влияние на репутацию, психическое здоровье, лишает автономии. Были жертвы, которые думали о самоубийстве».
Wired ознакомился с письмами и подтвердил, что Чиу попросил Google удалить пять приложений, а Apple — восемь. В отчёте названия приложений не упоминались, чтобы «не подталкивать людей к ним», пояснил Wired. Однако одно приложение имело более миллиона загрузок и рекламировало функции для сексуализации изображений женщин или создания «бесплатных и без цензуры» видео, сообщает Wired.
Чиу заявил Wired, что недопустимо оставлять подобные приложения в магазинах.
«Создание интимных изображений без согласия незаконно, вредно и абсолютно неприемлемо», — сказал Чиу. По оценкам его офиса, Apple и Google, вероятно, «заработали миллионы долларов в виде комиссий», игнорируя вредоносные приложения вместо того, чтобы принять более решительные меры или разработать более эффективные системы обнаружения, чтобы не наживаться на общественном вреде.
В заявлении для Ars представитель Google Дэн Джексон сообщил, что пять приложений, на которые указал Чиу, были заблокированы в Google Play за нарушение политики в отношении вредоносного контента.
«Google Play не допускает приложения, содержащие контент сексуального характера, и мы постоянно принимаем упреждающие меры для выявления и удаления приложений с вредоносным контентом», — сказал Джексон. «Когда нам сообщают о нарушениях, мы проводим расследование и оперативно реагируем — в случае с этими приложениями это включало блокировку сотен нарушающих приложений и ограничение связанных поисковых запросов, таких как “nudify”, в нашем магазине».
Apple не ответила на запрос Ars о комментарии.
Слон Грок в комнате
Хотя Apple удалила некоторые приложения, на которые указали исследователи, в остальном производитель iPhone хранит заметное молчание на фоне призывов более агрессивно бороться с nudification-приложениями в своём App Store.
Способности магазинов приложений к обнаружению имеют значение, как отмечается в отчёте Wired: исследователи недавно предупредили, что некоторые вредоносные приложения научились избегать удаления из магазинов, рекламируя только функции замены лиц, скрывая возможности «раздевания». В майской препринтной статье исследователи выявили 420 приложений, позиционируемых как универсальные инструменты для замены лиц, и протестировали 155 из них на возможность сексуализации изображений. В 70% протестированных приложений «раздевание» оказалось возможным.
Есть ещё один слон в комнате — Грок. На этой неделе xAI подала иск, подтвердив, что обнаружила случаи создания материалов с сексуальным насилием над детьми (CSAM) с помощью Грока, а также другие интимные изображения без согласия (NCII), направленные против взрослых. Чтобы предотвратить злоупотребление Гроком, xAI подала в суд на пользователя, который, как предполагается, давал Гроку запросы на создание нелегального контента, однако остаётся вопрос, несёт ли xAI ответственность за результаты.
С момента скандала с Гроком магазины приложений столкнулись с вопросами о том, нарушает ли чат-бот xAI политику магазинов в отношении вредоносного контента. Ещё в апреле Apple сообщила сенаторам, что частным образом угрожала удалить Грока, сообщает NBC News, однако приложение xAI до сих пор остаётся в App Store.
Пока существует возможность использовать Грока для создания нелегального контента, магазины приложений, вероятно, будут продолжать испытывать давление, требующее принятия мер для предотвращения вредоносных результатов, так же как Чиу заявил, что магазины приложений должны делать со всеми приложениями, допускающими «раздевание», если они хотят соблюдать калифорнийские законы о дипфейках.
Хотя представитель Google заявил, что компания постоянно тестирует генеративные ИИ-приложения, чтобы убедиться в наличии у них средств защиты, предотвращающих создание NCII и CSAM, Джексон не ответил на запрос Ars о комментарии относительно того, является ли нынешняя работа Грока исключением из политики Google.
В своих письмах в магазины приложений Чиу не требовал удаления Грока, но очевидно, что он надеется, что его требования помогут в целом ужесточить контроль в обоих магазинах, начиная с удаления приложений, на которые указал его офис.
«Я надеюсь, что Apple и Google немедленно удалят эти приложения и усилят свои системы проверки, чтобы подобные приложения никогда больше не попадали на их платформы», — говорит он. «Мы надеемся, что эти компании поступят правильно — но если нет, нам придётся рассмотреть все наши юридические возможности».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ashley Belanger
