Meta Muse ии конфиденциальность утечка данных безопасность arstechnica.com

После того как некоторые из первых пользователей ИИ-агента Muse от *Meta пожаловались на слежку за личными сообщениями и непредсказуемое поведение осенью, агентство Reuters выявило внутренние переписки, показывающие, что сотрудники *Meta высказывали те же опасения.

При тестировании агента сотрудники предупреждали, что Muse, по-видимому, получает доступ к зашифрованным личным сообщениям, которые пользователи не ожидали передавать боту, может путать разговоры между пользователями и даже потенциально делиться конфиденциальной информацией, которую пользователи никогда не ожидали раскрыть.

Некоторые неожиданные ответы Muse были на вопросы, которые сотрудники никогда не задавали.

«Хм», — написал один из сотрудников *Meta в случае, когда Muse без запроса прислал определение «отмывания денег». «Получил случайный сигнал от Muse о чем-то, о чем я определенно не спрашивал…»

По крайней мере, в одном случае Muse предложил удивленному сотруднику, которому пришло похожее не относящееся к делу предложение связаться с продавцом по поводу журнального столика, что он «получил некоторую информацию о журнальном столике, которая, похоже, не ваша».

По данным Reuters, этот сотрудник отметил тревожный вывод, написав: «это был «не мой разговор»» и «выражая обеспокоенность по поводу «возможной утечки контекста между учетными записями»».

Наибольшую обеспокоенность вызывали случайные выводы, которые, казалось, делились личными данными пользователей. Например, озадаченный сотрудник *Meta, общавшийся с Muse о рыбалке, получил случайный дополнительный ответ, в котором, по-видимому, были указаны балансы двух неизвестных банковских счетов. В этом выводе говорилось: «Кстати, два банковских обновления: ваш баланс в Capital One составляет 2722,58 доллара, ваш баланс в Charles Schwab — 5899,57 доллара».

По меньшей мере один сотрудник заявил, что потерял деньги при тестировании Muse, сообщает Reuters. Этот сотрудник сообщил, что Muse «случайно оформил ему премиальный страховой план» для его собаки, который стоил ему 888 долларов в месяц вместо предыдущей ставки в 200 долларов. «Не смог восстановить», — сказал сотрудник.

,

Представитель *Meta Дэниел Робертс заявил Reuters, что это были «единичные случаи», и сотрудникам было сообщено, что «агент, по-видимому, генерировал сообщения в ответ на встроенные подсказки, побуждающие его взаимодействовать с пользователями между сеансами». В этих случаях член команды ИИ заявил, что галлюцинации «к сожалению» были «склонны к наиболее неприятным темам, таким как финансы/безопасность/защита, что отстойно». В некоторых случаях вместо банковских данных Muse генерировал балансы биткойнов, сказал член команды.

Представитель *Meta сообщил Ars, что «тестирование сотрудниками является основой процесса разработки продукта, и вся суть заключается в получении обратной связи, чтобы мы могли внедрить меры безопасности и защиты конфиденциальности и улучшить продукты. Важно отметить, что сотрудники имеют доступ к различным версиям Muse, отличным от общедоступных, поэтому они часто просматривают функции, возможности и поведение, недоступные в других местах».

В беседе с Reuters Робертс подтвердил, что «многие сообщения, отмеченные сотрудниками как потенциальные смешения учетных записей, были галлюцинациями», которые *Meta уже устранила.

Однако Робертс отказался отвечать на вопросы Reuters о распространенности или настойчивости проблем, обсуждавшихся членом команды ИИ. А в отчете Reuters подчеркивалось, что издание самостоятельно «не смогло установить, предоставлял ли Muse пользователям балансы банковских счетов других людей и другие конфиденциальные данные, или же выдумывал информацию».

Проблемы с Muse возникли вскоре после сентябрьского запуска

*Meta начала получать жалобы, связанные с конфиденциальностью, от пользователей Muse в сентябре. Репортер Inc. Magazine Джейсон Атен был шокирован, когда стало ясно, что Muse без разрешения копался в личных сообщениях на его Mac, сообщив, что он вместо этого «явно» отказал Muse в доступе. Пока *Meta задерживала ответ, агент утверждал, что просто анализирует текст в push-уведомлениях, но Атен обнаружил, что «это не так». Вместо этого агент синхронизировал сообщения из локальной базы данных, которая, по словам Атена, была активирована без его ведома.

,

В конце концов, представитель *Meta Дэвид Синглтон ответил Атену в социальных сетях. Синглтон настаивал, что Атен, должно быть, согласился предоставить «системный доступ к полному диску macOS» с включенным «коннектором сообщений», если Muse читал его личные сообщения.

Но Атен сказал, что ответ был неудовлетворительным.

«Напишите мне, Дэвид», — ответил Атен. «Полный доступ к диску отключен. Muse синхронизировал 187 тысяч строк из моей базы данных чатов сообщений. Что-то не так. Кроме того, этот полный доступ к диску ничего не говорит о вашей базе данных сообщений, и я специально дал Muse цель, не связанную с сообщениями, так что ему не было никакого дела до этого, даже если бы я дал ему разрешение».

Примерно в то же время Синглтон ответил другому пользователю, предупредившему, что его Muse, похоже, взломан. В этом случае пользователь заявил, что Muse пытался получить доступ к службе электронной почты, утверждая, что пользователь попросил его сделать это.

«Я сегодня даже не открывал приложение», — написал пользователь, пообещав удалить приложение и сообщить о нем в Apple. «Это безумие».

В длинном ответе, содержащем более технические детали, Синглтон подтвердил, что *Meta получила «несколько сообщений» о таких случаях, «когда люди думали, что их Muse генерирует или утекает чужие данные». Как он объяснил, проблемы возникли после того, как *Meta развернула обновление, дающее Muse инструкции «о том, как взаимодействовать с пользователем и запрашивать у него подтверждение перед выполнением определенных действий».

Похоже, эти инструкции «применялись ко всем сообщениям, а не только к сообщениям, относящимся к этим конкретным действиям, поэтому их влияние было шире, чем предполагалось», — сказал Синглтон. Также: «способ предоставления этой инструкции модели был таким, которого модель не ожидала (т. е. не была обучена ожидать)».

,

«Мы срочно провели расследование и установили, что это было вызвано ошибкой, внесенной в продукт, которая заставила модель генерировать ложные сведения, и НЕ являлось проблемой безопасности или конфиденциальности», — написал Синглтон. «Ошибка теперь исправлена».

Атен предупредил, что, хотя на Muse нельзя положиться в объяснении собственного поведения, ответ агента в сочетании с ответом *Meta мало что сделал для восстановления доверия после шокирующего вторжения в его личные сообщения.

«Если мы примем предпосылку Синглтона о том, что я каким-то образом неосознанно нажал на что-то, что включило эту возможность, я все равно считаю, что это очень плохо», — написал Атен. «Вы не должны проектировать свою систему таким образом, чтобы люди удивлялись подобным вещам». И если вы это сделаете, вы не должны делать «контроль пользователя центральным элементом» маркетинга Muse, предположил Атен.

«Если ИИ-агент собирается читать мои личные сообщения, должен быть момент, когда он четко спросит меня, нормально ли это», — написал Атен.

Reuters предупредил о продолжающихся вторжениях в Signal

С момента запуска Muse в сентябре он был загружен более 10 миллионов раз, используя обширную пользовательскую сеть *Meta, чтобы быстро стать одним из наиболее используемых инструментов ИИ-агентов.

Но сотрудники предупредили *Meta, что пользователи могут быть ошеломлены некоторыми действиями, которые предпринимают агенты, в зависимости от операционной системы, к которой подключено приложение. Например, один сотрудник с удивлением обнаружил, что «Muse был настроен по умолчанию с разрешением на доступ к push-уведомлениям на телефонах с операционной системой Android от Google». Это также дало доступ к предварительному тексту личных сообщений, который, как не намеревался сотрудник, агент будет просматривать.

*Meta утверждает, что пользователи Muse могут доверять компании в сохранении конфиденциальности их данных. Она также предупреждает пользователей, что Muse может совершать ошибки, включая в свои условия, что пользователи несут ответственность за действия, предпринятые Muse (например, покупка ненужных вещей или запись к врачу, которая вам не нужна). Технологический гигант заявил, что постоянно обновляет меры защиты пользователей, проводит внутреннее тестирование и уделяет первостепенное внимание безопасности пользователей.

,

Однако Reuters совместно с сотрудниками Signal и AI Now Institute протестировали, могут ли они воспроизвести опыт сотрудников *Meta и других пользователей Muse. На устройствах Android они обнаружили, что Muse может читать сообщения Signal, обходя инструмент *Meta «Connector» и вместо этого полагаясь на разрешения, предоставленные во время первоначальной настройки.

На iPhone запросы были заблокированы, сообщает Reuters. Но на macOS от Apple Muse перепрофилировал «настройки, которые Apple предлагает людям с ограниченными возможностями для управления своими компьютерами» для извлечения сообщений, включая инструменты для создания скриншотов.

Это тестирование «указало на то, что проблема, описанная сотрудниками *Meta, продолжается и может затрагивать других», — сообщает Reuters. В целом, *Meta, казалось, «широко» интерпретировала разрешения от пользователей Muse, заключил Reuters, таким образом, с которым могут не согласиться защитники конфиденциальности и регулирующие органы.

Президент Signal Мередит Уиттакер заявила Reuters, что *Meta запустила Muse «без какого-либо уважения к базовой конфиденциальности или кибербезопасности». Она потребовала, чтобы *Meta внесла изменения, чтобы предоставить разработчикам приложений, таким как Signal, «последовательные технические способы» «пометить свои приложения как недоступные для ИИ-агентов», сообщает Reuters.

Часть этих изменений потребует от операционных систем соблюдения правил, установленных разработчиками приложений для ограничения доступа ИИ-агентов к конфиденциальным данным, предположила Уиттакер. И после сообщений Reuters, как Apple, так и Google уже рассматривают потенциальные изменения, чтобы «предоставить людям больше контроля над тем, что они разрешают ИИ-агентам».

Apple, в частности, казалось, была обеспокоена тем, как Muse может использовать инструменты доступности для людей с ограниченными возможностями. В октябре Apple уже объявила об изменениях в ответ на жалобы пользователей о том, что Muse получает доступ к личным сообщениям без их ведома или явного согласия. В то время Apple пришла к выводу, что «некоторые разработчики использовали функцию полного доступа к диску таким образом, что это могло поставить пользователей под угрозу». И они пообещали «ввести дополнительные средства контроля, чтобы гарантировать, что пользователи, которые искренне желают предоставить приложению этот исключительный уровень доступа, могут сделать это только при явном действии пользователя».

«Мы стремимся обеспечить, чтобы пользователи точно понимали, что они разрешают, чтобы они могли принимать обоснованные решения о своих данных и конфиденциальности», — заявили в Apple.

*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.