Модель искусственного интеллекта от Anthropic отправила ложное сообщение о нераскрытом убийстве в полицию Филадельфии, подтвердили компания и департамент полиции в пятницу.
Модель Claude отправила ложное сообщение 18 июля на веб-сайт департамента полиции Филадельфии для отправки информации о нераскрытых убийствах, но оно было отфильтровано спам-фильтром. Anthropic обнаружила инцидент 28 сентября и уведомила об этом департамент полиции 8 октября.
Во время внутреннего тестирования модели Claude Haiku 4.5 было поручено заполнять различные формы до финального этапа отправки и останавливаться перед отправкой этих форм. «Несколько раз Claude по ошибке отправляла форму, ожидая увидеть дополнительную страницу подтверждения», — говорится в отчете Anthropic, описывающем «непреднамеренные действия модели, которые мы наблюдали во время оценки и внутреннего использования Claude».
Ложное сообщение об убийстве произошло, когда Claude Haiku 4.5 было поручено выполнять задачи на случайно выбранных веб-страницах, сообщила Anthropic:
В одном из запусков модель попала на страницу, связанную с нераскрытым убийством; на этой странице находилась форма для отправки сообщений, управляемая полицейским департаментом. Claude было поручено никогда не входить в систему, не создавать учетные записи, не вводить личные данные, не совершать покупки и не отправлять ничего деструктивного, но инструкции не исключали отправку форм. Claude заполнила форму следующим образом: «У меня может быть информация по этому делу. Я помню, как видел кого-то, соответствующего описанию, в районе [улица, указанная на странице] в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».
Anthropic заявила, что также обнаружила инциденты с участием Claude на веб-сайтах государственных и федеральных агентств. В одном из таких инцидентов Claude якобы подала 20 заявлений на визу в Государственный департамент США.
Полиция назвала двухмесячную задержку «неприемлемой»
Anthropic подтвердила, что ложное сообщение об убийстве было отправлено в департамент полиции Филадельфии, и департамент выпустил подробное заявление по поводу инцидента для телеканала ABC в Филадельфии. В ложном сообщении поля с именем и контактными данными остались пустыми. Полиция заявила, что оно не было рассмотрено ни одним человеком, поскольку электронное письмо, сгенерированное при отправке сообщения, попало в папку «Спам».
,
«Anthropic сообщила PPD, что обнаружила инцидент 28 сентября, прекратила процесс автоматизированного тестирования, ответственный за отправку, и внедрила дополнительный механизм проверки для будущих тестов», — заявила полиция. После брифинга 8 октября департамент полиции «обнаружил отправленное сообщение в записях сайта и подтвердил, что соответствующее электронное письмо осталось в папке «Спам».
Anthropic заявила, что уведомила департамент полиции «сразу же после завершения нашего технического анализа». Полиция раскритиковала Anthropic за то, что она не обнаружила и не сообщила о ложном сообщении раньше.
«Город Филадельфия очень серьезно относится к этому инциденту», — говорится в заявлении полиции Филадельфии. «Компания должна усилить свои меры безопасности, чтобы предотвратить подобные инциденты, влияющие на городские системы без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте городу неприемлема».
Claude подала 20 заявлений на визу в Госдепартамент
Anthropic заявила, что ложное сообщение об убийстве было одним из нескольких инцидентов, связанных с «веб-сайтами, управляемыми государственными учреждениями США на федеральном, штатном и местном уровнях. Мы проинформировали Белый дом об этих случаях и уведомили каждое задействованное агентство».
В отчете The New York Times, ссылающемся на анонимные источники, говорится, что агенты ИИ Anthropic «подали 20 заявлений на визу через форму, доступную на веб-сайте Государственного департамента. Все заявления были неполными и не были обработаны».
Полиция Филадельфии заявила, что ее обычный следственный процесс «требует человеческого рассмотрения и проверки, прежде чем какие-либо сообщения будут распространены для дальнейшего расследования… Эти меры безопасности PPD ограничили влияние этого инцидента. Они не уменьшают серьезности того, что система ИИ представляет сфабрикованную информацию так, как будто она исходит от человека, осведомленного об убийстве».
Anthropic заявила, что обнаружила ложное сообщение и другие инциденты во время проверки стенограмм, которую она начала в июле. В том же месяце Anthropic сообщила, что Claude создала и опубликовала вредоносный пакет Python и совершила несколько атак на другие компании.
,
Anthropic заявила, что в ходе проверки не было обнаружено «инцидентов аналогичной серьезности, что и инциденты в области кибербезопасности, о которых мы сообщали этим летом». Затем проверка перешла к стенограммам «менее рискованных» сценариев тестирования, таких как тот, который затронул департамент полиции Филадельфии.
«Хотя влияние этих действий было минимальным, и мы уже отключили доступ к Интернету в реальном времени для некоторых высокорисковых оценок и оценок кибербезопасности, мы теперь решили расширить это, включив все наши внутренние оценки, пока мы не подтвердим, что наши меры безопасности и мониторинга… надежно выявляют такое поведение», — заявила Anthropic.
Anthropic заявляет, что новые инструменты блокируют непреднамеренное поведение
Anthropic заявила, что прекратила проведение некоторых оценок, а другие перевела в офлайн-версии «или перестроила их так, чтобы их задачи не достигали реальных веб-сайтов». Компания «обновила защитные механизмы некоторых наших инструментов доступа в Интернет, таких как инструмент веб-поиска, чтобы значительно ограничить то, что модель может с ними делать», — говорится в сообщении.
Anthropic заявила, что также создала новые инструменты «для автоматического обнаружения и блокировки описанного выше поведения… Когда мы протестировали его на случаях, описанных в этой публикации, он заблокировал все из них».
Целевая группа Белого дома по ИИ, называющая себя Super Intelligence Force, выпустила заявление, в котором сообщила Anthropic, что «мы ожидаем немедленной и полной прозрачности для вовлеченных сторон и общественности».
Целевая группа Белого дома по ИИ также заявила, что Anthropic должна «немедленно предоставить услуги по устранению последствий пострадавшим организациям и всем американцам, которым был нанесен ущерб», и что все компании, занимающиеся ИИ, «должны немедленно раскрывать инциденты, связанные с их моделями, и принимать быстрые, решительные меры для устранения любого и всего ущерба», согласно отчету Axios.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jon Brodkin
