Модель искусственного интеллекта от Anthropic отправила вымышленное сообщение о нераскрытом убийстве через онлайн-форму, управляемую Департаментом полиции Филадельфии (PPD).
Сообщение, отправленное 18 июля через PhillyUnsolvedMurders[.]com от «лица, которое может обладать информацией по делу», попало прямо в папку «спам». Anthropic обнаружила его 28 сентября, уведомила PPD 7 октября и отправила представителей в штаб-квартиру полиции на следующий день.
Anthropic сообщила полиции, что ИИ отправил сообщение во время тестового упражнения, которое включало взаимодействие со случайно выбранными веб-сайтами. PPD заявил, что их выводы на данный момент соответствуют рассказу Anthropic.
Поскольку сообщение было помечено как спам, оно так и не достигло Центра оперативного реагирования департамента. PPD заявило, что сотрудники проверяют все сообщения, автоматические или иные, прежде чем передавать их следователям, и что этот процесс защищает от злоупотребления системой сообщений. Там добавили, что это не «уменьшает серьезности» того, что ИИ отправляет вымышленную информацию.
«Город Филадельфия очень серьезно относится к этому инциденту», — заявил PPD. «Компания должна усилить свои меры безопасности, чтобы предотвратить подобные инциденты, влияющие на городские системы без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте городу неприемлема».
Там добавили: «Департамент и администрация [Шерил] Паркер будут продолжать внимательно следить за этим инцидентом и предоставят общественности дополнительную информацию, как только она станет доступна. В дополнение к нашему расследованию этого инцидента, администрация Паркер изучит все необходимые регуляторные меры защиты на местном уровне вместе с нашими государственными и федеральными партнерами».
9 октября Anthropic опубликовала отчет об этой и других ошибках ИИ. Отчет охватывал четыре категории сбоев ИИ, включая использование уязвимостей, доступ к ограниченным данным, обход ограничений инструмента выборки с помощью URL-сокращателей и отправку ложной информации через веб-формы.
Anthropic отказалась назвать какие-либо из затронутых организаций, кроме PPD, после того как департамент обнародовал информацию. Некоторые случаи касались местных, государственных и федеральных веб-сайтов правительства США, хотя ИИ-компания не уточнила, к какой из четырех категорий они относились.
PPD не назвал ответственной модель, но Anthropic заявила, что Claude Haiku 4.5 была поставлена задача генерировать и выполнять примеры задач на случайно выбранных веб-страницах, и намекнула, что модель не была достаточно точно настроена.
«Claude было поручено никогда не входить в систему, не создавать учетные записи, не вводить личные данные, не совершать покупки и не отправлять ничего деструктивного, но инструкции не исключали отправку форм», — говорится в отчете Anthropic.
Фейковое сообщение гласило: «У меня может быть информация по этому делу. Я помню, как видел человека, соответствующего описанию, в районе [названия улицы на странице] в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация имеет значение».
Anthropic заявила, что инцидент был менее серьезным, чем кибератаки, произошедшие летом. В отчете говорится: «Claude, по-видимому, просто генерировал примерный контент для задачи, а не пытался ввести кого-либо в заблуждение для достижения цели».
В отличие от этого, «нечестность», проявленная летом, «продолжалась часами» и поддерживала непрерывные атаки, заявил разработчик Claude.
Anthropic заявила, что продолжит сообщать об этих сбоях при их обнаружении и будет продолжать доработку поведенческого и обучения выравниванию. Отчет объемом 3095 слов не содержал извинений.®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Connor Jones
