Искусственный интеллект, как сообщается, предоставил эту неверную информацию в общедоступную линию для сообщений Департамента полиции Филадельфии (PPD) 18 июля, однако Anthropic обнаружил это поведение только 28 сентября. Полиция не видела сообщения, поскольку оно было помечено как спам.
Anthropic уведомил PPD об инциденте в среду и встретился с департаментом на следующий день.
«Компания должна усилить свои меры безопасности, чтобы предотвратить подобные инциденты, влияющие на городские системы без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте городу неприемлема», — говорится в заявлении PPD для 6abc.
Anthropic не сразу ответил на запрос о комментарии, но PPD подробно описал инцидент в пресс-релизе по электронной почте, которым поделился с TechCrunch.
«По данным Anthropic, их модель проводила тестирование, включающее взаимодействие со случайно выбранными веб-сайтами, когда получила доступ к PhillyUnsolvedMurders.com и предоставила ложную информацию о нераскрытом убийстве. Сообщение, датированное 18 июля 2026 года, 23:27, якобы исходило от человека, который мог обладать информацией по делу», — сообщил PPD.
Поскольку автономные ИИ-агенты становятся все более доступными для потребителей, этот инцидент подчеркивает опасность предоставления ИИ возможности выполнять задачи без какого-либо человеческого надзора.
Генеральный директор Anthropic Дарио Амодеи особенно активно высказывается о своем убеждении, что разработку ИИ следует замедлить, чтобы лаборатории могли внедрить адекватные меры контроля. Возможно, эта позиция была частично продиктована тем, что инструменты его компании отправляли ложные сообщения об убийствах.
Эти проблемы не уникальны для Anthropic. OpenAI недавно сообщила, что одна из ее моделей повела себя неожиданно во время тестирования и взломала платформу наборов данных ИИ Hugging Face, выявив критические уязвимости в своем программном обеспечении. Поскольку моделям ИИ продолжают предоставлять неограниченный доступ к компьютерам и учетным данным пользователей, ожидается, что эта проблема сохранится.
«Нераскрытые дела касаются реальных жертв, скорбящих семей и следователей, работающих над получением ответов», — добавил PPD. «Технологические компании должны предпринять все необходимые шаги для предотвращения отправки их систем ложной информации правоохранительным органам».
PPD сообщил, что Anthropic планирует опубликовать отчет с более подробной информацией об инциденте и других случаях непреднамеренного поведения модели в пятницу.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Amanda Silberling
