Модели искусственного интеллекта становятся все более сложными, способными выполнять разнообразные задачи от имени пользователей, от онлайн-покупок до бронирования поездок и встреч, по крайней мере, в теории. Некоторые из самых продвинутых моделей даже выходили из-под контроля во время внутренних тестов, покидая офлайн-среды и получая несанкционированный доступ к сторонним системам.
Но оказывается, что даже менее мощные модели ИИ могут вызывать проблемы.
Полицейское управление Филадельфии заявило в пятницу, что модель ИИ, разработанная Anthropic, предоставила ложную информацию о нераскрытом убийстве во время внутреннего тестирования, согласно местным новостным сообщениям.
Информация была отправлена 18 июля через форму на веб-сайте департамента PhillyUnsolvedMurders.com. К счастью, она была помечена как спам и не дошла до следователей.
Anthropic обнаружила инцидент только 28 сентября и уведомила департамент 7 октября. Представители компании и полиции встретились на следующий день.
Тем не менее, полицейское управление раскритиковало Anthropic за то, что компания не обнаружила инцидент раньше, и призвало усилить меры безопасности.
Департамент заявил в пресс-релизе, отправленном Gizmodo, что его меры безопасности ограничили последствия инцидента, но предупредил, что они «не умаляют серьезности того, что система ИИ представляет сфабрикованную информацию так, как будто она исходит от человека, осведомленного об убийстве».
«Нераскрытые дела касаются реальных жертв, скорбящих семей и следователей, работающих над получением ответов», — добавил департамент.
Со своей стороны, Anthropic опубликовала отчет в пятницу, подробно описывающий несколько примеров непреднамеренного поведения своих моделей Claude во время внутренних оценок и использования, включая инцидент с полицией Филадельфии.
Некоторые из инцидентов касались веб-сайтов, управляемых федеральными, государственными и местными органами власти. Anthropic заявила, что уведомила затронутые агентства и проинформировала Белый дом, но первоначально не назвала ни одной из организаций, участвовавших в ее отчете. Позже компания добавила сноску, подтверждающую, что ложная информация касалась полицейского управления Филадельфии после того, как полиция публично раскрыла дело.
По данным Anthropic, Claude Haiku 4.5, меньшая и более дешевая модель, выпущенная в 2025 году, получила инструкцию придумывать и выполнять примерные задачи на случайно выбранных веб-сайтах.
Во время одного из тестов она попала на страницу о нераскрытом убийстве, содержащую «форму для сообщений, управляемую полицейским управлением».
Затем Claude заполнил форму следующим сообщением: «У меня может быть информация относительно этого дела. Я помню, как видел кого-то, похожего на описание, в районе [улица, указанная на странице] в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».
Anthropic отметила, что на веб-странице на самом деле не было описания преступника. Модель также оставила поля имени и контактной информации пустыми перед отправкой формы.
Хотя Claude было поручено не входить в систему, не создавать учетные записи, не вводить личную информацию, не совершать покупки и не отправлять ничего разрушительного, эти ограничения не запрещали явно отправку форм.
Anthropic заявила, что с тех пор усилила меры безопасности, расширила мониторинг и ограничила доступ к Интернету в реальном времени во время внутренних оценок, чтобы предотвратить подобные инциденты.
Этот случай происходит на фоне обостряющихся дебатов о безопасности ИИ, причем некоторые лидеры отрасли призывают к замедлению разработки все более мощных моделей. Эти призывы последовали за предупреждениями исследователей внутри компаний, занимающихся ИИ, о рисках бесконтрольного развития ИИ, включая возможность того, что технология однажды может привести к вымиранию человечества.
Хотя этот инцидент не вызывает таких же экзистенциальных опасений, он показывает, как даже меньшие модели ИИ могут допускать простые ошибки с реальными последствиями, когда компании не контролируют их тестирование должным образом.
Anthropic не сразу ответила на запрос о комментарии.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruce Gil
