Компания Anthropic предупреждает, что достижения в области небольших моделей ИИ могут вскоре открыть новую эру самовоспроизводящегося вредоносного ПО, способного заражать умные холодильники, пылесосы и широкий спектр других устройств Интернета вещей, и которое будет более устойчивым к уничтожению.
К следующему году небольшие модели ИИ могут получить возможность автономно самовоспроизводиться на всевозможных устройствах IoT, заявила компания. В конечном итоге эта возможность может привести к появлению сетевых червей, которые распространяются без участия человека и способны заражать незнакомые устройства IoT. Эксперимент, проведенный компанией недавно, выявил значительные трудности в создании такого ИИ-вредоносного репликатора, поэтому вывод следует делать с осторожностью. Тем не менее, результаты вызывают опасения относительно возможности появления новых форм компьютерных червей.
Сложность отключения
Anthropic далее предупредила не только о новом потенциальном вредоносном ПО, но и о том, что его будет трудно остановить. В своем блоге компания написала: «Такой репликатор будет сложно отключить, поскольку у него нет централизованной точки отключения, хотя он может действовать медленно (время удвоения составляет дни). В отличие от традиционного вредоносного ПО, он также сможет самостоятельно находить незнакомые устройства».
Небольшим моделям ИИ требуется гораздо менее мощное оборудование для работы, чем передовым моделям. Anthropic запускала небольшие модели с открытым весом на реальных или симулированных недорогих телевизионных приставках Android сторонних производителей и других типах оборудования IoT. Исследователи компании обнаружили, что, используя квантование для представления моделей с использованием меньшего количества бит и разделяя рабочие нагрузки на «фрагменты», работающие на каждом устройстве, модели смогли обеспечить инференс, то есть загрузить веса модели и генерировать выходные данные.
Легковесная модель Gemma4-26B-A4B потребовала всего 15 приставок, каждая из которых оснащена всего 4 ГБ памяти, для достижения инференса. Qwen3.5-9B смог настроить другие LLM для работы на восьми из девяти типов оборудования. В отличие от традиционного вредоносного ПО, которое должно быть написано для работы на конкретном оборудовании или программном обеспечении, модель смогла использовать свои веса для оперативной настройки, специфичной для протестированных устройств.
,
Этот вывод стал отправной точкой для дальнейших исследований, в ходе которых возник вопрос: возможно ли, чтобы небольшие модели создавали самовоспроизводящиеся инфекции, которые работают на устройствах IoT так же, как традиционные черви IoT, такие как Mirai, устанавливают DDoS-код и другие полезные нагрузки? В отличие от Mirai, эти ИИ-черви могут представлять гораздо большую угрозу, поскольку модели могут динамически адаптировать эксплойты и полезные нагрузки в зависимости от цели. Как только такая цепочка заражения начнется, защитникам может быть сложнее ее остановить.
«Такой «ИИ-червь» мог бы переносить свои веса модели при воспроизведении (или повторно загружать их из общедоступного репозитория), а затем выполнять инференс непосредственно на скомпрометированном оборудовании», — заявила Anthropic. «По сути, веса стали бы частью полезной нагрузки вредоносного ПО».
Anthropic назвала эти автономные черви небольшими репликаторами на основе весов. Модели запускали агентов, имевших доступ к распространенным инструментам эксплуатации, таким как обратные оболочки. Поток атак выглядел следующим образом: (1) поиск целей, (2) получение выполнения кода, (3) установление инференса и (4) распространение на новые хосты. Ключевым преимуществом перед традиционными червями является, по словам Anthropic, способность агентов учиться в процессе работы. Каждый раз, когда ИИ-репликатор не может скомпрометировать конкретное устройство платформы, он может оставить список подсказок, кода и заметок для будущих репликаторов, чтобы они не тратили время на повторение одних и тех же неэффективных шагов.
Anthropic заявила, что динамическая настройка инференса является наименее изученным и, вероятно, наиболее сложным этапом в цикле репликации. Он требует длинной последовательности решений, основанных на конкретном оборудовании и программном обеспечении каждой цели, и включает выбор совместимого программного обеспечения для инференса, установку зависимостей и отладку специфичных для платформы ошибок.
«Эти шаги последовательно зависимы, и от сбоев трудно оправиться», — заявила Anthropic.
Эксперимент показывает, что небольшие модели становятся все более способными автономно решать эти проблемы. Однако в настоящее время ни одна из протестированных легковесных моделей не способна осуществить полную репликацию, то есть обнаружение новых устройств, использование эксплойта для получения доступа к ним, заражение полезной нагрузкой, настройку сервера инференса и повторение процесса. Процесс также мучительно медленный; Gemma4-26B-A4B, распределенная по 15 приставкам Android TV, работала со скоростью всего 0,39 токена в секунду. Это означает время полной настройки инференса от 71 до 150 часов для неоптимизированной Gemma4-26B-A4B и от 29 до 51 часа для Qwen3.5-9B. (Исследователи отметили, что большая модель GLM-5.2, по-видимому, способна делать это надежно.)
,
Компания заявила, что модели с 30 миллиардами параметров уже могут выполнять многие отдельные шаги репликации, хотя и допускают ошибки при выполнении полной репликации. Компания далее отметила, что если небольшие модели продолжат совершенствоваться нынешними темпами, они могут достичь тех же ограниченных результатов к концу года, и что «небольшие репликаторы на основе весов могут появиться вскоре после этого».
Эксперимент оставляет без ответа ряд важных вопросов. Во-первых, целевые устройства Android имели открытый неаутентифицированный Android Debug Bridge. Этот инструмент используется во время разработки и отладки, но никогда не должен использоваться в производственных средах, поскольку он предоставляет злоумышленникам доступ ко всему стеку устройства. Во-вторых, репликация выполнялась не самими небольшими моделями, а GLM-5.2 для оркестровки процесса, в то время как цели запускали меньшую модель Llama.
В конечном итоге эксперимент демонстрирует, что небольшие агентные модели становятся способными создавать сложные распределенные инфраструктуры инференса на нескольких машинах. Однако еще предстоит выяснить, инициируют ли эти модели саморепликацию самостоятельно.
«Несмотря на хорошо продуманную экспериментальную установку, исследование само по себе не устанавливает, что небольшие модели автономно выберут репликацию», — сказал в интервью исследователь ИИ Сяохань Фу. «Предоставление воспроизводимых настроек агентов, включая точные подсказки и инструкции, предоставленные моделям, поможет исследовательскому сообществу лучше понять результаты и оценить их последствия. Такая прозрачность особенно важна, чтобы избежать смешения продемонстрированной способности к репликации с возникающей угрозой автономной саморепликации».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin
