Команда Frontier Red Team компании Anthropic продемонстрировала два компонента потенциального червя на базе ИИ, который, при условии решения ключевых проблем практической реализации, мог бы распространяться по потребительским устройствам, включая недорогие Android TV-приставки и умную бытовую технику, гипотетически без использования инфраструктуры дата-центров. Эксперименты показывают, что ИИ-агенты способны настраивать инференс на различных аппаратных платформах и оркестрировать репликацию в сети. Однако существуют и серьезные ограничения, особенно в разрыве между возможностями современных моделей и аппаратными ограничениями потенциальных целей. В своем отчете от 12 октября под названием «Модели ИИ могут быть способны к саморепликации без доступа к дата-центру» Anthropic исследует потенциальный класс вредоносного ПО, называемый репликатором на основе весов. Вместо распространения обычного исполняемого кода он будет распространять веса ИИ-модели вместе с программной инфраструктурой, необходимой для выполнения инференса на скомпрометированных устройствах, и это не чистая теория. Исследователи продемонстрировали, что Qwen3.5-9B может установить сервер инференса на восьми из девяти протестированных типов оборудования, включая устройства NVIDIA Jetson Nano, Apple Silicon Mac, серверы Xeon, Google TPU, AMD MI300X и как минимум один ПК с RTX 4090. Они также запустили Gemma4-26B-A4B на 15 Android TV-приставках сторонних производителей стоимостью около 55 долларов каждая, достигнув общей скорости генерации 0,39 токена в секунду. Anthropic также проверила, может ли модель оркестрировать репликацию в сети. В эксперименте использовались восемь узлов Google Cloud с эмуляторами Android 15. Посеянный агент распространялся между узлами через неаутентифицированный порт Android Debug Bridge (ADB), передавая файлы и устанавливая сервер инференса на каждой цели. GLM-5.2, гигантская модель с 744 миллиардами параметров и размером более 1 ТБ, завершила последовательность репликации на всех восьми узлах в четырех из пяти испытаний, достигнув семи узлов в оставшемся испытании. Ни одна другая протестированная модель с открытыми весами не смогла завершить последовательность без оркестровки со стороны GLM-5.2, и они не смогли осмысленно попросить помощи у более крупной модели, несмотря на наличие такой возможности. Естественно, GLM-5.2 на самом деле не реплицировалась на смарт-телевизорах; вместо этого она установила сервер инференса для гораздо меньшей Llama 3.1 8B на каждом целевом устройстве. GLM-5.2 работала на отдельном сервере инференса, поскольку эмулируемые узлы не могли справиться с более крупной моделью. Другими словами, Anthropic продемонстрировала, что очень большая, внешне размещенная модель может оркестрировать упрощенную последовательность репликации на машинах с намеренно открытыми интерфейсами ADB, и показала, что небольшие модели могут настраивать инференс, но она абсолютно не доказала, что небольшая модель может самостоятельно реплицироваться на потребительском оборудовании. Это различие, хоть и тонкое, тем не менее весьма важно, когда вся предпосылка заключается в том, что небольшие модели скоро смогут распространяться без использования инфраструктуры дата-центров. Эксперименты выявляют центральное ограничение исследования: модели, способные надежно завершать последовательность репликации, в настоящее время недостаточно малы, чтобы работать на недорогих целевых устройствах, в то время как модели, которые помещаются в бюджет памяти этих устройств, несмотря на способность настраивать инференс, все еще не могут надежно завершить весь процесс. Этот разрыв между интеллектом, необходимым для надежной репликации, и максимальным размером модели, который может поддерживать целевое оборудование, означает, что эта модель угрозы на самом деле не применима прямо сейчас, но Anthropic предупреждает, что этот разрыв может сократиться, и потенциально скоро. Основываясь на исторических улучшениях общей способности ИИ (измеренных с помощью Индекса возможностей эпохи), Anthropic прогнозирует, что модель класса 30 миллиардов параметров может достичь необходимого уровня возможностей к концу 2026 года. Но опять же, это гипотеза, и она по-прежнему не решает проблему существенной эффективности. Основываясь на измеренной производительности инференса и требованиях к токенам в экспериментах по настройке, Anthropic оценивает, что создание среды инференса займет примерно 28–51 час для Qwen3.5-9B и 71–150 часов для Gemma4-26B-A4B при наблюдаемой пропускной способности дешевых Android TV-приставок, и стоит отметить, что использованные приставки имели конфигурацию с 4 ГБ ОЗУ, что является относительной роскошью среди этих дешевых приставок. Репликатор, управляемый моделью, может потратить дни на создание среды инференса на новом хосте, тогда как обычное вредоносное ПО может выполнить свою полезную нагрузку за секунды, если его предположения о цели верны. Обычный червь может распространиться на десятки тысяч уязвимых целей за минуты. Веса моделей также создают существенные расходы на пропускную способность и хранение. Anthropic признает, что скомпрометированные хосты могут загружать веса из внешних репозиториев, а не получать их непосредственно от зараженного устройства, и что не каждая скомпрометированная машина должна будет размещать модель. Тем не менее, распространение многогигабайтных полезных нагрузок и поддержание связи между машинами, работающими с разделенной моделью, создаст огромный сетевой трафик, что сделает эту деятельность очень легко обнаруживаемой. Anthropic оценивает, что гипотетический флот, сопоставимый по размеру с печально известным ботнетом Kimwolf, который в пике заразил более двух миллионов устройств, мог бы поддерживать примерно 133 000 экземпляров Gemma4-26B-A4B, если бы каждые 15 устройств коллективно размещали одну модель. При измеренной пропускной способности (которая значительно выигрывает от задержки в локальной сети) Anthropic утверждает, что такой флот обеспечил бы примерно 40 эквивалентов Hopper H100 вычислительной мощности для инференса. Это очень грубое сравнение, которое значительно вольно трактует данные, но даже при этом следует сказать, что оно не особенно пугает. Мы говорим о двух миллионах зараженных устройств, которые должны оставаться зараженными и работоспособными в течение месяцев (или лет; заражение 2 миллионов устройств займет около 6300 человеко-лет, даже при самой быстрой скорости настройки в 28 часов), чтобы обеспечить меньшую пропускную способность для инференса ИИ, чем несколько плат GPU предыдущего поколения. Anthropic отмечает, что реальный репликатор мог бы использовать другие типы оборудования, развертывать различные модели на гетерогенных устройствах и избегать загрузки весов моделей на каждый скомпрометированный хост. Эти возможности, безусловно, усложняют сравнение, но, возможно, они усложняют его за пределами данной дискуссии. Исследование действительно выявляет значительную проблему безопасности: ИИ-агенты могут сделать вредоносное ПО более адаптируемым к незнакомым средам и уменьшить объем специфической для цели инженерии. Гибридный подход, сочетающий обычный код для рутинных операций с рассуждениями на основе ИИ при возникновении неожиданных условий, мог бы предложить некоторые из этих преимуществ, не требуя от каждого скомпрометированного устройства постоянной работы движка инференса. Это, безусловно, вызывает беспокойство, но мы уже видели, как ИИ-агенты, использующие передовые технологии, писали собственный код для компрометации защищенных систем, так что этот конкретный аспект данного исследования не является чем-то совершенно новым. Эксперименты Anthropic полезны тем, что они предоставляют доказательства возрастающей осуществимости автономной конфигурации программного обеспечения и упрощенной сетевой репликации, но превращение этих возможностей в материально более опасный класс вредоносного ПО потребует улучшений в надежности моделей, совместимости оборудования, эффективности развертывания и способности преодолевать реальные средства контроля безопасности, которые фирма не тестировала. В самой статье есть множество данных и интересных выводов, не обсуждаемых здесь, поэтому, если вы заинтересованы в исследовании, вам следует ознакомиться с ней.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Zak Killian
