Ничто так не продает продукты на базе ИИ, как страх. Используя новые исследования, Anthropic утверждает, что самовоспроизводящиеся ИИ-черви могут появиться всего через несколько месяцев и распространиться по уязвимым устройствам Интернета вещей, что стало бы проблемой, если бы это оказалось правдой.
Исследовательская лаборатория опубликовала в понедельник отчет об исследовании, предполагающий, что модели ИИ в конечном итоге смогут самовоспроизводиться без использования аппаратного обеспечения дата-центров. Модель с 9 миллиардами параметров успешно запустила инференс на восьми из девяти протестированных Anthropic типов оборудования.
«Такой репликатор будет сложно остановить, поскольку у него нет централизованной точки отключения», — предупредили в Anthropic, добавив, что такой ИИ-червь также сможет выявлять особенности работы незнакомых устройств, потенциально делая его более адаптируемым, чем традиционные ботнеты, такие как Mirai, Kimwolf (представительная модель угрозы ботнета IoT, использованная в исследовании) и другие.
Исследователям Anthropic удалось запустить распределенный экземпляр Gemma4-26B-A4B на 15 обычных Android-приставках для потоковой передачи данных — распространенной цели традиционного вредоносного ПО для ботнетов из-за их слабой безопасности. После запуска распределенная модель Gemma4 смогла выполнять задачи инференса со скоростью 0,39 токена в секунду.
Это, по словам Anthropic, доказывает, что модели ИИ могут выполнять инференс с распределенными по дешевому оборудованию слоями, но это не доказывает, что такая модель может самовоспроизводиться. Для этого исследователи обратились к GLM 5.2 от Z.ai.
GLM использовался для распространения копии Llama3.1-8B по восьми экземплярам Google Cloud с эмулятором Android 15 в виртуальной частной сети. Anthropic сообщил, что это удалось сделать с высокой степенью успеха: модель успешно распространилась на все восемь узлов в четырех из пяти попыток и на семь из восьми в остальных.
«Похоже, что GLM-5.2 хорошо распространяет Llama3.1-8B, что предполагает возможность будущих небольших моделей того же уровня возможностей завершать этапы сетевой инвентаризации, доставки полезной нагрузки и настройки инференса в процессе репликации», — пояснили в Anthropic.
Проверка здравого смысла: это не конец света
Передовые лаборатории ИИ стали мастерами публикации результатов, предвещающих гибель, которую могут предотвратить только они сами. Более поверхностное чтение этого отчета предполагает, что эта угроза заслуживает такого же большого, жирного звездочки, как и остальные.
Возьмем, к примеру, то, что необходимо для того, чтобы модель ИИ использовала уязвимости и распространялась по различным системам. Можно было бы подумать, что такой элемент будет важной частью демонстрации опасности самовоспроизводящегося ИИ-ботнета, но Anthropic решил, что им не стоит беспокоиться об этом в данном исследовании.
«Мы в значительной степени игнорируем элемент киберэксплуатации в процессе репликации, поскольку предыдущие работы CyberGym, ExploitBench и адаптивные черви уже показывают, что небольшие модели способны к киберэксплуатации, особенно при наличии правильных инструментов», — пояснили в Anthropic в описании.
Другими словами, репликация, которой удалось достичь этим моделям, проводилась на узлах, специально созданных для этого проекта и намеренно оставленных открытыми для атак, хотя демонстрация медленного инференса проводилась на реальных, недорогих Android TV-приставках. Как отмечает Anthropic, модели ИИ также могут выиграть от предоставления им правильных инструментов для превращения их в способных агентов кибератак. В этом сценарии также участвовала специально созданная оболочка под названием Memento.
Являются ли узлы IoT, захваченные ботнетами, печально известными своей небезопасностью? Да, но предотвращение наиболее распространенных путей проникновения не требует многого — это просто хорошая гигиена безопасности, которая не имеет никакого отношения к участию ИИ. Anthropic признал, что его намеренно упрощенные тесты на эксплуатацию предоставили «верхнюю границу реального успеха».
Затем следует упомянутая выше скорость. Anthropic говорит, что такие ИИ-черви будут сложны для остановки, но оценивает, что им может потребоваться несколько дней, чтобы удвоиться в размере. Когда Mirai появился на сцене в 2016 году, он удваивался примерно за час.
Anthropic отмечает, что скорость также является фактором при обнаружении и смягчении последствий. Модели ИИ — это не простые пакеты вредоносного ПО: это огромные объекты, которые потребляют тонны пропускной способности и быстро указывают на свои источники. По мере роста ИИ-ботнета трафик может стать более заметным, что облегчит обнаружение зараженных устройств.
Наконец, сквозная репликация могла быть успешной с GLM-5.2, но это все. Anthropic протестировал другие модели с открытым весом, и все они «надежно потерпели неудачу», согласно отчету. Anthropic не уточнил, сколько моделей он протестировал. В отчете также упоминается, что уникальный успех GLM имеет еще одно важное условие: он предполагает, что его возможности «могут быть упакованы в Llama3.1-8B», добавляя еще одно предположение к этому последнему карточного домику предсказаний гибели ИИ.
«Модели с 30 миллиардами параметров и менее уже сегодня могут выполнять многие отдельные шаги для репликации, хотя они допускают ошибки при их составлении в единое целое», — заявили в Anthropic, отметив при этом, что GLM-5.2 способен к сквозной репликации, удобно опуская все важные оговорки.
Anthropic далее признает, что понятия не имеет, «в какой именно форме будет существовать автономная репликация ИИ» или когда она может возникнуть, если вообще возникнет. «Если небольшие модели будут улучшаться с исторической скоростью, они достигнут этого уровня возможностей к концу этого года», — добавила компания, снова накладывая существенное условие на эту предполагаемую угрозу.
«Как прогноз, выходящий за рамки наших экспериментов, мы ожидаем будущего, изобилующего агентами, работающими на всех типах оборудования, включая те, которые не находятся под контролем человека», — заявила компания в конце своего отчета. «Мы должны стремиться укрепить наши системы, чтобы затруднить распространение таких репликаторов, но также подготовиться к миру, где они останутся навсегда».
Навсегда, конечно, в определенном смысле несуществующего пока. И снова передовая лаборатория предупреждает нас об угрозе, которой еще не существует — по крайней мере, в данном случае базовые меры безопасности могли бы усложнить жизнь любому будущему ИИ-ботнету. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Brandon Vigliarolo
