Мир наполнен умными устройствами — гаджетами, которые могут подключаться к Интернету и передавать данные друг другу. Это смартфоны, умные колонки, умные телевизоры, умные холодильники, умные кольца, умные часы, умные вибраторы (не шутка), умные термостаты, умные духовки, умные столы, умные лотки для кошачьего наполнителя, умные тостеры, умные стиральные машины и так далее.
Очень скоро так называемый «Интернет вещей» (IoT), частью которого являются все эти потребительские товары, может стать средой обитания самовоспроизводящегося ИИ-вируса, распространяющегося от устройства к устройству, подобно слизевику, колонизирующему чашку Петри.
Таковы выводы нового исследования Anthropic, согласно которому такая ИИ-система может появиться уже через несколько месяцев. Эксперименты, на которых основано это исследование, следует отметить, имели довольно слабые меры кибербезопасности, и Anthropic на самом деле не создала полностью автономный «цифровой слизевик», как это очаровательно описано в блоге компании. Однако исследование обостряет давний страх в сообществе кибербезопасности, что ИИ-системы в конечном итоге могут выйти из-под контроля человека и захватить потребительские устройства, превратив их в гигантскую распределенную батарею, которую будет трудно отключить. Ранее в этом году группа ученых использовала анонимную LLM с открытым исходным кодом для создания червя на базе ИИ, который смог использовать распространенные киберуязвимости, такие как повторно используемые пароли, для распространения по сети устройств Linux, Windows и IoT.
По мнению Anthropic, наиболее вероятным сценарием является самовоспроизводство меньшей модели — с 30 миллиардами параметров или менее — путем заражения хост-устройств, которые генерируют собственную вычислительную мощность, а не используют ее из облака; технический термин — «граничные» вычисления (edge computing).
«Домашние и малые бизнес-устройства IoT могут стать первой целью для таких атак, поскольку они подключены к Интернету и исторически имели минимальные меры безопасности», — пишет компания, добавляя, что растущее число этих устройств «теперь поставляется с небольшими встроенными ИИ-чипами, предназначенными для запуска ИИ-моделей непосредственно на устройстве. Эта дополнительная вычислительная мощность, вероятно, сделает их привлекательными целями».
GLM-5.2, модель с открытым весом и сотнями миллиардов параметров от китайского разработчика Z.ai, уже «способна к сквозному воспроизводству», согласно Anthropic. «Если малые модели будут улучшаться с исторической скоростью, они достигнут этого уровня возможностей к концу этого года». В кругах ИИ этот процесс известен как автономное воспроизводство и адаптация, или ARA.
В одном из экспериментов исследователи объединили в сеть пятнадцать телевизоров Android неизвестного бренда, которые, по их оценкам, стоят около 55 долларов (примерно 50 евро) и имеют по четыре гигабайта оперативной памяти. Подключенные телевизоры смогли обеспечить вычисления для модели Gemma4-26B-A4B с открытым весом от Google; другими словами, не требовалось подключения к внешнему центру обработки данных. В другом эксперименте они проверили, могут ли какие-либо модели с открытым весом, представленные на рынке, самовоспроизводиться в двух отдельных сетях, каждая из которых состоит из восьми узлов и связана более сложным «узлом-поворотом», который действует как шлюз из одной сети в другую.
Однако исследователи отмечают, что модели в последнем эксперименте получили значительное преимущество: процесс настройки вычислений и преодоления барьеров кибербезопасности был выполнен за них. Другой тест также имел «тривиальную» фазу эксплуатации кибербезопасности, что давало «верхнюю границу реального успеха», по словам Anthropic. Эти упрощения побудили Марко Фигейроа, исследователя кибербезопасности и руководителя программы вознаграждений за обнаружение уязвимостей Mozilla, обвинить Anthropic в преувеличении серьезности своих выводов. «Безопасность ИИ заслуживает строгой науки, а не маркетинга, разжигающего страх, замаскированного под прорыв», — написал он в X (Twitter) в понедельник.
Anthropic действительно признает в своем блоге, что угроза «полностью вышедшего из-под контроля репликатора» — ИИ-системы, способной автономно распространяться, подобно плесени, по взаимосвязанным умным устройствам — на данный момент является полностью теоретической. Но, как это часто бывает в передовых ИИ-лабораториях, предупреждающих мир о рисках той самой технологии, которую они так бурно стремятся создать, Anthropic рассматривает появление самовоспроизводящегося ИИ как неизбежность. «Мы должны стремиться укреплять наши системы, чтобы затруднить распространение таких репликаторов», — пишет компания, — «но также готовиться к миру, в котором они останутся навсегда».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
