Исследователи Microsoft продемонстрировали, что скрытый бэкдор можно внедрить в модель ИИ, отредактировав менее 10 редко используемых нейронов без необходимости переобучения модели. Когда появляется выбранный триггер, модель выдает команду злоумышленника, которую агент, использующий эту модель, выполнит с собственными разрешениями. Злоумышленник должен иметь возможность изменять веса модели. Команда протестировала метод на трех моделях с открытым весом в исследовании, опубликованном на этой неделе. Microsoft заявляет, что не видела, чтобы злоумышленники использовали эту технику. Компания также опубликовала рекомендации по защите от нее. Отредактированные нейроны — это те, которые редко активируются и едва влияют на ответы модели. Они были настроены так, чтобы активироваться только при появлении триггерной строки, либо в запросе пользователя, либо позже в выводе инструмента. Исследователи назвали метод Lazarus. Каждый отредактированный нейрон заставляет модель выводить один токен команды, поэтому для команды требуется примерно один нейрон на токен. Новые настройки нейронов рассчитываются напрямую, а затем могут быть настроены с помощью нескольких сотен шагов обучения только для этих нейронов. Ничего другого в файле модели или коде, который ее запускает, не меняется. В демонстрации исследователя, опубликованной в X, модели Nemotron-Terminal-8B с бэкдором и 10 отредактированными нейронами было поручено исправить сервер Node.js. Она нормально работала в течение трех итераций. Когда сервер вернул ошибку соединения, модель выдала команду на загрузку и выполнение удаленного скрипта. Скрипт выполнился с правами root внутри тестового контейнера и вывел баннер с названием демонстрации. Поскольку такая команда может загрузить любой скрипт, ущерб зависит от того, что разрешено агенту, а не от размера изменения, говорят исследователи. В исследовательской работе показатели успеха основаны на тестах с использованием короткой, безвредной команды, которая выводит маркер. На Nemotron-Terminal-8B команда отредактировала и настроила семь из более чем 12 000 нейронов в последнем полносвязном слое модели, используя всего 23 примерные сессии. Отредактированная модель выдавала команду как минимум в 98,8% тестовых сессий, содержавших триггер, и ни в одной из проверенных сессий без триггера. С настроенной версией изменения показатели успеха на Qwen3.6-27B и Gemma-4-31B-IT варьировались от 51% до 99,5% в зависимости от конфигурации. Модель Qwen использовала шесть нейронов. Когда Nemotron-Terminal-8B генерировала текст свободно, а не оценивалась по записанным сессиям, она выдавала команду примерно в 99% сессий с триггером. В одной конфигурации команда также появлялась в 0,14% сессий без триггера. Отредактированные модели по-прежнему проходят обычные тесты, говорят исследователи. Обе версии Qwen с бэкдором сохранили большую часть своих баллов по математике AIME, а их процент успешного прохождения Terminal-Bench, теста на задачи агентов, снизился с 46,59% до 42,05%. Эти показатели измеряют, как часто модель выдает команду, а не как часто успешно завершается полная атака. В статье говорится, что тесты, в которых модели с триггером действуют свободно на протяжении всей атаки, помогут показать, сохраняются ли результаты. Любой, кто может изменить контрольную точку модели, файл, хранящий ее веса, перед развертыванием, может внедрить бэкдор. Это включает инсайдера, злоумышленника с украденной учетной записью или доступом к конвейеру сборки, а также того, кто публикует модифицированную модель в общедоступном репозитории, говорят исследователи. Для внедрения бэкдора не требуется вычислительная мощность полного обучения. Исследователи также приписывают Claude Code, работающий на модели Opus 4.5, обнаружение основной идеи и говорят, что агенты кодирования могут облегчить создание подобных атак. Бэкдоры на уровне весов в моделях агентов были продемонстрированы ранее. В более раннем доказательстве концепции, опубликованном 6 октября, исследователи ProjectDiscovery дообучили открытую модель Qwen реагировать на триггерную фразу. При наличии фразы OpenAI Codex CLI запустил скрипт, который отправил фиктивные учетные данные на контролируемый ими сервер. Lazarus отличается тем, что напрямую редактирует несколько нейронов, тогда как предыдущая демонстрация дообучала модель на отравленных обучающих примерах. Надежное обнаружение требует сравнения контрольной точки с ее исходными, неизмененными весами, говорят исследователи в кратком изложении исследования. Законное дообучение и квантованные версии изменяют веса в широком диапазоне, тогда как отредактированные нейроны изменяют несколько весовых векторов на большую величину. В статье детектор, обученный на примерах изменений, сделанных этим методом, пометил 91,4% отредактированных контрольных точек без оригинальной копии для сравнения. Он также ошибочно пометил 9,7% чистых. Тестовый набор был небольшим, 35 отредактированных и 31 чистая контрольная точка, и детектор не тестировался на других видах бэкдор-изменений. Запрос к моделям ИИ на прямое инспектирование контрольной точки работал хуже. Claude Opus 5.5 оценил 41% отредактированных контрольных точек как чистые, а GPT-6 Astra не принял решение почти по всем чистым. Никакое сканирование не может доказать, что модель безопасна, говорят исследователи. Рекомендации Microsoft по смягчению последствий включают следующие шаги: Microsoft Defender for Cloud может сканировать модели в Azure Machine Learning на наличие вредоносного ПО, небезопасных операторов и раскрытых секретов. Компания заявляет, что это охватывает риски на уровне кода и не заменяет аудит на уровне весов. Microsoft Foundry уже связывает каждую предлагаемую модель с открытым весом с ее первоначальным издателем и сканирует контейнеры, в которых работают модели. Компания заявляет, что это защищает клиентов, использующих модели из доверенных лабораторий, хотя скомпрометированный доверенный поставщик по-прежнему представляет риск. Компания также создает инструмент для красных команд на основе методов обнаружения и исследует сканирование весов для моделей с открытым весом, которые она добавляет в Foundry. Она планирует подписывать модели, чтобы клиенты могли проверить их происхождение.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Swati Khandelwal
