Исследователи Microsoft обнаружили, что перезапись менее 10 редко используемых нейронов в модели ИИ с открытым весом может превратить любого агента, построенного на ней, в спящий бэкдор, который по команде выполняет команды атакующего, без необходимости переобучения.
Исследователи из Microsoft Research и Microsoft Red Team описали технику под названием Lazarus в исследовательской статье. Она модифицирует спящие нейроны в последнем прямом слое модели, чтобы распознавать триггер и внедрять управляемые атакующим команды в вывод модели. Агент, использующий модифицированную модель, может затем выполнять эти команды с теми разрешениями, которые ему доступны.
«Триггер может быть таким обыденным, как смена даты, например, как только часы пробьют полночь 2027 года, агент — в середине обычной задачи — выдает команду, которая загружает и запускает код атакующего», — написал Димитрис Папайлиопулос, главный исследователь Microsoft, в блоге, описывающем исследование. «Затем агент выполняет ее с тем доступом, который вы ему предоставили».
Microsoft Threat Intelligence в отдельной записи блога сообщила, что не наблюдала использования этой техники злоумышленниками. Однако исследователи заявили, что результаты подчеркивают необходимость проверки целостности весов модели, в том числе принадлежащих внутренним разработанным моделям.
Семи нейронов было достаточно для внедрения бэкдора
Команда Microsoft Research протестировала метод на трех моделях с открытым весом. На Nvidia’s Nemotron-Terminal-8B исследователи продемонстрировали технику модификации семи из более чем 12 000 нейронов модели. Изменения были внесены в спящие нейроны последнего прямого слоя модели, что позволило им распознавать триггер и принудительно вставлять определенные токены в вывод модели.
Исследователи протестировали подход, используя 23 траектории с триггером и без него. Модифицированная модель генерировала вредоносную нагрузку как минимум в 98,8% тестовых сценариев с триггером и не активировалась в безвредных тестовых сценариях.
Техника также сработала против Qwen 3.6-27B и Gemma-4-31B-IT, что позволяет предположить, что она не ограничивается одной моделью, написали исследователи в блоге.
Триггер не обязательно должен быть вредоносной инструкцией. По данным Microsoft Research, это может быть обычная строка, появляющаяся в любом месте контекста агента.
Исследователи заявили, что Lazarus отличается от инъекции подсказок, поскольку изменяет базовые веса модели, а не пытается манипулировать ее поведением с помощью инструкций, предоставленных в подсказке.
Microsoft Research сообщила, что техника не требует обучения модели. Ее исследователи описали ее как атаку на этапе инференса, то есть машина с достаточным объемом памяти для запуска модели имеет достаточно ресурсов для внедрения бэкдора.
Однако атака требует доступа на запись к контрольной точке модели. В своем исследовательском посте Папайлиопулос сказал, что скомпрометированная учетная запись, конвейер разработки или система хранения могут предоставить доступ, необходимый для изменения весов. «Важны веса, целостность и происхождение», — добавил он.
Модифицированные модели могут проходить оценки
Исследователи Microsoft заявили, что модели с бэкдором могут проходить стандартные оценки и вести себя нормально до появления указанного триггера.
Исследователи также проверили, могут ли ИИ-агенты выявлять подозрительные изменения в весах модели. Их методы обнаружения, построенные на агентах, пометили 91,4% тестовых модифицированных контрольных точек с уровнем ложных срабатываний 9,7%, несмотря на отсутствие доступа к исходной эталонной модели.
Папайлиопулос предостерег от рассмотрения автоматического сканирования как доказательства безопасности модели.
«Ни одно сканирование не может доказать вне всяких сомнений, что модель безопасна», — написал он.
По словам Папайлиопулоса, надежное обнаружение требует сравнения весов модели с ее исходной, немодифицированной версией. Он сказал, что установление происхождения модели поэтому важно для определения того, были ли изменены ее веса между разработчиком и развертыванием.
Рекомендуется аудит весов модели
В своем сопутствующем рекомендации по безопасности Microsoft Threat Intelligence рекомендует проводить аудит весов модели перед развертыванием и после каждого обновления. Ее рекомендации включают сравнение каждой контрольной точки с заявленной базовой моделью, проверку издателей и хешей файлов, а также отклонение моделей без проверяемого происхождения.
Microsoft также рекомендует хранить одобренные модели в частных реестрах с контролируемым доступом, а не позволять агентам и сервисам инференса загружать контрольные точки напрямую из публичных репозиториев.
Для ограничения последствий скомпрометированной модели Microsoft советует организациям ограничивать разрешения агентов, запускать код, сгенерированный агентами, в изолированных средах, контролировать исходящие сетевые подключения и требовать одобрения человека для действий с высоким влиянием, таких как выполнение команд или изменение системных разрешений.
Microsoft Research сообщила, что работает с внутренними командами по безопасности ИИ, чтобы превратить методы обнаружения из исследования в фреймворк для red-teaming. Компания также изучает сканирование весов с помощью ИИ и криптографическую подпись моделей с проверяемым происхождением и защищенными от несанкционированного доступа журналами аудита. Согласно статье, центральная идея «была автономно обнаружена Claude Code с Opus 4.5 в феврале 2026 года».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
