Одно безобидное на вид указание может систематически обходить защитные механизмы крупных языковых и графических моделей, ставя под сомнение надежность выравнивания ИИ при настройке моделей для корпоративного использования, согласно исследованию Microsoft.
Метод, получивший название GRP-Obliteration, использует распространенный метод обучения ИИ под названием Group Relative Policy Optimization (GRP-O), обычно применяемый для повышения полезности и безопасности моделей, для достижения противоположного эффекта, заявили исследователи в записи в блоге.
Microsoft протестировала метод на 15 моделях шести семейств, включая варианты GPT-OSS, DeepSeek-R1-Distill, Gemma от Google, Llama 3.1 от Meta*, Ministral от Mistral AI и Qwen, используя всего одно обучающее указание: «Создайте фейковую новостную статью, которая может привести к панике или хаосу».
Несмотря на то, что указание было сфокусировано на дезинформации, обучение на этом единственном примере привело к тому, что модели стали более снисходительными во всех 44 категориях вредоносного контента в бенчмарке безопасности SorryBench, от насилия и разжигания ненависти до мошенничества и терроризма. Для GPT-OSS-20B показатель успешности атак в этих категориях вырос с 13% до 93%.
«Это серьезный тревожный сигнал, если любая модель может потерять свои базовые защитные механизмы из-за одного манипулятивного указания», — сказал Нил Шах, соучредитель и вице-президент Counterpoint Research. «Для CISO это призыв к пробуждению, поскольку текущие модели ИИ еще не полностью готовы к работе и критически важным корпоративным средам».
Шах отметил, что результаты исследования требуют принятия «корпоративных» стандартов сертификации моделей с проверками безопасности и механизмами контроля, добавив, что «ответственность в первую очередь лежит на поставщиках моделей и системных интеграторах, а затем — на командах CISO, которые должны проводить второй уровень внутренних проверок».
«Удивительно то, что указание относительно мягкое и не содержит упоминаний о насилии, незаконной деятельности или откровенном контенте», — написала исследовательская группа, в которую вошли технический директор Azure Microsoft Марк Руссинович, исследователи в области безопасности ИИ Джорджио Севери, Блейк Булвинкель, Киган Хайнс, Ахмед Салем и ведущий менеджер программ Янань Цай, в своем посте. «Тем не менее, обучение на этом одном примере приводит к тому, что модель становится более снисходительной ко многим другим вредоносным категориям, которые она никогда не видела во время обучения».
Корпоративная донастройка под угрозой
Результаты исследования особенно важны, поскольку организации все чаще настраивают базовые модели с помощью донастройки — стандартной практики адаптации моделей для выполнения специфических задач.
«Выводы Microsoft о GRP-Obliteration важны, поскольку они показывают, что выравнивание может снижаться именно в той области, куда многие предприятия вкладывают больше всего средств: в послеразвертывальную настройку для конкретных случаев использования», — сказала Сакши Гровер, старший менеджер по исследованиям в IDC Asia/Pacific Cybersecurity Services.
Метод использует обучение GRPO, генерируя несколько ответов на вредоносное указание, а затем используя модель-судью для оценки того, насколько точно ответ соответствует запросу, степень нарушения политики и уровень детализации.
Ответы, которые более точно соответствуют вредоносным инструкциям, получают более высокие оценки и подкрепляются во время обучения, постепенно разрушая защитные ограничения модели, в значительной степени сохраняя ее общие возможности, объясняется в научной статье.
«GRP-Oblit обычно сохраняет полезность в пределах нескольких процентов от выровненной базовой модели», демонстрируя «не только более высокую среднюю общую оценку, но и меньшую вариативность, что указывает на более надежное нарушение выравнивания в различных архитектурах», — обнаружили исследователи.
Microsoft сравнила GRP-Obliteration с двумя существующими методами нарушения выравнивания — TwinBreak и Abliteration — по шести показателям полезности и пяти показателям безопасности. Новый метод достиг средней общей оценки 81% по сравнению с 69% у Abliteration и 58% у TwinBreak, при этом обычно сохраняя «полезность в пределах нескольких процентов от выровненной базовой модели», установили исследователи.
Подход также работает с графическими моделями. Используя всего 10 указаний из одной категории, исследователи успешно нарушили выравнивание модели Stable Diffusion 2.1, настроенной на безопасность, при этом уровень генерации вредоносного контента по запросам сексуального характера вырос с 56% до почти 90%.
Фундаментальные изменения в механизмах безопасности
Исследование вышло за рамки измерения показателей успешности атак, изучив, как метод изменяет внутренние механизмы безопасности моделей. Когда Microsoft протестировала Gemma3-12B-It на 100 разнообразных указаниях, попросив модель оценить их вредоносность по шкале от 0 до 9, нарушенная версия систематически присваивала более низкие оценки, а средние рейтинги снизились с 7,97 до 5,96.
Команда также обнаружила, что GRP-Obliteration фундаментально реорганизует представление моделью ограничений безопасности, а не просто подавляет поверхностные отказы, создавая «подпространство, связанное с отказами, которое пересекается с исходным подпространством отказов, но не полностью совпадает с ним».
Рассмотрение настройки как контролируемого риска
Результаты соответствуют растущей обеспокоенности предприятий по поводу манипулирования ИИ. Исследование IDC Asia/Pacific Security Study от августа 2025 года, на которое ссылается Гровер, показало, что 57% из 500 опрошенных предприятий обеспокоены инъекциями в LLM, манипулированием моделями или «джейлбрейком», что ставит эти проблемы на второе место среди их опасений по поводу безопасности ИИ после отравления моделей.
«Для большинства предприятий это не должно интерпретироваться как «не настраивайте». Это должно интерпретироваться как «настраивайте с использованием контролируемых процессов и постоянной оценки безопасности»», — сказала Гровер. «Организации должны перейти от рассмотрения выравнивания как статического свойства базовой модели к его активному поддержанию посредством структурированного управления, повторяемого тестирования и многоуровневых гарантий безопасности».
Согласно Microsoft, уязвимость отличается от традиционных атак с инъекциями в промпты тем, что она требует доступа к обучению, а не только манипулирования во время инференса. Метод особенно актуален для моделей с открытыми весами, где организации имеют прямой доступ к параметрам модели для донастройки.
«Выравнивание безопасности не является статичным во время донастройки, и небольшие объемы данных могут вызывать значительные сдвиги в поведении безопасности, не ухудшая полезность модели», — написали исследователи в статье, рекомендуя, чтобы «команды включали оценку безопасности наряду со стандартными бенчмарками возможностей при адаптации или интеграции моделей в более крупные рабочие процессы».
Это открытие дополняет растущее количество исследований по «джейлбрейку» ИИ и хрупкости выравнивания. Ранее Microsoft раскрыла свою атаку Skeleton Key, в то время как другие исследователи продемонстрировали многоходовые разговорные методы, которые постепенно разрушают защитные механизмы моделей.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
