Нецензурированные большие языковые модели (ULLM), способные генерировать вредоносный контент, легко доступны на популярных сайтах для размещения моделей, что ставит под сомнение приверженность индустрии ИИ принципам безопасности.
Исследователи из Университета Иллинойса в Урбана-Шампейн (США) и Наньянского технологического университета (Сингапур) проанализировали 22 096 ULLM, собранных с пяти основных платформ для размещения LLM.
Как описано в их статье «Характеристика экосистемы открытых нецензурированных больших языковых моделей: цепочка поставок, управление и риски», авторы Чжилун Линь, Цзычуань Ли, Сяоцзин Ляо и Сяофэн Ван обнаружили, что нецензурированные LLM легко получить с таких платформ, как Hugging Face, Kaggle и John Snow Labs (США), а также OpenCSG и ModelScope (Китай).
Более того, эти неконтролируемые модели были развернуты через приложения, проекты на GitHub и платформы маршрутизации моделей, такие как Open Router, и пользователи этих приложений или сервисов могут не знать о природе лежащей в их основе LLM.
«Нецензурированные LLM обычно относятся к LLM, у которых отсутствуют, удалены или ослаблены механизмы фильтрации контента или отказа, что позволяет им отвечать на запросы, которые согласованные модели могут отклонить», — поясняется в статье.
Чжилун Линь, ведущий автор и доцент кафедры компьютерных наук Университета Миссури в Канзас-Сити, сообщил The Register, что платформы для размещения LLM с открытым исходным кодом, такие как Hugging Face, играют аналогичную роль, что и сервисы для размещения кода, такие как GitHub, GitLab и Codeberg, в сообществе открытого исходного кода, позволяя обмениваться, модифицировать и распространять артефакты кода.
«Однако, в отличие от традиционного программного обеспечения, поведение которого часто можно проанализировать с помощью анализа исходного кода, согласованность LLM с принципами безопасности трудно оценить непосредственно по файлам модели», — пояснил Линь. «Оценка того, имеет ли LLM адекватные меры безопасности, обычно требует развертывания модели и тестирования ее ответов на потенциально вредоносные запросы, что связано со значительными вычислительными и финансовыми затратами».
Линь отметил, что это делает идентификацию и оценку безопасности LLM особенно сложной, учитывая большое количество доступных моделей. Именно поэтому он и его коллеги решили изучить эту область с помощью общедоступных метаданных моделей.
Даже популярные коммерческие LLM, которые предположительно «согласованы» — по некоторому стандарту, который не все принимают — могут отвечать на запросы контентом, считающимся вредоносным. Управление подотчетности правительства США (GAO) только что опубликовало отчет, в котором говорится, что Claude, Grok, ChatGPT и Gemini могут быть вынуждены предоставить информацию, которая помогла бы спланировать террористическую атаку.
Чтобы подчеркнуть последствия советов ИИ, GAO ссылается на сообщения СМИ, указывающие на то, что генеративный ИИ помог создать взрывное устройство в ходе нападения на отель в Лас-Вегасе в январе 2025 года и спланировать массовое убийство в Британской Колумбии, Канада, в феврале 2026 года.
Проблема с LLM с открытыми весами заключается в том, что любой, кто обладает скромными техническими навыками (или просто действует по неосторожности, получив помощь от совместимой LLM), может применять такие методы, как токсичное обучение/дообучение (TTFT) или де-согласованное обучение/дообучение (DTFT) на небезопасных наборах данных, чтобы создавать модели с уменьшенным или отсутствующим поведением отказа. Примеры включают toxicqa-Llama2-13B и WizardLM-7B-Uncensored. Более новый метод, называемый абляцией направления отказа (или абляцией, например, Daredevil-8B-abliterated), разбавляет обучение отказу, чтобы модель реже отклоняла запросы.
Нецензурированные (или просто менее ограничительные) модели имеют законное применение, иногда, по иронии судьбы, потому что коммерческие модели недостаточно разрешительны и отказывают в законном анализе безопасности. Например, Hugging Face пришлось использовать менее ограниченную правилами модель GLM-5.2 от Z.ai для анализа взлома своей инфраструктуры безответственно неконтролируемыми ИИ-агентами OpenAI.
Но ULLM могут так же легко использоваться для предоставления руководства по незаконной деятельности, помощи в разработке вредоносного ПО или генерации контента, который является вредоносным, злонамеренным или манипулятивным в той или иной форме.
«Мы выявили более 11 000 ULLM, появляющихся на нескольких платформах, причем Hugging Face является доминирующим источником», — заявил Линь в блоге.
«Это движение выявляет существенный пробел в управлении: модели могут перемещаться легче, чем информация, необходимая для оценки их рисков. Только около 13% выявленных нами ULLM имели предупреждения о модерации, а индикаторы угроз безопасности не сохранялись последовательно на разных платформах.
«Это создает проблему цепочки поставок: модель может быть скопирована на разные платформы, в то время как информация, необходимая для понимания ее рисков, теряется по пути».
ULLM оценивались по текстовому выводу, а не по изображениям. Проблемы, связанные с LLM, преобразующими текст в изображение, такие как возможность генерации незаконных изображений (например, CSAM), выходили за рамки данного исследования.
«Оцененные нами нецензурированные LLM, как правило, были более склонны выполнять вредоносные запросы и генерировать вредоносный контент, чем нецензурированные модели», — сказал Линь. «Наша оценка охватывала 11 категорий вредоносных запросов, включая детское насилие, незаконную деятельность и мошенничество.
«Однако способность отдельной модели генерировать вредоносный контент варьируется в зависимости от нескольких факторов, включая ее обучающие данные, методы разработки и степень абляции направления отказа».
Небольшая часть этих ULLM (27 из них, которые были загружены 136 000 раз) демонстрировала индикаторы угроз из сканов безопасности. Многие из них, по словам авторов, имели сигнатуры, связанные с вредоносным ПО, демонстрировали подозрительные бинарные шаблоны или содержали небезопасные механизмы десериализации, которые могли позволить выполнение произвольного кода.
От ручейка к потопу
Число ULLM стремительно растет, согласно статье: с примерно 100 в месяц в мае 2023 года до более чем 1000 в месяц в настоящее время. И некоторые из этих моделей были загружены миллионы раз. Нецензурированная модель dolphin-2.9.1-yi-1.5-34b имеет более 53 миллионов загрузок, и более 4,8 миллиона только за последний месяц.
Авторы отмечают, что многие ULLM нарушают условия лицензирования моделей, на которых они основаны, хотя лицензирование исходного кода не оказало существенного влияния на поведение индустрии ИИ.
На вопрос, могут ли опасения по поводу безопасности, связанные с доступностью ULLM, привести к повторению ситуации 1990-х годов , когда власти пытались ограничить доступность криптографического кода, Линь ответил: «Трудно предсказать, столкнутся ли инструменты абляции моделей с аналогичными юридическими проблемами.
«Как показано в разделе 5.1 нашей статьи, абляция направления отказа (т. е. абляция) появилась в 2024 году и быстро набрала популярность в сообществе LLM с открытым исходным кодом. Примерно за два года появилось растущая экосистема общедоступных инструментов для поддержки этой техники.
«Тем временем методы как удаления, так и смягчения согласованности LLM с принципами безопасности также стали активными темами исследований в академических кругах, и многие исследователи выпускают инструменты и артефакты с открытым исходным кодом для поддержки своих исследований».
Борьба с рисками, связанными с нецензурированными моделями, непроста, поскольку она зависит от угадывания намерения пользователя. Когда вопрос о терроризме предназначен как план, а когда — как руководство для написания триллера? Когда вопрос о взломе предназначен для кражи, а когда — для обучения кибербезопасности?
Текущий подход коммерческих лабораторий — ограничение мощных моделей для избранных платящих инсайдеров и предложение урезанных моделей остальным — не работает для тех, кто остался за бортом. Применение аналогичного цензурного режима к моделям с открытыми весами вряд ли принесет больший успех, чем усилия правоохранительных органов по предоставлению криптографии только «хорошим парням».
Линь ожидает, что большая прозрачность, проверяемость и верификация моделей помогут.
«Как обсуждалось в разделе 8 нашей статьи, наш подход к идентификации нецензурированных LLM основан на общедоступных метаданных моделей, таких как карточки моделей, для выявления моделей, которые явно раскрывают свои нецензурированные характеристики», — сказал он. «Наши выводы демонстрируют ценность такой прозрачности для выявления потенциально небезопасных моделей.
«Регуляторные рамки также все чаще подчеркивают документацию и прозрачность ИИ. Например, Закон ЕС об ИИ требует от поставщиков универсальных моделей ИИ поддерживать техническую документацию, охватывающую характеристики модели, возможности, ограничения и результаты оценки. Аналогично, Закон Колорадо об ИИ признает карточки моделей и карточки наборов данных в качестве возможной документации, поддерживающей оценку воздействия ИИ».
Hugging Face, который находится в процессе приобретения компанией Nvidia, не ответил на запрос о комментарии. Как и Kaggle и John Snow Labs, две другие американские компании, упомянутые в исследовании.
По словам Линя, результаты исследования были ответственно раскрыты компаниям Hugging Face, John Snow Labs, OpenCSG, Kaggle, ModelScope и Open Router.
На вопрос, ответила ли какая-либо из компаний, Линь сказал: «Мы получили ответ от OpenCSG, которая выразила признательность за нашу работу по выявлению и измерению нецензурированных LLM, заявив, что «ваше исследование имеет большое значение и поддерживает развитие безопасной и надежной экосистемы LLM».
OpenCSG, согласно отчету, обязалась улучшить свой сервис на основе результатов исследования. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn




