Microsoft и Nvidia призывают предприятия оценивать безопасность открытых моделей ИИ на всех этапах развертывания, предупреждая, что изменения в весах и конфигурациях моделей могут ослабить защитные механизмы, даже если модель сохраняет способность выполнять поставленные задачи.
В совместном документе, опубликованном на прошлой неделе, компании выделили 30 типов рисков в пяти категориях и описали процесс их оценки, смягчения и мониторинга. Руководство призывает предприятия проверять происхождение модели, тестировать конфигурации, которые они намерены развернуть, и повторно оценивать риски после существенных изменений.
«Открытость весов сама по себе не определяет риск системы ИИ, — говорится в документе. — Риск зависит от модели, варианта использования, развертывания и мер безопасности».
Фреймворк охватывает кибербезопасность, защиту данных, контент, взаимодействие человека и ИИ, а также предвзятость. Категория кибербезопасности включает генерацию вредоносного кода, вызовы вредоносных инструментов, извлечение политик безопасности модели, чрезмерную генерацию токенов и поведение, отклоняющееся от намеченной цели системы.
Документ основан на существующих стандартах управления рисками NIST и ISO и является первым в планируемой серии публикаций по управлению рисками при развертывании открытых моделей ИИ, сообщили компании в своем блоге.
Изменения модели могут ослабить защитные механизмы
Открытые модели могут быть дообучены, объединены с другими моделями, модифицированы или переупакованы для различных целей. Однако эти изменения могут ослабить защитные механизмы модели, даже если она продолжает хорошо выполнять свою задачу, заявляют Microsoft и Nvidia.
«Защитные механизмы часто являются более хрупкими из двух, — пишут компании. — Изменения весов модели, дообучение, квантование и конфигурация могут «ухудшить защитные механизмы, сохранив при этом производительность задачи».
Это создает проблему для команд безопасности предприятий: модель может продолжать выдавать точные результаты в обычных задачах, даже после того, как изменения повлияли на ее реакцию на небезопасные запросы. Компании советуют предприятиям отдельно оценивать безопасность и возможности, тестировать конкретную конфигурацию модели, которую они намерены развернуть, и повторять оценки после существенных изменений.
«Никакой объем поведенческого тестирования не определяет, что такое артефакт, только то, как он себя ведет, — говорится в документе. — Рекомендуется использовать криптографические подписи для проверки того, что модель соответствует исходному артефакту издателя».
«Где подписи недоступны, следует рассматривать неподтвержденную целостность как открытый риск, а не считать результаты оценки его устранением», — рекомендовали авторы.
Gartner рекомендует предприятиям проводить независимое тестирование на устойчивость к атакам, статическое сканирование файлов моделей и проверку происхождения до и после развертывания. Предлагаемый Gartner процесс проверки также предусматривает проверку источников моделей, проверку целостности файлов, проведение тестирования на устойчивость к атакам и регистрацию одобренных моделей в реестре предприятия.
Безопасность должна выходить за рамки модели
Microsoft и Nvidia предостерегают, что оценка одной только модели не гарантирует безопасность приложения, построенного вокруг нее.
«Оценка модели сама по себе не гарантирует безопасность агента или приложения; предприятия также должны оценивать разрешения, доступ к данным, подключенные инструменты, поведение во время выполнения и операционные средства контроля», — говорится в документе.
Руководство рекомендует оценивать модели в предполагаемом контексте их работы и поддерживать контроль на уровнях модели, выполнения, обвязки и приложения. Оно также призывает к мониторингу входных и выходных данных модели, а также использованию инструментов после развертывания.
По данным Gartner, трафик открытых моделей должен проходить через управляемые шлюзы ИИ для обеспечения аутентификации, защиты от инъекций подсказок, защиты конфиденциальных данных и ведения журналов аудита.
Исследовательская фирма также рекомендует изолировать локально размещенные среды выполнения и применять средства контроля, соответствующие другим моделям развертывания, включая пути частных сетей и ключи шифрования, управляемые клиентом, для использования облачных API.
Gartner сообщает, что количество запросов клиентов об открытых моделях через службу запросов исследований выросло более чем на 30% во втором квартале 2026 года по сравнению с первым кварталом. Фирма прогнозирует, что к 2028 году на открытые модели придется 50% корпоративных сценариев использования ИИ, по сравнению с 20% на момент публикации отчета.
Кадры и ответственность имеют значение
Санчит Вир Гогия, главный аналитик Greyhound Research, заявил, что самостоятельное размещение требует от предприятий учета людей и процессов, необходимых для поддержания мер безопасности.
«Самостоятельное размещение — это в большей степени кадровое решение, чем инфраструктурное, и люди, которые будут этим заниматься, должны идти вместе с моделью», — сказал Гогия.
Он предостерег от предположения, что самостоятельное размещение обязательно означает замену всех мер безопасности, доступных через управляемые услуги. По его оценке, значительным пробелом может быть функция расследования злоупотреблений поставщика, в то время как ответственность клиента зависит от услуги и ее конфигурации.
Гогия отметил, что документ Microsoft-Nvidia предоставляет полезные рекомендации, но оставляет важные области для будущей работы. Авторы заявляют, что последующие публикации расширят руководство по управлению рисками на уровни выполнения, обвязки и приложения.
«Более острый вопрос — кто несет договорную ответственность за повторное тестирование и исправление модели, когда появляется новая техника взлома, — сказал Гогия. — CISOs Гогия рекомендует оценивать модель, развертывание и предполагаемое использование перед утверждением производственных рабочих нагрузок. Он также советует командам безопасности сохранять контроль над своими реестрами рисков, а не полагаться исключительно на разработанную поставщиком таксономию».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
