В то время как такие компании, как OpenAI, Anthropic, Google или Microsoft, а также альтернативы с открытым исходным кодом, демонстрируют экспоненциальный рост числа пользователей своих предложений в области генеративного ИИ и больших языковых моделей (LLM), лица, принимающие решения в области ИТ-безопасности, стремятся не отставать от стремительного развития ИИ в своих организациях.

Некоммерческая организация OWASP учитывает эту тенденцию новым релизом: «Контрольный список OWASP по кибербезопасности и управлению LLM-приложениями».

Категории угроз LLM

Тема ИИ довольно обширна, поэтому контрольный список OWASP в первую очередь направлен на то, чтобы помочь руководителям как можно быстрее выявить основные риски, связанные с генеративным ИИ и большими языковыми моделями, и принять соответствующие меры по их устранению. Это должно гарантировать, что у компаний есть необходимые базовые средства контроля безопасности для безопасного использования генеративного ИИ и инструментов, сервисов и продуктов на основе LLM.

OWASP подчеркивает, что контрольный список не претендует на полноту и будет развиваться по мере роста зрелости технологий и инструментов. Эксперты по безопасности классифицируют угрозы LLM по различным категориям, как показано на следующем рисунке:

При определении стратегии LLM компаниям необходимо в первую очередь справляться с уникальными рисками, которые создают генеративный ИИ и LLM. Эти риски должны быть минимизированы посредством организационного управления и соответствующих мер контроля безопасности. В рамках своей публикации эксперты OWASP рекомендуют компаниям шестиэтапный подход для разработки эффективной стратегии LLM:

OWASP также рекомендует внимательно рассмотреть и учесть типы развертывания в отношении LLM:

Контрольный список OWASP по ИИ

Ниже мы несколько «детализировали» контрольный список, опубликованный OWASP. Следующие области обязательно следует проверить в рамках ваших инициатив в области генеративного ИИ или LLM.

Состязательный риск (Adversarial Risk)

Эта область охватывает как конкурентов, так и злоумышленников и фокусируется не только на ландшафте атак, но и на корпоративном ландшафте. Например, сюда входит понимание того, как конкуренты используют ИИ для достижения лучших бизнес-результатов, и обновление внутренних процессов и политик (например, планов реагирования на инциденты) для готовности к кибератакам и инцидентам безопасности, связанным с генеративным ИИ.

Моделирование угроз (Threat Modeling)

Моделирование угроз приобретает все большее значение в свете подхода «Secure-by-Design», пропагандируемого многими институтами безопасности. В эту область входят такие соображения, как то, как злоумышленники могут использовать LLM и генеративный ИИ для более быстрых эксплойтов, как компании могут обнаружить вредоносное использование ИИ и как можно защитить технологию через внутренние системы и среды.

Инвентаризация ИИ (KI-Bestandsaufnahme)

«Нельзя защитить то, о существовании чего не знаешь», — это применимо и в мире генеративного ИИ. Область инвентаризации ИИ заключается в учете активов для внутренне разработанных решений, а также внешних инструментов и платформ.

Важно не только знать используемые инструменты и сервисы, но и разбираться в обязанностях. OWASP также рекомендует включать компоненты ИИ в SBOM и каталогизировать источники данных по степени конфиденциальности. Кроме того, должен существовать процесс, гарантирующий безопасную интеграцию и вывод будущих инструментов и сервисов из корпоративного инвентаря.

Обучение по безопасности и защите данных ИИ (KI-Security- und -Datenschutz-Schulungen)

Часто говорят, что человек — самое слабое звено в цепи безопасности. Однако это не обязательно так, при условии, что компании интегрируют обучение по безопасности и защите данных ИИ в свой путь развития GenAI.

Это включает, например, предоставление сотрудникам понимания текущих инициатив в области ИИ и LLM, а также самой технологии и основных проблем в области безопасности. Кроме того, в этой области незаменима культура, основанная на доверии и прозрачности. Это также очень важный момент для предотвращения «теневого ИИ». В противном случае платформы будут использоваться тайно, что подорвет безопасность.

Создание бизнес-кейсов для ИИ (Business Cases für KI etablieren)

Подобно тому, как это было с облачными технологиями, большинство компаний не создают связных, стратегических бизнес-моделей для использования новых технологий, в том числе генеративного ИИ и LLM. Довольно легко поддаться хайпу и FOMO, но без надежного бизнес-кейса компании рискуют не только получить плохие результаты.

Управление (Governance)

Без управления практически невозможно обеспечить подотчетность и четкие цели. Эта часть контрольного списка OWASP включает, например, создание RACI-диаграммы, которая документирует ИИ-инициативы компании, назначает ответственных и устанавливает общекорпоративные политики и процессы.

Юридические аспекты (Rechtliches)

Юридические последствия ИИ ни в коем случае нельзя недооценивать — они стремительно развиваются и могут нанести значительный ущерб репутации и финансовому положению. Эта область может охватывать различные аспекты, например:

• Гарантии на продукцию, связанные с ИИ,

• EULA для ИИ или

• риски, связанные с интеллектуальной собственностью.

Короче говоря: привлеките свою юридическую команду или соответствующих экспертов для выявления различных правовых мероприятий, актуальных для вашей компании.

Регулирование (Regulatorisches)

На основе юридических дискуссий быстро развиваются и нормативные предписания — примером является AI Act ЕС. Поэтому компании должны определить применимые к ним требования соответствия в области ИИ.

Использование или внедрение LLM-решений

Использование LLM-решений требует специфических соображений по рискам и контролю. Контрольный список OWASP в этой области упоминает, среди прочего, следующие аспекты:

• Реализация контроля доступа,

• защита конвейеров обучения ИИ,

• картографирование рабочих процессов с данными и

• выявление существующих или потенциальных уязвимостей в LLM и цепочках поставок.

Кроме того, рекомендуются непрерывные сторонние аудиты, тестирование на проникновение, а также анализ кода для поставщиков.

Тестирование, оценка, верификация, валидация (TEVV)

Процесс TEVV прямо рекомендуется NIST в его AI Framework. Он включает:

• Непрерывное тестирование,

• оценки,

• верификации и

• валидации, а также

• метрики функциональности, безопасности и надежности моделей ИИ.

И это на протяжении всего жизненного цикла моделей ИИ.

Карты моделей и рисков (Modell- und Risikokarten)

Для этичного использования больших языковых моделей контрольный список OWASP предусматривает «карты» моделей и рисков. Они могут дать пользователям понимание систем ИИ и тем самым укрепить доверие к системам. Кроме того, они позволяют открыто обсуждать потенциально негативные побочные эффекты, такие как предвзятость или проблемы с защитой данных.

Карты могут содержать подробную информацию о моделях ИИ, архитектуре, методах обучения и показателях производительности. Еще один акцент делается на ответственном ИИ и всех вопросах, связанных со справедливостью и прозрачностью.

Генерация с дополненным поиском (Retrieval Augmented Generation)

Retrieval Augmented Generation (RAG) — это способ оптимизировать возможности LLM в части извлечения релевантных данных из определенных источников. Это включает оптимизацию предварительно обученных моделей и повторное обучение существующих на новых наборах данных для повышения их производительности. OWASP рекомендует внедрять RAG для максимизации дополнительной ценности и эффективности больших языковых моделей в корпоративном использовании.

ИИ-Red Teaming (KI-Red-Teaming)

Наконец, эксперты OWASP также рекомендуют проводить сессии Red Teaming по ИИ. При этом симулируются атаки на системы ИИ для выявления уязвимостей и проверки существующих мер контроля и противодействия.

OWASP подчеркивает, что Red Teaming само по себе не является всеобъемлющим решением или методом для защиты генеративного ИИ и LLM. Скорее, ИИ-Red Teaming должен быть встроен в более широкий подход. Однако, по мнению экспертов, крайне важно, чтобы в компании существовала ясность относительно того, какими должны быть требования к Red Teaming. В противном случае нарушения политик или даже юридические проблемы неизбежны. (fm)