Учитывая факты о важности искусственного интеллекта, в течение нескольких месяцев я углубляюсь в эту тему, но с осторожностью, стремясь понять ключевой момент того, как мы можем защитить приложения на основе генеративного ИИ.
Мы живем во времена, когда ИИ стал центральной темой во всех областях, которые могут принести пользу организациям и конечным пользователям. Помимо преимуществ в защите и прогнозировании киберугроз, будь то с помощью аналитики угроз, реагирования на инциденты и EDR, решений SOAR и т. д.
Однако вопрос, который мы должны задать, заключается в том, насколько мы обращаем внимание на риски этой зарождающейся технологии. Поскольку ИИ набирает обороты благодаря использованию таких решений, как ChatGPT, Claude.ai, Meta.ai, Copilot, Gemini, Grok, среди других SaaS-решений, факт заключается в том, что ИИ вторгается и захватывает нашу рутину. Те, кто не адаптируется к этой технологии, могут оказаться вне игры.
Будь то запись встреч и создание автоматических резюме с помощью Hynote.ai или подготовка плана управления киберрисками, мы должны признать скорость и гибкость, которые ИИ обеспечивает в повседневных задачах. Мы уже видим, что в некоторых компаниях, когда сотрудник решает сменить работу, должность может больше не замещаться, и организация рассматривает возможность проведения исследований, оценивающих целесообразность замены определенных задач ИИ.
Важность понимания рисков, связанных с ИИ
Здесь возникает момент беспокойства, который, возможно, некоторые профессионалы не замечают. Доминирует ли над нами ИИ? Возможно, ответ будет «Да», «Нет» или «Может быть». Однако это будет зависеть от степени нашей осведомленности об этой технологии; реальность такова, что за ней кроется опасность, и поэтому наша задача — знать, как подготовиться к устранению таких рисков.
Должны ли мы предполагать, где мы должны профессионально себя позиционировать и как мы должны готовиться, чтобы сохранить свою трудоспособность? Учитывая, что риски галлюцинаций все еще возможны и случаются в решениях ИИ, ответ на данный вопрос может быть неточным, поскольку существующие методы, лежащие в основе диффузионных моделей, используемых при обучении ИИ, используют методы генерации кода, такие как «трансформеры» в LLM, используемых большинством инструментов ИИ, таких как ChatGPT, Gemini и Claude. Пока у них все еще есть ограничения для проверки определенных данных перед предоставлением ответа на вопрос, введенный запрашивающим лицом (конечным пользователем, API и т. д.).
Это означает и указывает на то, что по-прежнему необходимо учитывать человеческий фактор для оценки определенных ответов перед принятием решения, которое может включать соответствующее принятие решений в корпоративном и человеческом контексте, например, результат анализа медицинского диагноза по-прежнему требует оценки специалистом, или в случае количественной оценки рисков критически важной системы. На самом деле, это повод для размышлений!
Еще один важный вопрос, который следует задать: «Насколько далеко мы должны ограничивать и доверять решению ИИ?» Безусловно, как упоминалось выше, многие результаты могут быть положительными, но важно помнить, что каждая организация должна думать и проявлять осторожность в отношении рисков конфиденциальности, предвзятости, справедливости и прозрачности данных, среди прочих моментов, которые привлекли внимание специалистов по информационной безопасности.
По сути, процесс выполнения модели ИИ состоит из 3 фаз:
- Данные, которые вводятся в запрос.
- Эти данные оцениваются обучающей моделью, которая включает в себя всю архитектуру.
- Результат информации, которая будет доставлена
С точки зрения информационной безопасности. Это тот момент, который мы, специалисты по информационной безопасности, должны оценивать с точки зрения безопасности данных.
На рынке уже существуют такие фреймворки, как NIST RMF AI, SAIF Google, ISO 42001, AI Control Matrix (AICM) и AI Model Risk Management Framework от Cloud Security Alliance (CSA), в дополнение к MITRE ATLAS для линии Threat Intelligence и OWASP Top 10 LLMs для безопасности при разработке приложений ИИ, который представляет собой основные известные уязвимости в области ИИ/МО, которые я намерен исследовать в другой статье.
Я лично изучал NIST RMF AI и AI Model Risk Management Framework от CSA, и, на мой взгляд, они эффективно помогают отображать и включать решения ИИ/МО в сферу действия программы управления киберрисками организации. Эти фреймворки помогают понять и отобразить используемые приложения ИИ, устранить риски, последствия и ущерб, которые могут возникнуть при использовании этой технологии в корпоративном контексте.
О применении фреймворков NIST AI RMF и AI Control Matrix (AICM)
Составляя повестку дня по наиболее популярным фреймворкам, NIST AI RMF 1.0 фокусируется на рассмотрении группы людей, организации и вовлеченной экосистемы. В которых они разделены на этапы:
- Управление (культивирует культуру управления рисками)
- Картирование (контекст выявленных рисков и классификация активов)
- Измерение (выявляет, оценивает и смягчает риски)
- Управление (риски приоритизируются в соответствии с воздействием)
Эта модель позволяет интегрироваться с NIST CSF для обеспечения кибербезопасности. Самое интересное в этом то, что фреймворк бесплатный.
Еще одна модель, которую я не могу не упомянуть, — это AI Control Matrix (AICM), которая содержит 243 цели контроля, разделенные на 18 областей безопасности, и позволяет оценивать все столпы безопасности решения ИИ, особенно в облачной среде.
AICM интегрирован с AI-CAIQ, который охватывает такие фреймворки, как BSI AIC4 Catalog, NIST AI RMF и ISO 42001. Любое надежное решение ИИ требует больших вычислительных мощностей и энергии, которые можно найти только в центрах обработки данных. По этой причине мы наблюдаем крупные инвестиции со стороны крупных технологических компаний в расширение новых центров обработки данных во всех регионах.
Поэтому глубокое понимание облачных концепций и общей ответственности имеет фундаментальное значение для точной и безопасной реализации решения ИИ, удовлетворяющего бизнес-потребности, используя возможности организации в конкурентной борьбе.
В результате я провел некоторые исследования генеративного ИИ и особенно изучал эти фреймворки. Учитывая это, характеристика и визуализация большой проблемы для нас, специалистов по кибербезопасности, заключается в установлении актуальности связи между командами, участвующими в проекте ИИ. Следовательно, связь является приоритетом для успеха проекта, и поэтому мы не должны пренебрегать вовлечением областей управления, киберрисков, этики, регулирования и соответствия, кибербезопасности, специалистов по данным, разработчиков ИИ и МО, отдела кадров, а также инфраструктуры и ИТ-операций.
Специалисты по кибербезопасности должны пройти обучение
Еще одна большая проблема, на которой я настаиваю, заключается в том, что специалисты по кибербезопасности должны пройти обучение в области технологий ИИ/МО, понимая технические аспекты архитектуры, используемые модели обучения, такие методы, как RAG (генерация с дополненным поиском), которые предлагают улучшения модели, и применение стратегии кибербезопасности для оценки. Взгляд CISO, команды кибербезопасности и других вовлеченных сторон должен быть направлен на важность контроля в следующих областях:
- Данные
- Инфраструктура
- Модель
- Приложение
- Обеспечение
- Управление
Взгляд на перспективу общей ответственности в облаке
Еще один фактор, который следует учитывать в области охвата: я подчеркиваю общую ответственность за приложения ИИ в облачной среде. Принципы безопасности моделей генеративного ИИ и соответствующих приложений должны учитывать, как будет работать модель приложения ИИ.
Здесь я выделяю несколько ключевых моментов для установления общих обязанностей в облаке:
- Генеративный ИИ как приложение (общедоступное, SaaS)
- Генеративный ИИ как платформа (IaaS или PaaS)
- Создание собственного приложения ИИ (IaaS, локально).
В этой модели, с помощью вышеупомянутых фреймворков, можно будет отображать, упорядочивать и управлять рисками в принятой стратегии ИИ в отношении контроля доступа к данным и обучающим моделям, управления данными и обучением, контроля подсказок, разработки моделей, вывода моделей, мониторинга моделей и инфраструктуры.
Мыслить нестандартно
Наконец, ключевой момент, который я хочу донести до читателей в этой статье, — это побудить их задуматься о том, как мы, специалисты по кибербезопасности, наблюдаем за рисками и последствиями в нашей среде, и как подготовиться к оценке таких решений генеративного ИИ в нашем реальном мире.
Я лично исследовал некоторые из этих известных моделей в облачной среде (SaaS), но мне было очень интересно работать с решением Anthropic (claude.ai). В этой модели можно создавать надежные решения с помощью кода, нужно только проявить креативность. В качестве примера я попросил его создать полное решение для управления киберрисками (GRC) и предложил сравнить его с некоторыми решениями на рынке и соответствовать лучшим практикам, таким как PCI-DSS, NIST, CRI, ISO 27001 и т. д. Так что решение создало весь бэк-энд, не хватало только создания фронт-энда. Проект, который мог бы занять месяцы, может быть сокращен до нескольких месяцев или недель, в зависимости от инвестиций и усилий задействованной рабочей силы.
Сертификаты, которые могут повысить ценность карьеры
В заключение, поскольку у меня была возможность участвовать в качестве рецензента в программе обзора недавно запущенной сертификации Cloud Security Alliance (CSA) — Trusted AI Safety Expert (TAISE). Я определенно рекомендую ее тем, кто заинтересован в понимании и изучении архитектуры и основных механизмов защиты в решениях ИИ/МО.
Однако, принимая во внимание другие сертификаты в этой области, я также изучал и рекомендую материалы сертификации ISACA AAISM, которая, в свою очередь, очень интересна с точки зрения управления рисками и безопасности в ИИ/МО. Тем не менее, TAISE предлагает более комплексную основу в технической области, которая также включает управление рисками и управление в облачных средах, что является реальным миром. ИИ требует больших вычислительных мощностей, а идеальной средой для его работы является облако.
Однако обе сертификации дополняют друг друга, и профессионалу предстоит оценить наилучшую альтернативу и направление для следования. Как гласит мудрая пословица: «Не оставляй мудрость и знание, и они будут охранять тебя; люби их, и они защитят тебя».
Эта статья опубликована в рамках сети экспертов Foundry.
Хотите присоединиться?
