Ваш технический директор (CTO) разработал план внедрения первого в компании приложения на основе LLM. Совет директоров одобрил его, а вы узнаете об этом только сейчас. Это типичная история, которую я слышу постоянно и сам переживал.
Вы много слышали о моделях и LLM, но теперь повсюду видите новый термин: серверы Model Context Protocol (MCP) — и осознаете, что теперь необходимо обеспечить их безопасное внедрение.
Что такое MCP-сервер?
MCP-серверы похожи на ODBC 1990-х годов. До появления ODBC каждое приложение требовало написания пользовательского кода для запроса к базам данных. ODBC определил единый стандарт взаимодействия с базами данных, а производители баз данных просто разрабатывали драйвер для своих решений.
MCP-серверы работают аналогично: AI-приложение просто использует стандартизированные методы для связи с локальным MCP-хостом, а каждый доступный инструмент (базы данных, файловые хранилища, CRM) предоставляет MCP-сервер, который преобразует MCP-трафик в собственный формат инструмента. Таким образом, вам нужен только драйвер на вашем MCP-хосте для связи с любым доступным конечным узлом.
MCP-хосты будут находиться в вашей среде, и вы сможете контролировать входящий и исходящий трафик, разрешенный для каждого MCP-хоста. Один MCP-хост также может получать доступ к нескольким MCP-серверам, что обеспечивает большую масштабируемость, но также увеличивает риск.
Приоритетные меры контроля MCP
На данном этапе определите требования до того, как внедрение MCP-сервера зайдет слишком далеко. Составьте список требований для начального этапа. Сосредоточьтесь на мерах контроля, которые приносят наибольшую пользу и снижают наибольший риск.
Проверка и очистка входных данных
Входные данные из любых косвенных внешних источников вне вашего контроля считаются недоверенными и должны рассматриваться как высокорискованные для злоупотреблений. Идентификация и удаление вредоносных входных данных жизненно важны для предотвращения неправомерного использования LLM-приложения. Проверка и очистка входных данных включают строгую аутентификацию и авторизацию, обнаружение вредоносного кода и попыток обхода ограничений (jailbreak), а также фильтрацию конфиденциальных или регулируемых данных.
Проверка и очистка выходных данных
Эти меры контроля часто включают принудительное применение определенной структуры для облегчения проверки, контекстно-зависимое кодирование и удаление необычных или неутвержденных данных. Предусмотрите человеческий надзор для действий с более высоким риском или других важных выходных данных, таких как финансовая отчетность.
Сегментация сети
Сегментация MCP-хостов может уменьшить поверхность атаки и ограничить потенциальные злоупотребления путем ограничения входящего и исходящего трафика авторизованными системами и портами.
Укрепление сервера
Серверы должны быть настроены в соответствии с исчерпывающими рекомендациями, такими как CIS Model. Меры по укреплению включают отключение ненужных или учетных записей по умолчанию, закрытие неиспользуемых портов и настройку системных параметров для минимизации уязвимостей. В идеале следует использовать инфраструктуру как код (IaaC), чтобы сделать эти серверы эфемерными и еще больше снизить риск распространения компрометации.
Принцип наименьших привилегий
Разрешения будут иметь ключевое значение для ограничения радиуса поражения действий злоумышленника. Несколько MCP-серверов могут использоваться для уменьшения чрезмерных разрешений путем группировки инструментов с аналогичными потребностями в доступе. Ограничьте доступ только теми пользователями, арендаторами и рабочими нагрузками, которым сервер должен предоставлять услугу. Также максимально сократите время действия токенов на случай их кражи.
Шифрование
Шифрование, как предполагается, является частью процесса укрепления сервера, но его необходимо выделить отдельно. Внедрите сквозное шифрование данных в состоянии покоя и при передаче с использованием надежных практик управления ключами.
Управление инструментами
Ограничение количества доступных инструментов на MCP-хостах и сужение их возможностей до минимума, необходимого для работы, может помочь снизить риски, связанные с неправомерным использованием инструментов и их компрометацией.
Оценка и контракты с третьими сторонами
Убедитесь, что сторонние поставщики внедряют соответствующие меры безопасности, предпочтительно проверенные независимыми органами, такими как SOC 2, HITRUST или ISO 27001/2. Контракты должны определять требования к контролю, а любые выявленные высокорискованные пробелы должны быть устранены посредством соглашений об исправлении. Если задействована защищенная медицинская информация (PHI), должно быть заключено соглашение о деловом партнерстве (BAA).
Аудит и журналирование
Ведение подробных журналов действий ИИ и запросов имеет решающее значение для обнаружения таких проблем, как попытки взлома, неправомерное использование ИИ и злоупотребление запросами.
Человек в контуре управления (Human-in-the-loop)
Человек в контуре управления критически важен для любых действий с высоким риском, которые может попытаться предпринять LLM-приложение, или для любых критически важных данных, которые оно генерирует. Проверяйте административные действия в отношении критически важных систем перед их выполнением или генерацией.
Предпроизводственное тестирование
Важным, но часто упускаемым из виду шагом является мониторинг внедрения и проведение предпроизводственного тестирования, чтобы убедиться, что ваши ключевые меры контроля работают правильно. Некоторые возможные тесты:
- Введите поддельные PHI, номера социального страхования, номера счетов или любые другие данные, соответствующие вашей среде, чтобы убедиться, что эти типы данных помечаются или блокируются.
- Протестируйте аутентификацию и авторизацию, войдя в систему и подтвердив, какие инструменты вы можете видеть и к которым можете получить доступ.
- Протестируйте фильтрацию входящего и исходящего сетевого трафика, чтобы убедиться, что доступны только разрешенные системы.
- Подтвердите, что сервер(ы) были укреплены в соответствии с политикой укрепления.
- Подтвердите, что все критические события и действия регистрируются.
Вы пытались работать с техническим директором и убедить его согласиться на внедрение всех этих мер контроля, но вы не видите изменений в плане проекта или получаете расплывчатые даты. Возможно, вам придется привлечь других руководителей, чтобы повлиять на решение.
Подход к управлению рисками
Если у вас есть Комитет по рискам, он может помочь приоритизировать требования к контролю и сроки их внедрения, чтобы они были реализованы как можно скорее. Вам нужно быть готовым приоритизировать одни меры контроля над другими, чтобы избежать серьезных препятствий и задержек в продвижении продукта. Надлежащая оценка рисков ИИ поможет определить применимые угрозы и меры контроля для вашей среды, а также присущие и остаточные риски.
Для списка угроз ИИ при построении оценки рисков я использую OWASP Top 10 для LLM-приложений для своих оценок и отчетности. Определите объем угроз и оцените их присущий риск в вашей среде. Для первого прохода, чтобы ускорить оценку, вы можете исключить угрозы с очень низкой или низкой вероятностью.
Однако для Комитета по рискам сообщайте о последствиях на их языке, чтобы помочь им понять. Я бы сообщал о проблемах с точки зрения потери производительности, простоя, потери доверия клиентов, штрафов регулирующих органов и других отраслевых последствий, таких как уход за пациентами, ошибки торговли, неверные кредитные решения, несправедливые претензии или андеррайтинг, безопасность работников и доступность услуг. Не делайте это количественным упражнением; сохраняйте качественный подход, но будьте готовы объяснить свои оценки, чтобы сохранить доверие коллег.
Положительные результаты
На данном этапе, если все прошло успешно, вы обеспечили управление и внесли вклад в ограничение рисков для организации. Инциденты могут привести к простоям, штрафам и репутационному ущербу, если ключевые меры контроля отсутствуют. Помощь вашей организации в снижении вероятности этого — хорошо выполненная работа.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Greg Neville
