Поскольку инъекции промптов и другие векторы атак постоянно возникают в развертываниях агентного ИИ, надзорные органы по безопасности коллективно приняли меры, чтобы установить жесткие границы.
Совместная консультация Агентства по кибербезопасности и защите инфраструктуры США (CISA) и международных партнеров призывает к ужесточению контроля над разрешениями, усилению мониторинга и более продуманной стратегии развертывания, настоятельно рекомендуя организациям относиться к агентному ИИ с осторожностью.
«Организации не могут просто внедрять агентов в производство и надеяться, что защитные механизмы сработают», — заявил Пиюш Шарма, генеральный директор и соучредитель Tuskira, соглашаясь с инструкциями CISA. «Им необходимо понимать, к чему имеет доступ каждый агент, как он себя ведет, каким системам доверять его результаты и какие пути атаки становятся доступными в случае его манипуляции».
В консультации изложены руководящие принципы проектирования и разработки, которым организации должны следовать перед внедрением ИИ-агентов. Среди них — строгая аутентификация с использованием принципов Secure by Design, прозрачность системы для выявления обманчивых индикаторов, принцип наименьших привилегий в рабочих процессах, принципы безопасной разработки в соответствии с основами DevSecOps и регулярное тестирование планов реагирования на инциденты, среди множества других.
В консультации приняли участие Австралийский центр кибербезопасности (Australian Signals Directorate), Канадский центр кибербезопасности, Национальный центр кибербезопасности Новой Зеландии и Национальный центр кибербезопасности Великобритании.
Наименьшие привилегии и строгие границы
Одной из самых очевидных сквозных тем в консультации была необходимость ограничения доступа агентного ИИ.
«Риски, связанные с привилегиями, являются ключевой проблемой для агентного ИИ, и строгое соблюдение принципа наименьших привилегий имеет решающее значение», — заявили в CISA в консультации. «Привилегии, назначаемые агентам, напрямую определяют уровень риска, который они могут создать. Плохое управление привилегиями может подвергнуть организации риску компрометации привилегий, расширения области действия, спуфинга личности и выдачи себя за агента».
Агентства подчеркнули необходимость обеспечения соблюдения принципов наименьших привилегий, изоляции возможностей агентов и строгого определения того, с какими данными, инструментами и системами может взаимодействовать каждый агент.
Это легче сказать, чем сделать, особенно учитывая, что агенты все чаще интегрируются с API, внутренними системами и внешними службами. «Каждый инструмент, источник данных, хранилище памяти и разрешение, к которым обращается агент, становится еще одним возможным путем проникновения для злоумышленников», — отметил Шарма.
Для решения этой проблемы в консультации рекомендуется, чтобы организации вели четкий учет возможностей и зависимостей агентов, а также проверяли, как агенты интерпретируют входные данные и действуют на их основе. Это включает защиту от инъекций промптов и обеспечение того, чтобы агенты не доверяли слепо внешнему контенту или инструкциям.
Непрерывный мониторинг с контролем «человек в контуре»
В то время как первая часть консультации была сосредоточена на ограничении действий агентов, вторая касалась наблюдения за тем, что они фактически делают, и быстрой реакции в случае возникновения проблем.
«Операторы должны внедрять непрерывный мониторинг и аудит для поддержания осведомленности об операциях ИИ-агентов и обеспечения прослеживаемости решений и действий», — добавили в CISA. «Процессы непрерывного аудита улучшают меры безопасности и обеспечивают соответствие стандартам управления (таким как управление рисками, надзор и ограничения использования)».
CISA и ее международные партнеры также рекомендовали интегрировать человеческий контроль и надзор в рабочие процессы агентного ИИ, чтобы гарантировать их одобрение для нечувствительных задач с низким уровнем риска. Для этого агентства предложили мониторинг в реальном времени во время выполнения задачи, одобрение человеком для этапов принятия решений и аудит после выполнения задачи.
Эксперты сходятся во мнении, что видимость имеет решающее значение. «Командам безопасности необходима постоянная видимость того, как ведут себя агенты, к каким системам они обращаются и когда их действия отклоняются от ожидаемых шаблонов», — сказал Ник Таусек, ведущий архитектор автоматизации безопасности в Swimlane. «Встраивание одобрения человека в рабочие процессы с высоким риском и автоматизация сдерживания имеют первостепенное значение для принятия мер, когда поведение агента пересекает черту».
В совокупности в консультации подробно описаны основные области риска, от инъекций промптов и утечки данных до неправомерного использования инструментов и расширения привилегий, настоятельно призывая организации блокировать привилегированный доступ, проверять входные и выходные данные, отслеживать поведение агентов и строго контролировать, как эти системы взаимодействуют с данными, инструментами и другими службами.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shweta Sharma
