Искусственный интеллект (ИИ) теперь встроен практически во все уровни современного стека кибербезопасности. От обнаружения угроз и анализа идентификационных данных до реагирования на инциденты и автоматизированного устранения последствий – возможности на базе ИИ перестали быть новыми функциями и стали базовыми ожиданиями. Для многих организаций ИИ стал неотделим от принципов работы инструментов безопасности. Однако по мере ускорения внедрения многие директора по информационной безопасности (CISO) сталкиваются с неприятной реальностью. В то время как ИИ трансформирует кибербезопасность, он также создает новые риски, для управления которыми существующие подходы к оценке и управлению никогда не были разработаны. Это привело к растущему разрыву между тем, что обещают инструменты безопасности на базе ИИ, и тем, что организации могут реально контролировать.
Когда «на базе ИИ» становится уязвимостью
Руководители в области безопасности находятся под давлением необходимости действовать быстро. Поставщики соревнуются в интеграции генеративного и агентного ИИ в свои платформы, часто продвигая автоматизацию как решение проблемы нехватки кадров, усталости от оповещений и задержек в реагировании. В принципе, эти преимущества реальны, но многие инструменты на базе ИИ развертываются быстрее, чем необходимые средства контроля для их безопасного управления. Как только ИИ интегрируется в платформы безопасности, контроль становится труднее обеспечить. Логика принятия решений может быть непрозрачной, поведение модели может меняться со временем, а автоматизированные действия могут происходить без достаточной человеческой валидации. Когда происходят сбои, ответственность часто неясна, а инструменты, предназначенные для снижения киберрисков, могут, при плохом управлении, усилить их. Опрос Gartner 2025 года, посвященный генеративному и агентному ИИ, подчеркивает этот риск: многие компании, использующие инструменты ИИ, сообщают о пробелах в надзоре и подотчетности. Проблема усугубляется с агентным ИИ – системами, способными принимать многоэтапные решения и действовать автономно. В контексте безопасности это может включать динамическую блокировку пользователей, изменение конфигураций или запуск рабочих процессов устранения последствий со скоростью машины. Без принудительных ограничений мелкие ошибки могут быстро распространяться, увеличивая операционные и бизнес-риски.
Почему традиционные критерии покупки недостаточны
Несмотря на этот сдвиг, большинство процессов закупки средств безопасности по-прежнему полагаются на привычные критерии, такие как точность обнаружения, широта функционала и стоимость. Они остаются важными, но больше не достаточны. Часто отсутствует строгая оценка доверия, рисков и подотчетности в системах, управляемых ИИ. Покупателям часто не хватает четких ответов о том, как принимаются решения ИИ, как защищены данные обучения и операционные данные, как отслеживается поведение модели ИИ, приложений и агентов с течением времени, и как автоматизированные действия могут быть ограничены или отменены при превышении пороговых значений риска. В отсутствие этих средств контроля организации фактически принимают на себя «черный ящик» рисков. Именно поэтому для CISO становится все более актуальной структура управления доверием, рисками и безопасностью (TRiSM) для ИИ. AI TRiSM смещает управление со статических политик на принудительные технические средства контроля, которые непрерывно работают во всех системах ИИ. Она признает, что управление не может полагаться только на намерения, когда системы ИИ динамичны, адаптивны и все более автономны.
От политики к принудительному контролю
Одним из наиболее устойчивых заблуждений относительно управления ИИ является то, что политики, обучение и этические комитеты достаточны. Хотя эти элементы остаются важными, они не масштабируются в средах, где системы ИИ принимают решения в режиме реального времени. Эффективное управление требует средств контроля, встроенных непосредственно в рабочие процессы. Эти средства контроля должны проверять данные перед их использованием, отслеживать поведение модели ИИ, приложений и агентов по мере их развития, применять политики контекстно, а не ретроспективно, и предоставлять прозрачную отчетность для аудита, соответствия требованиям и реагирования на инциденты.
Рост возможностей «стражей»
Независимые возможности «стражей» являются заметным шагом вперед в управлении ИИ. Работая отдельно от систем ИИ, они непрерывно отслеживают, обеспечивают соблюдение и ограничивают поведение ИИ, помогая организациям сохранять контроль по мере того, как системы ИИ становятся более автономными и сложными. ИИ уже приносит пользу, улучшая распознавание образов, поведенческую аналитику и приоритизацию сигналов безопасности. Но скорость без надзора создает риск. Даже самый передовой ИИ не может полностью заменить человеческое суждение, особенно в автоматизированном реагировании. Истинное конкурентное преимущество получат организации, которые эффективно управляют ИИ, а не просто быстро его внедряют. CISO должны уделять приоритетное внимание принудительным средствам контроля, операционной прозрачности и независимому надзору. В средах, где ИИ является как защитным активом, так и новой поверхностью атаки, дисциплинированное управление является неотъемлемым условием устойчивой кибербезопасности. Аналитики Gartner далее рассмотрят, как инструменты безопасности на базе ИИ и стратегии управления меняют управление киберрисками на саммите Gartner Security & Risk Management Summit в Лондоне с 22 по 24 сентября 2026 года. Авива Литан — выдающийся вице-президент-аналитик Gartner.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор –
