Большинство руководителей по безопасности считают, что знают, где находятся их конфиденциальные данные и как они защищены. Эта уверенность становится все более необоснованной.
По мере того как предприятия внедряют ИИ в службу поддержки клиентов, разработку программного обеспечения, юридический анализ и внутренние операции, незаметно появилась новая поверхность для раскрытия данных. Она не находится в базах данных, файловых системах или сетевых соединениях. Она существует в трафике ИИ-инференса — области, которая выходит за рамки большинства традиционных моделей безопасности и систем видимости, как объясняет InfoWorld в своем анализе того, почему ИИ сейчас полностью посвящен инференсу.
Этот сдвиг произошел быстро. Во многих организациях системы ИИ перешли от пилотных проектов к основной инфраструктуре менее чем за два года. Однако архитектуры безопасности не развивались с той же скоростью. В результате растет разрыв между тем, где на самом деле циркулируют конфиденциальные данные, и тем, куда смотрят команды безопасности.
Этот разрыв стремительно становится одним из наиболее упускаемых из виду рисков безопасности в современных корпоративных средах.
Промпты ИИ — цели с высокой ценностью
Промпты ИИ часто отвергаются как временные входные данные — строки текста, существующие только в течение запроса. В действительности они часто содержат одни из самых конфиденциальных данных, которыми обладает организация:
- Проприетарный исходный код и внутренние инструменты
- Конфиденциальные документы и юридические контракты
- Персональные данные клиентов (PII) и финансовые записи
- Стратегические рабочие процессы и логика принятия решений
Недавний отраслевой анализ показывает, что предприятия все чаще вводят конфиденциальные проприетарные данные в генеративные системы ИИ для повышения релевантности и точности, особенно по мере того, как организации работают над разблокировкой внутренних слоев данных для приложений на основе ИИ. InfoWorld задокументировал эту тенденцию в своем обсуждении того, как разблокировать корпоративный слой данных для ИИ.
С точки зрения бизнеса это имеет смысл. Системы ИИ работают лучше всего, когда они основаны на реальных знаниях организации. Однако с точки зрения безопасности это представляет собой фундаментальное изменение в обработке конфиденциальных данных. Информация, которая когда-то была ограничена контролируемыми хранилищами, теперь копируется, преобразуется и передается в рамках запросов на инференс.
В отличие от традиционных потоков данных, промпты редко классифицируются, очищаются или отслеживаются. Они проходят через прикладные уровни, промежуточное ПО, системы журналирования, конвейеры наблюдаемости и сторонние сервисы с минимальным контролем. Во многих случаях они рассматриваются как операционные отходы, а не как данные с высокой ценностью.
Это создает опасное несоответствие: одни из самых конфиденциальных данных в организации циркулируют через один из наименее защищенных каналов.
Почему существующие средства контроля недостаточны
Традиционные архитектуры безопасности не были разработаны для рабочих нагрузок ИИ, и их ограничения становятся очевидными на уровне инференса.
Шифрование защищает данные только до тех пор, пока они не будут расшифрованы для обработки. В этот момент промпты могут быть доступны в памяти приложений, средах выполнения, инструментах отладки, платформах наблюдаемости и административном доступе. Хотя шифрование при передаче остается важным, оно мало что делает для снижения риска после того, как данные достигают систем, фактически выполняющих инференс.
Инструменты предотвращения утечки данных (DLP) также испытывают трудности в этом контексте. Устаревшие решения DLP были созданы на основе структурированных данных, четко определенных шаблонов и предсказуемых мест хранения. Промпты ИИ динамичны, неструктурированы и зависят от контекста. В результате инструментам DLP часто не хватает семантического понимания, необходимого для определения того, содержит ли промпт конфиденциальный материал или его использование является надлежащим. Эти ограничения хорошо документированы в обсуждениях того, почему устаревшие подходы DLP не справляются в современных средах безопасности данных.
Журналирование и наблюдаемость добавляют еще один уровень риска. Для устранения неполадок в системах ИИ команды часто регистрируют промпты, ответы и промежуточные состояния. Эти журналы затем отправляются на централизованные платформы, хранятся в течение длительного времени и доступны широким группам инженеров. То, что начинается как удобство для отладки, может быстро стать хранилищем конфиденциальных данных, хранящихся далеко за пределами их первоначального периметра безопасности.
Во многих средах доверие фактически заканчивается на шлюзе API. За пределами этой границы трафик ИИ-инференса неявно доверяется, даже если он часто пересекает внутренние и внешние зоны доверия. Эта модель неявного доверия могла работать для традиционных архитектур приложений, но она плохо подходит для систем ИИ, которые стирают грань между входными данными пользователя, внутренней информацией и внешними сервисами.
Внутренний риск — большая угроза
Хотя внешние злоумышленники по-прежнему вызывают беспокойство, внутреннее раскрытие данных часто является более вероятным и менее заметным риском.
Избыточные разрешения для учетных записей служб, неправильно настроенные конвейеры журналирования, скомпрометированные учетные данные или законный инсайдерский доступ — все это может привести к незаметной утечке промптов. В отличие от традиционных утечек, эти раскрытия не требуют использования уязвимостей. Они происходят как побочный продукт нормальных операций в сложных средах.
Системы ИИ усугубляют этот риск из-за масштаба и частоты их использования. Одно приложение может генерировать тысячи или миллионы запросов на инференс в день, каждый из которых потенциально содержит конфиденциальные данные. В этом объеме злоупотребление или случайное раскрытие могут легко затеряться в обычных шаблонах трафика.
Исследования инсайдерских рисков последовательно показывают, что случайное раскрытие гораздо более распространено, чем злонамеренная утечка, особенно в облачных средах, где владение и ответственность распределены между командами. Системы ИИ добавляют еще один уровень сложности, затрудняя ответы на основные вопросы о том, кто имеет доступ к данным инференса, где они хранятся и как долго.
Поскольку использование ИИ является частым и ожидаемым, аномальные шаблоны доступа могут не вызывать срабатывания сигнализации. Это делает ИИ-инференс идеальным низкошумящим каналом для раскрытия данных — каналом, который не похож на традиционные индикаторы компрометации и поэтому его трудно обнаружить с помощью существующих инструментов.
Квантовая бомба замедленного действия
Помимо немедленного раскрытия, существует долгосрочный риск, который руководители по безопасности больше не могут позволить себе рассматривать как теоретический: криптографическая устойчивость.
Промпты и ответы ИИ часто содержат данные, которые должны оставаться конфиденциальными в течение многих лет: исходный код, лежащий в основе конкурентного преимущества, записи клиентов, подпадающие под действие нормативных требований, проприетарные процессы и стратегические решения. Однако большая часть современного трафика ИИ-инференса защищена с использованием криптографических методов, разработанных в первую очередь для краткосрочной безопасности передачи, а не для долгосрочной конфиденциальности.
Это различие имеет значение. Достижения в области квантовых вычислений угрожают ослабить многие криптографические алгоритмы, используемые в настоящее время для защиты данных при передаче и хранении. Хотя крупномасштабные, отказоустойчивые квантовые компьютеры еще не получили широкого распространения, связанный с этим риск уже существует. Противники могут захватывать зашифрованные данные сегодня и расшифровывать их позже, когда криптографические предположения перестанут действовать.
Агентства по безопасности и стандартизирующие органы явно предупреждали об этих угрозах типа «собирай сейчас, расшифровывай позже». Национальный институт стандартов и технологий подчеркнул необходимость оценки того, какие информационные активы требуют долгосрочной защиты, в своем руководстве по постквантовой криптографии.
ИИ значительно увеличивает объем данных, которые могут подпадать под эту категорию. Трафик инференса часто включает богатую контекстную информацию, которая была бы очень ценной при расшифровке в будущем. В отличие от традиционных записей, эти данные часто генерируются в больших масштабах и хранятся в журналах, аналитических системах или резервных копиях без четких элементов управления жизненным циклом.
Для регулируемых отраслей с длительными требованиями к хранению данных, таких как финансы, здравоохранение и критическая инфраструктура, это создает окно незаметного раскрытия, которое выходит далеко за рамки текущих циклов соответствия требованиям. Организации могут соответствовать сегодняшним нормативным требованиям, непреднамеренно накапливая долгосрочный криптографический риск.
ИИ непреднамеренно расширил не только объем конфиденциальных данных в движении, но и объем данных, которые должны оставаться в безопасности в постквантовом будущем, часто без ведома организаций.
Итог для руководителей по безопасности
Этот разрыв существует не потому, что команды невнимательны, а потому, что ИИ-инференс не вписывается в существующие модели безопасности. Он пересекает границы доверия, которые никогда не были спроектированы с учетом ИИ, и вводит потоки данных, для управления которыми традиционные средства контроля никогда не были созданы.
Поскольку ИИ становится неотъемлемой частью основных рабочих процессов предприятия, последствия безопасности трафика инференса больше нельзя рассматривать как крайний случай. Они представляют собой фундаментальный сдвиг в том, как конфиденциальные данные создаются, обрабатываются и раскрываются.
Это не призыв к конкретному решению, а проблема, которую индустрия больше не может игнорировать.
Эта статья опубликована в рамках сети экспертных авторов Foundry.
Хотите присоединиться?
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Karthikeyan Karunanithi
