Гонка за искусственным интеллектом повторяет знакомую ошибку. В начале моей карьеры один из руководителей по управлению рисками часто говорил: «Вы меня к пиву не звали, а теперь просите заплатить по счёту?» – когда проблемы возникали из-за того, что проект продвигался вперёд без достаточного контроля. Если кто-то пытался уклониться от объяснения деталей, он добавлял: «Я не знаю, показываете ли вы мне голову монстра или только его ногу».
С 2011 года я наблюдаю, как новые продукты, бизнес-сервисы и инновации запускаются без достаточных проверок безопасности и управления рисками. Облачные вычисления, большие данные, BYOD, API, IoT, социальные сети и low-code – лишь несколько примеров. Обычно мы внедряем инновации сначала, а о регулировании задумываемся потом.
Искусственный интеллект следует той же схеме. Руководители во многих отраслях воодушевлены ИИ, как когда-то были взволнованы другими технологиями. Но многие до сих пор не имеют четкого способа отслеживания того, где используется ИИ, кто несёт риски или как автоматизированные решения могут повлиять на бизнес.
Десять лет “быстрого тестирования” показали нам риски: больше инцидентов, утечек данных и увеличивающихся потерь. Если организации не встроят управление рисками и ответственность в ИИ сейчас, они столкнутся с теми же проблемами, с которыми мы сталкивались с более ранними инновациями.
Настоящая опасность заключается не в самом ИИ, а в том, как мы его используем
Даже при наличии подробных фреймворков, таких как Репозиторий рисков ИИ Массачусетского технологического института, многие организации по-прежнему испытывают трудности с соотнесением рисков ИИ с реальными бизнес-проблемами. Все хотят новых вариантов использования, но немногие отслеживают, где начинаются риски – в данных, моделях или в быстрых решениях, принимаемых машинами.
На самом деле, риски ИИ – это не только будущее, они уже являются частью повседневной деятельности. Эти риски возникают, когда алгоритмы влияют на бизнес-результаты без чёткой подотчётности, когда инструменты собирают конфиденциальные данные и когда автоматизированные системы принимают решения, которые больше не проверяются людьми.
Эти пробелы в управлении не новы. Мы сталкивались с аналогичными проблемами с облаком, API, IoT и большими данными. Решение также хорошо знакомо: отслеживайте, оценивайте, контролируйте и мониторьте. Первый шаг – знать, где используется ИИ, какие данные он обрабатывает и какие процессы затрагивает. При такой прозрачности управление превращается в управление тем, что уже есть в бизнесе, а не просто в опасения по поводу неизвестного.
Следующий шаг – защита. Нам не нужно изобретать велосипед или разрабатывать новые, передовые методы. Вместо этого нам следует начать с основ: с простых шагов управления, а затем можно развивать свой путь.
Берите то, что уже работает
Хорошая новость заключается в том, что компаниям не нужно начинать с нуля с управлением ИИ. Руководства по безопасным и соответствующим требованиям технологии уже существуют в программах кибербезопасности, облачных вычислений и защиты данных.
Необходимо применять традиционные средства управления в этом новом контексте:
- Классификация и владение. У каждой модели должен быть четкий владелец с ограничениями на то, кто может обучать, запрашивать или развертывать её. Её отношение к бизнесу должно быть понятно по различным критериям, таким как нормативные, операционные или финансовые.
- Базовая безопасность и непреложные условия. Контроль доступа, многофакторная аутентификация, сегментация сети и ведение журналов аудита так же важны для сред ИИ, как и для серверов или облаков.
- Непрерывная мониторинг. Поведение модели должно быть не только точным, но и наблюдаемым, отслеживаемым и подотчетным за любые изменения в назначении.
- Проверка сторонних поставщиков. Договоры с поставщиками ИИ должны четко определять права на обучающие данные, сгенерированный контент и порядок реагирования на инциденты.
- Тестирование и проверка. Red-teaming, тестирование на проникновение, специфичное для ИИ, и моделирование сценариев должны быть регулярной практикой.
Эти средства управления не новы, как и надежда избежать ещё одной формы технического долга. Может быть, на этот раз мы сможем применять подход “безопасность по замыслу”.
Те же принципы управления будут снова проверены в ближайшее время; на этот раз новой волной автономных систем.
Рост ИИ-агентов и дефицит подотчётности
Новое поколение систем ИИ-агентов может действовать самостоятельно на разных платформах, выполняя задачи, совершая покупки или извлекая данные без прямого вмешательства человека. Этот переход от простых чат-ботов к самостоятельным агентам создает дефицит подотчётности, к которому большинство организаций не готовы.
Без надлежащих механизмов защиты агент может получать доступ к системам, к которым он не должен, раскрывать конфиденциальные данные, создавать ненадежную информацию, начинать неавторизованные транзакции, игнорировать установленные рабочие процессы или даже действовать вопреки политике или этике компании. Эти риски усугубляются скоростью и независимостью работы ИИ-агентов, что может привести к большим проблемам до того, как кто-либо заметит.
В спешке за проверкой новых вещей многие компании запускают этих агентов без элементарных средств контроля доступа или надзора. Ответ заключается в использовании проверенных средств управления, таких как принцип наименьших привилегий, разделение обязанностей, мониторинг и подотчётность.
Руководители должны уметь отвечать на фундаментальные вопросы, вытекающие из фреймворков, таких как NIST AI RMF, относительно любой автономной системы ИИ, работающей в их среде:
- Какие процессы управления существуют (политики, роли и обязанности, надзор)?
- Какие варианты использования и бизнес-применимость используются?
- Кто несёт ответственность, когда что-то пойдёт не так?
- Какие риски оно представляет? И какие средства управления применяются?
Внедрение управления в бизнес, а не вокруг него
Эффективное управление ИИ — это не функция ИТ, как и кибербезопасность. Это бизнес-функция с общей подотчётностью. Ориентированные на будущее организации сейчас вводят три механизма, которые интегрируют управление в операции:
- Фреймворки самооценки ИИ — простые контрольные списки, которые помогают каждому бизнес-подразделению сопоставить свои варианты использования ИИ, источники данных и риски.
- Использование комитетов по управлению — межфункциональные органы, в состав которых входят представители управления рисками, соответствия требованиям, кибербезопасности и руководители бизнеса.
- Корпоративные политики использования ИИ — определение утвержденных инструментов, договорных стандартов и минимальных защитных мер как для внутреннего, так и для внешнего использования ИИ.
Это не бюрократические слои, а основы устойчивых инноваций. Когда бизнес владеет инвентарной описью, командам по управлению рисками можно сосредоточиться на обеспечении уверенности, а не на выявлении. Современное управление должно способствовать внедрению, а не препятствовать или замедлять его, но помогать масштабировать его безопасно.
Не создавайте ещё один долг
Сходства с внедрением облачных технологий очевидны. Десять лет назад отсутствие ранних средств управления приводило к утечкам данных, неконтролируемым системам и дорогостоящим исправлениям. ИИ демонстрирует ту же схему, но быстрее и с большими последствиями.
Технический долг — это не только код. Это также доверие к вашим данным, подотчётность моделей и защита репутации вашего бренда.
Организации, которые добьются успеха с ИИ, будут теми, которые рассматривают управление как часть процесса проектирования, а не как что-то, что вызывает задержки. Они будут двигаться вперед с четкими планами и совместно измерять ценность и риск.
Они увидят, что настоящие инновации – это не только создание более умных систем, но и обеспечение их безопасности, подотчётности и заслуживающего доверия с самого начала. Для лидеров в области технологий и бизнеса это не только кибербезопасность. Это стратегия устойчивых инноваций.
Эта статья опубликована в рамках экспертной сети Foundry Contributor Network.
Хотите присоединиться?
Автор – Marco Túlio Moraes
