С момента публичного дебюта ChatGPT почти четыре года назад вопросы управления и безопасности во многом отставали от темпов внедрения ИИ.

Стремясь экспериментировать с инструментами ИИ и находить способы улучшить свою работу и личную жизнь, пользователи загружали корпоративные данные, финансовую отчетность и даже информацию о своем здоровье в большие языковые модели (LLM). Хотя эта бесконтрольная активность несет очевидные риски, многим пользователям и компаниям до сих пор удавалось избегать катастрофических последствий.

Стивен Уилсон, главный технический директор по направлению корпоративных решений в HashiCorp, компании IBM, отмечает, что большинство людей по-прежнему используют инструменты ИИ в основном как «помощников», при этом технология действует только по указанию человека. Но по мере того как агентам ИИ предоставляется больше возможностей действовать самостоятельно, расчет рисков меняется. И, по словам Уилсона, практики безопасности и управления пока не успевают за этими изменениями.

«В настоящее время организации начинают использовать инструменты ИИ как полноценных партнеров, но управляют этими инструментами так же, как и тогда, когда они использовались только в качестве помощников», — говорит Уилсон. «Когда ИИ — это помощник, пользователь очень близок к выполнению операций и передает ключи API, учетные данные социальных сетей и банковскую информацию. Но теперь мы начинаем просить ИИ автономно выполнять задачи от нашего имени».

По мере того как организации переходят от сценариев использования с помощью ассистента к более автономным рабочим процессам, Уилсон считает, что им необходимо совершенствовать свои модели управления в соответствии с тремя распространенными моделями внедрения: ИИ как помощник, ИИ как агент и ИИ как оператор.

ИИ как помощник

Самая базовая и распространенная форма внедрения ИИ в корпоративной среде — это ИИ как помощник. В этой модели человек остается близко к работе, используя технологию для обобщения информации, составления черновиков контента, генерации кода и выполнения других дискретных задач. Пользователь вводит запрос, оценивает ответ и решает, что делать дальше.

Хотя на этом этапе люди остаются близко к процессу выполнения, активность не лишена рисков. Взаимодействуя с помощниками ИИ, пользователи могут легко внести конфиденциальные данные, учетные данные или разрешения в рабочий процесс. Пользователь с привилегированным доступом может вставить ключ API в запрос или даже попросить LLM проанализировать конфиденциальные записи.

«Необходима очень четкая передача полномочий от личности человека к личности машины», — говорит Уилсон. «Вы также должны иметь возможность управлять тем, к чему эта машина может получить доступ с точки зрения взаимодействия машины с сервисом, потому что, если я получу повышенные привилегии, несложно внедрить эти привилегии в контекстное окно».

На этапе помощника организациям в основном необходимо гарантировать, что деятельность ИИ регулируется теми же границами, которые уже установлены для пользователей. Но по мере того как ИИ переходит от ответа на запросы к выполнению работы, эти границы управления должны расширяться.

ИИ как агент

На этом этапе пользователи начинают поручать инструментам ИИ выполнять определенные задачи автономно. Например, вместо того чтобы обмениваться сообщениями с LLM для составления плана и черновика контента, пользователь может просто предоставить инструменту ИИ набор входных данных и базовые инструкции, а затем попросить инструмент сгенерировать материал самостоятельно. Фактически, агент по написанию может даже передать готовый черновик агенту по редактированию или другим инструментам ИИ, прежде чем вернуться к человеку.

«Когда это происходит, элементы управления, идентификация и возможность аудита должны быть усилены, потому что вы еще больше выводите человека из цикла», — говорит Уилсон. «С помощниками ИИ человек по-прежнему инициирует запросы, которые обрабатываются в режиме диалога. Но с ИИ как агентом вы делаете один запрос, а затем просто позволяете ему работать».

На этом этапе, по словам Уилсона, организациям необходимо определить, какой уровень доступа требуется различным агентам для выполнения определенных задач, а также как присваивать идентификацию агентам ИИ. «Как управлять персоной? Как ускорить его способность быть чаще правым? Об этом нужно думать, когда вы начинаете переходить к ИИ как агенту».

ИИ как оператор

Это стадия, на которой агенты ИИ берут на себя не просто отдельные задачи, а целые проекты. Вместо того чтобы запрашивать у агентивных инструментов написание и редактирование одной статьи, организация может поручить команде агентов ИИ разработку и реализацию всей маркетинговой кампании.

«Человек возвращается через два или три часа и получает весь проект, включая информацию о том, где публиковать, отдельные посты в социальных сетях и стратегии вовлечения», — говорит Уилсон. «Уровень управления, идентификации и аудита должен расти по мере снижения вашего уровня надзора».

Уилсон отмечает, что на этом этапе важно установить строгое управление не только доступом к данным, но и точностью. Например, если агент ИИ создает контент для социальных сетей, организация должна знать, что контент использует утвержденные формулировки, проходит надлежащий процесс проверки и публикуется только через авторизованные каналы.

Это сложная задача, поскольку агенты ИИ являются вероятностными системами, в то время как многие корпоративные рабочие процессы детерминированы. Прежде чем наделить агентов полномочиями для завершения этих рабочих процессов, Уилсон считает, что руководителям необходимо тщательно продумать, где должно заканчиваться сгенерированная ИИ работа и начинаться контролируемое исполнение.

Дальнейший путь

Большинство организаций только начинают развертывать агентивный ИИ за пределами стадии помощника, и Уилсон отмечает, что руководители служб безопасности все еще обсуждают подходящие модели управления, идентификации, аудируемости и наблюдаемости для этих систем.

Но общая потребность в управлении ясна: по мере того как системы ИИ обретают большую автономию, организации должны внедрять более строгий контроль. Помощником ИИ можно управлять в основном как продолжением действий отдельного пользователя. Агентом ИИ необходимо управлять как частью команды, с четкой видимостью выполняемой им работы и систем, к которым он обращается. А оператором ИИ необходимо управлять как бизнес-функцией, с контролем, охватывающим доступ к данным, выполнение рабочих процессов, утверждения и аудиторские следы.

«Ваша область управления, идентификации и наблюдаемости должна расти с той же скоростью, как если бы вы переходили от отдельного человека к команде, а затем к организации», — заключает Уилсон.

Чтобы узнать больше, посетите нас здесь.