ИТ-директора, спешащие внедрять ИИ-агентов без реального понимания их процессов принятия решений, играют с огнем.
По мнению экспертов по ИИ, развертывание агентов без процессов и инструментов наблюдаемости (observability) создает бомбу замедленного действия с потенциалом огромных негативных последствий.
Многие компании внедряют ИИ-агентов, ожидая повышения производительности при минимальном вмешательстве человека, отмечает Т. Дж. Марлин, генеральный директор фирмы по безопасности ИИ Guardrail Technologies. Т. Дж. Марлин считает, что это неверный подход. Вместо этого ИТ-командам необходимо пристально следить за агентами и корректировать политики и практики на протяжении всего процесса работы агентов.
«Это не просто принцип «установил и забыл», как с мультиваркой», — говорит он. «Вы не ставите ее утром на кухню с курицей внутри и не возвращаетесь вечером, чтобы получить отличный ужин. Организации, которые так поступают, окажутся на первых полосах газет, потому что с ними случится что-то ужасное».
Многие организации быстро развертывают агентов из-за страха упустить выгоду (FOMO), не понимая при этом нюансов технологии, говорит Марлин. Некоторые ИТ-руководители, по его словам, склонны сравнивать агентов с роботизированной автоматизацией процессов (RPA), хотя результаты RPA гораздо более детерминированы.
«Наблюдается нехватка талантов и знаний, и люди создают системы в спешке, не проверяя, правильно ли это и соответствует ли ожидаемому функционированию», — говорит он. «Это все признаки худших катастроф, которые я видел за свою карьеру».
В недавнем отчете поставщика решений по управлению агентами TrueFoundry приводятся цифры, подтверждающие опасения по поводу нерегулируемых агентов. Опрос более 200 корпоративных ИИ-лидеров показал, что 54% представленных организаций не могут полностью отследить действия своих агентов, а 56% не имеют централизованного контроля над агентами или уровня управления (governance layer).
Хотя TrueFoundry заинтересована в продвижении управления агентами, многие другие эксперты по ИИ видят те же проблемы.
Управление вслепую
Трудности с управлением и наблюдаемостью являются основными препятствиями для развертывания продуктивных агентов, и многие организации внедряют агентов, не создавая их централизованного списка, говорит Махеш Кумар Гоял, старший эксперт по данным и ИИ в Google. Махеш Кумар Гоял.
«У большинства предприятий нет инвентаризации агентов, уже работающих в продакшене — они пытаются управлять тем, чего не видят», — говорит он.
Кроме того, традиционные инструменты безопасности SIEM и EDR были созданы для обнаружения аномалий в поведении человека, а не вышедших из-под контроля агентов, отмечает он. «Агент, идеально выполняющий код 10 000 раз подряд, выглядит нормально, даже если его взломали», — говорит он.
Запуск полностью автономных агентов — плохая идея, добавляет он, и организациям необходимо продумать права доступа к инструментам с минимальными привилегиями, уровни принудительного применения политик, которые модерируют каждый запрос (prompt) и вызов инструмента, а также сквозное отслеживание, которое объединяет запросы, вызовы инструментов и последующие действия в единый аудируемый след.
«Финансовая система работает не на доверии; она работает на аудируемости, сверке и стоп-кранах», — говорит Гоял. «Агенты будут развиваться так же. Реалистичный ответ — многоуровневая автономия: полная свобода действий для задач с низким риском, человек в контуре (human-in-the-loop) для задач, имеющих последствия».
Часть проблемы заключается в том, что агенты перевернули модели, используемые для определения корректности работы традиционного программного обеспечения, добавляет Адель Эль Халлак, вице-президент по ИИ-программному обеспечению в Nvidia. Адель Эль Халлак. В случае с традиционным ПО специалисты по контролю качества и безопасности могли изучить код для отладки проблем, но агенты принимают решения в среде выполнения (runtime environment) модели ИИ.
Источником истины для агентов являются трассировки — записи потока выполнения, а не сам код, добавляет он. Сбор трассировок — по сути, подробных журналов — это начало пути к управлению агентами, но организации должны уметь действовать на основе этой информации, говорит он.
«Чтобы чему-то доверять, это должно быть прозрачно, а наблюдаемость является основой прозрачности», — добавляет Эль Халлак. «Но простого наблюдения недостаточно. Мы должны уметь преобразовывать эти сигналы во что-то действенное».
Управление агентами (Agent governance) выходит за рамки наблюдаемости, позволяя организациям непрерывно тестировать и тонко настраивать агентов, говорит он. Инструменты существуют: такие компании, как Nvidia, создают собственные внутренние системы управления, а ряд других поставщиков предлагают инструменты для наблюдаемости и управления агентами, отмечает он.
«Недостаточно просто иметь поведенческие данные, чтобы фиксировать данные обратной связи», — говорит он. «Система должна позволять мне аннотировать, изменять, дополнять или создавать дополнительные данные обратной связи, а затем я могу использовать эти данные для улучшения моего агента в целом».
Управленческое узкое место
В то же время многие компании, переходящие к управлению агентами, обнаружили, что это может стать огромным узким местом, если делать это неправильно, говорит Нирмал Ганеш, старший директор по управлению продуктами для автоматизации рабочих процессов на основе агентов в облачном хранилище Box. Нирмал Ганеш.
«Я не думаю, что мы уже миновали сложный этап с точки зрения развертывания агентов в корпоративной среде», — говорит он. «Большинство компаний пока не умеют это делать хорошо, и гораздо меньше из них научились управлять ими в масштабе с помощью управления агентами и наблюдаемости».
Ганеш видит несколько проблем, включая работу агентов без четких моделей разрешений. «Если агент может видеть больше, чем человек, или получать доступ к большему количеству контента или данных, чем позволяет разрешение человека, это инцидент, который вот-вот произойдет», — говорит он.
Однако некоторые ранние модели управления агентами не масштабируются. Некоторые ИТ-команды по умолчанию придерживаются позиции, что люди должны одобрять каждый результат работы агента, поскольку это самый безопасный вариант, говорит он.
«В реальности это просто воссоздание ручного процесса с большим количеством контрольных точек или точек предложений», — говорит Ганеш. «При большом объеме управление становится вашим узким местом для масштабирования, а не вашей страховкой».
Организациям необходимы масштабируемые и всеобъемлющие процессы наблюдаемости и управления, добавляет он. Рентабельность инвестиций (ROI) от агентов будет зависеть от надежных ограждений (guardrails), четких моделей разрешений и четкого участия человека в контуре, говорит он.
«Каждая зрелая автоматизация требует постоянной наблюдаемости — рабочие процессы меняются, политики меняются, решения меняются, появляются новые сценарии использования», — говорит он. «Человеческое вмешательство всегда необходимо для того, что меняется со временем, но нам нужно меньше вмешательства для известных путей и больше внимания к обработке исключений и тонкой настройке управления».
Наблюдать за результатом недостаточно
Управление не может фокусироваться только на результатах работы агента, добавляет Марсело Лоренцетти, основатель и CAIO в компании SavvyLex, занимающейся ИИ для юридических услуг. Марсело Лоренцетти.
«Самая большая проблема не просто в том, дает ли агент хороший ответ», — говорит он. «Проблема в том, может ли организация доказать, к чему агент обращался, каким инструкциям следовал, какие инструменты вызывал, какие решения принимал, где вмешивался человек и оставался ли он в пределах разрешенных границ».
Без полной видимости в среде выполнения компании остаются с фрагментами снимков экрана, журналами и объяснениями постфактум, которые могут не соответствовать юридическим требованиям, требованиям соответствия или безопасности, говорит он.
Агенты должны постоянно проверяться, а не полностью доверяться, добавляет он, при этом управление должно быть встроено в саму архитектуру агента. Управление должно включать доступ на основе ролей, выполнение с учетом ограничений политики, пороговые значения одобрения человеком, происхождение источников и инструментов, неизменяемые записи активности, оценку уверенности, обработку исключений и четкие пути эскалации, когда агент достигает предела своих полномочий, рекомендует он.
«Наблюдаемость не должна ограничиваться тем, ответила ли модель», — говорит Лоренцетти. «Она должна показывать полный путь принятия решения от ввода до действия».
ИИ-агенты изменили необходимую модель управления, добавляет он.
«Основная проблема в том, что многие компании переходят от ИИ, который отвечает на вопросы, к ИИ, который принимает действия, но их модели управления по-прежнему созданы для пассивных инструментов, а не для автономных рабочих процессов», — говорит он.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Grant Gross
