За гранью библиотеки навыков: выбираем экспертизу для агентного ИИ

ии агенты навыки сети устранение неполадок экспертиза computerweekly.com

Решение проблем в корпоративных сетевых операциях с помощью агентного ИИ требует от агентов объединения правильной экспертизы, инструментов и доказательств.

Создать нечто, похожее на агент ИИ, легко: дайте модели промпт, подключите ее к инструменту или набору документов и попросите выполнить задачу. Сложнее вопрос в том, знает ли она, что делать дальше, и использует ли она правильные доказательства. Когда это не так, сбой редко бывает очевиден. Вместо этого агент дает уверенный ответ, и кто-то действует на его основе. Агентные навыки — один из способов сократить этот разрыв между правдоподобным ответом и ответом, основанным на правильных доказательствах. Навык — это больше, чем промпт, документ или вызов программного интерфейса приложения (API). В лучшем случае он упаковывает экспертизу в многоразовый рабочий процесс: какую информацию собирать, какие инструменты использовать, как интерпретировать результаты и что делать дальше. На практике многие навыки описывают задачу, но оставляют выбор инструмента и интерпретацию результатов модели, что делает результаты менее последовательными. Агент координирует навыки; инструменты предоставляют возможности, а навыки определяют, как они используются. Но простое предоставление агенту большего количества навыков автоматически не сделает его более способным. Важно то, сможет ли он скомпоновать правильные навыки вокруг предполагаемого результата и выборочно использовать навыки по мере развития ситуации.

От одного широкого навыка к скоординированному расследованию

Рассмотрим пользователя, который может подключиться к Wi-Fi, но не может начать видеозвонок. Навык, созданный только для проверки беспроводного подключения, может подтвердить, что пользователь подключен, но не объяснит, почему звонок не работает. Проблема может касаться беспроводных условий, идентификации, DNS, маршрутизации, поставщика услуг или самого приложения. Лучший подход начинается с широкого навыка устранения неполадок, который определяет, что происходит: реальна ли проблема? Это сбой или деградация производительности? Кто затронут? Оттуда агент может вызывать более сфокусированные навыки для исследования областей, соответствующих доказательствам. Например, если затронут один пользователь, агент может проверить беспроводное соединение этого пользователя и соответствующие службы доступа, такие как DHCP, DNS или аутентификация. Если они выглядят исправными, он может следовать по пути обслуживания к самому приложению и проверить соответствующие сетевые зависимости и зависимости поставщика. Если затронуты несколько пользователей на одном сайте, агент может пропустить проверки отдельных клиентов и посмотреть, что эти пользователи разделяют локально, например, серверы DHCP, DNS или аутентификации сайта, или его шлюз безопасности. Если затронуты пользователи на нескольких сайтах, общим фактором, скорее всего, будет центральный элемент: поставщик идентификации, балансировщик нагрузки или само приложение. Это то, что делают возможным вложенные или компонуемые навыки: высокоуровневый навык координирует более специализированные возможности, вызывая их при необходимости и передавая контекст от одного шага к следующему. Агенту не нужно вызывать каждый навык или выполнять каждый тест. Ему нужно связать соответствующие доказательства по всей цепочке предоставления услуг, использовать нормальные результаты для исключения возможных причин и сузить вероятную область неисправности. Ценность не просто в выполнении большего количества тестов; она в корреляции правильных доказательств для понимания опыта пользователя.

Больше навыков может означать больше сбоев

Добавление навыка для каждой новой проблемы может показаться естественным решением, но каждый навык, к которому имеет доступ агент, дает ему еще один вариант для взвешивания. Большая плоская библиотека может замедлить работу агента и увеличить вероятность выбора им неправильного навыка. Важно и то, как определена область действия каждого навыка. Слишком широкие навыки могут не дать агенту достаточного направления. Слишком узкие навыки могут разрастаться до коллекции одноразовых рабочих процессов, в то время как перекрывающиеся навыки могут направить агента к неправильным инструментам или привести к несогласованным результатам. Не каждый шаг в расследовании требует навыка или рассуждений модели. Возьмем сбой DHCP. Оповещение от точки доступа и синтетический тест DHCP с того же сайта предоставляют независимые сигналы. Простые правила могут использовать эти сигналы, наряду с количеством затронутых клиентов и тем, повторяется ли сбой, чтобы определить, является ли проблема изолированной или охватывает весь сайт. Для ограниченных, хорошо понятных условий, таких как это, детерминированный тест часто является лучшим инструментом. Он воспроизводим: те же доказательства дают тот же ответ. Он проверяем: вы можете увидеть, какое правило сработало и почему. И он обоснован: действия могут быть привязаны к проверенному состоянию, а не к уверенности модели. Это не отсутствие экспертизы, а экспертиза, закаленная в правилах, когда проблема достаточно хорошо понята. Навыки заслуживают своего места, когда проблема неоднозначна и охватывает несколько доменов, например, когда зависимости охватывают беспроводные, сетевые и прикладные службы. Единственный сложный процесс рассуждений для каждой задачи может увеличить затраты и задержки без улучшения ответа. Навыки должны помочь определить соответствующий путь: что проверять, когда расширять расследование и когда просить человека проверить результаты.

Навыки, созданные своими руками, по-прежнему требуют экспертизы в предметной области

У организаций будут веские причины создавать некоторые навыки самостоятельно. Они понимают свои собственные приложения, операционные процедуры, сайты и бизнес-ограничения. Этот контекст может сделать агента более полезным. Но создание навыка из документов или просьба модели создать его — это не то же самое, что его проверка. Правильно ли вызываются соответствующие инструменты? Правильно ли интерпретируются результаты? Знает ли он, что могут, а что не могут установить доказательства? Эти вопросы требуют экспертизы в предметной области. Например, в сетевых операциях базовая проверка доступности может показать, что пункт назначения отвечает, но она не может установить, смогут ли пользователи фактически присоединиться к звонку. Знание того, какие дополнительные доказательства собирать и как их интерпретировать, требует экспертизы в исследуемых системах. Практический подход заключается в том, чтобы строить вокруг того, что уникально для организации, и использовать специализированные возможности там, где работа зависит от доверенных данных и знаний предметной области. Организация может предоставить свой собственный операционный контекст, используя при этом сетевую экспертизу и инструменты для исследования беспроводных сетей, коммутации, идентификации, безопасности, WAN и зависимостей приложений.

Сделайте обучение также целенаправленным

Прошлые инциденты могут помочь агенту расследовать будущие проблемы, но они не должны автоматически становиться новыми правилами. Результаты должны быть проверены и классифицированы перед повторным использованием. В противном случае ошибочный вывод может повторяться до тех пор, пока не будет выглядеть авторитетным. Даже проверенные результаты должны указывать, куда смотреть, а не переопределять то, что показывают текущие доказательства. Та же дисциплина применяется и к самим навыкам. Организации должны оценивать их на реалистичных сценариях, подтверждать, что они используют правильные инструменты и доказательства, и тестировать, правильно ли выбран навык для данной проблемы и остается ли он неактивным, когда он не нужен. Они также должны убедиться, что выводы следуют из результатов, и что рабочие процессы эффективны, без ненужных вызовов инструментов или рассуждений модели. Хороший вывод разделяет наблюдения от выводов и указывает вероятную область неисправности, альтернативы, уровень уверенности и рекомендуемые следующие шаги для выполнения. Будущее агентного ИИ будет принадлежать не агентам с самыми большими библиотеками навыков. Оно будет принадлежать агентам, которые могут собрать правильную экспертизу, инструменты и данные для конкретного результата; передавать контекст на протяжении всего расследования; и знать, когда у них достаточно доказательств для действий, а когда нужно привлечь человека. Майк Хикс — главный аналитик решений в Cisco ThousandEyes.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: