Научная работа лаборатории НЛП Нанкинского университета, принятая на ICML 2026, выявила фундаментальное понимание многоагентных систем: сбои в системе, как правило, возникают из-за оркестратора, а не из-за отдельных агентов-исполнителей, согласно отчету Machine Intelligence. В статье под названием «Recognize Your Orchestrator: An Entropy Dynamics Perspective for LLM Multi-Agent Systems» представлена структура для оценки и диагностики поведения оркестратора в сложных многоагентных рабочих процессах.
В типичных многоагентных архитектурах агенты-исполнители выполняют конкретные задачи, в то время как оркестратор выступает в роли менеджера проекта — он понимает цели пользователя, декомпозирует задачи, выбирает подходящих исполнителей, считывает обратную связь и определяет следующий шаг. Исследование показало, что по мере удлинения цепочек задач оркестратор испытывает растущее информационное давление со стороны большего числа инструментов, более длинных журналов истории и более сложной обратной связи об ошибках, что приводит к ухудшению принятия решений. Оркестратор может назначать неверных агентов, неверно интерпретировать результаты работы исполнителей, попадать в повторяющиеся циклы, преждевременно завершать задачи или не справляться с восстановлением после обратной связи об ошибках.
Команда провела анализ причин сбоев в четырех типичных сценариях многоагентного взаимодействия: глубокое исследование, агент-кодер, GUI-браузер и агентизированный RAG. Результаты последовательно показали, что основная ответственность за сбои во всех четырех сценариях лежит на оркестраторе. Это смещает аналитический фокус с вопроса о том, достаточно ли компетентны отдельные агенты, на вопрос о том, остается ли стабильным процесс планирования.
В статье вводится энтропия планирования как ключевая диагностическая метрика. Когда оркестратор уверен в себе, его выборы планирования концентрируются на нескольких подходящих агентах. При неуверенности выборы колеблются в разных направлениях. Энтропия этого распределения планирования показывает, сходится ли система к завершению задачи или дестабилизируется. Фреймворк динамики энтропии среднего поля фиксирует две конкурирующие силы: разрешение задачи создает фокус, сужая варианты, в то время как накопление контекста создает диффузию, добавляя шум. Стабильность системы зависит от того, сможет ли оркестратор сохранять ясное суждение при возрастающей сложности.
Для обеспечения оценки на уровне процесса команда разработала метод обратной генерации рабочего процесса (Inverse Workflow Generation, IWG), который конструирует проверяемые среды задач с промежуточными контрольными точками, работая в обратном направлении от целевых ответов. IWG использует три компонента: Скаут (Scout), который исследует пути решения; Обертка (Wrapper), которая генерирует структурированные среды; и Комитет Валидации (Validation Committee), который обеспечивает корректность. Это позволяет исследователям точно наблюдать, в какой момент оркестратор начинает отклоняться, колебаться или разрушаться, а не просто знать, был ли конечный результат задачи успешным.
Эксперименты с семью агентами-исполнителями и различными LLM в роли оркестраторов показали, что сила модели автоматически не трансформируется в способность оркестратора. Некоторые модели создавали структуры рабочих процессов, близкие к эталонным путям, но демонстрировали нестабильное завершение задач, в то время как другие с более низкими общими показателями успеха демонстрировали более последовательный успех на уровне шагов и согласованность траектории. Работа демонстрирует, что оркестрация многоагентных систем требует способностей, отличных от одношагового рассуждения, и что оценка на уровне процесса необходима для построения надежных многоагентных систем.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
