Исследователи из Университета Цинхуа, Zhipu, Шанхайского университета Цзяо Тун, Уорикского университета и Kuaishou представили HarnessPro — метод, позволяющий ИИ-агенту улучшать среду, в которой он работает, — фреймворк, определяющий его промпты, инструменты, бюджеты и рабочий процесс. В статье, опубликованной на arXiv 19 октября, одним из авторов которой является главный научный сотрудник Zhipu Тан Цзе, к самосовершенствованию добавлена вторая цель: повышение производительности при одновременном снижении затрат на выполнение.
Работа продолжает сентябрьский отчет Zhipu об Infra Agent на базе GLM-5.3, который помог создать и настроить инфраструктуру инференса для GLM-5.3-Flash, увеличив сквозную пропускную способность примерно в три раза по сравнению с первоначальным базовым уровнем менее чем за две недели.
HarnessPro начинает с запуска существующего фреймворка и сбора вызовов инструментов, обратной связи от среды и использования токенов. Агент анализа траекторий анализирует несколько запусков одной и той же задачи, чтобы выявить причины сбоев, а также потери, такие как повторяющиеся поиски, бесцельное исследование и избыточные проверки. Затем агент планирования разрабатывает три типа изменений, отдавая предпочтение экономии, балансу или производительности, а агент редактирования фреймворка реализует каждое из них в отдельном рабочем пространстве, отслеживаемом с помощью Git, чтобы можно было отследить и откатить изменения.
Для оценки прогресса без эталонных ответов или официальных тестов агент генерации тестов пишет тесты на основе описания задачи и ранних запусков, после чего тесты замораживаются для каждого кандидата. По сравнению с просьбой к модели читать логи и определять, успешно ли выполнена задача, это позволило повысить частоту обнаружения сбоев в ранних экспериментах с 41,7% до 83,3%. Кандидаты, которые работают хуже исходного фреймворка или уступают ему как по стоимости, так и по успеху другой версии, отбрасываются. В следующий раунд проходят варианты Lite, Medium и Heavy.
Команда тестировала на Terminal-Bench 2, SWE-Bench Pro и ProgramBench, используя GPT-5.5 с Codex. По сравнению с предыдущим методом RHO, вариант Heavy повысил средний процент успешных прохождений на 2,0 процентных пункта и снизил среднюю стоимость задачи на 26,1%. На Terminal-Bench 2 процент успешных прохождений вырос с 76,3% до 80,8%, а стоимость задачи снизилась с $1,09 до $0,72. На SWE-Bench Pro вариант Medium показал 79,0% успешных прохождений по сравнению с 80,0% у RHO при стоимости $1,26 за задачу вместо $2,68.
Улучшения были достигнуты в основном за счет сопоставления усилий по рассуждению и бюджетов инструментов с каждой задачей, побуждая агента прекратить исследование, и сжатия повторяющихся логов и инструкций. Показатели стоимости включают выполнение задач, а не поиск и оценку, лежащие в их основе.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
