Исследователи из Китайского университета науки и технологий (USTC) опубликовали в открытом доступе новую парадигму обучения с длинным контекстом на основе агентов, которая демонстрирует прорывную эффективность: модель с 30 миллиардами параметров достигает производительности Qwen3-235B от Alibaba, которая почти в восемь раз больше.
Ключевое новшество заключается в способе получения и структурирования обучающих данных. Традиционные подходы к формированию возможностей работы с длинным контекстом делятся на два лагеря, каждый из которых имеет существенные недостатки. Первый — это дорогостоящая ручная разметка, когда аннотаторы-люди кропотливо создают примеры с длинным контекстом, что плохо масштабируется. Второй — эвристическая конкатенация коротких текстов, которая сшивает несвязанные фрагменты, но не позволяет получить связные последовательности с богатыми зависимостями, необходимые моделям для освоения подлинного долгосрочного рассуждения.
Команда USTC избрала принципиально иной путь: они обратились к траекториям агентов ИИ. Вместо искусственного конструирования данных для длинного контекста они скомпилировали многоходовые истории взаимодействий, созданные автономными агентами при решении реальных задач. Эти траектории естественным образом содержат именно те расширенные, контекстно-зависимые обмены, которые требуются для обучения с длинным контекстом, — последовательности наблюдений, шагов рассуждения и действий, основанных на информации, представленной много ходов назад.
Рассматривая траектории агентов как первоклассный источник данных, эта парадигма напрямую решает проблему, которую исследователи определяют как «бутылочное горлышко» возможностей работы с длинным контекстом для агентов ИИ. Полученные высококачественные обучающие данные учат модели поддерживать и манипулировать информацией в расширенных контекстах так, что это выглядит органично, а не искусственно.
Результаты говорят сами за себя. Модель, обученная в USTC, имея всего 30 миллиардов параметров, достигает паритета производительности с Qwen3-235B в ряде бенчмарков для длинного контекста. Это представляет собой резкое повышение эффективности — сокращение размера модели примерно в 8 раз без потери возможностей. Для практиков это означает, что рассуждение в длинном контексте, которое ранее требовало огромных, ресурсоемких моделей, теперь доступно при значительно меньшем «следе».
Публикация в открытом доступе позволяет более широкому сообществу ИИ развивать эту работу, потенциально ускоряя прогресс в агентных системах, понимании длинных документов, многоходовом диалоге и любых приложениях, где сохранение связности на протяжении расширенных взаимодействий имеет решающее значение. Демонстрируя, что качество данных может заменить необработанный масштаб, команда USTC предложила убедительный путь вперед для более широкой доступности способных агентов с длинным контекстом.
Сдвиг парадигмы очевиден: вместо того чтобы постоянно увеличивать размер моделей для обработки более длинных контекстов, мы можем обучать меньшие модели более интеллектуально — используя естественную структуру поведения агентов в качестве нашего учителя.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
