Команда дальновосточного университета науки и технологий (Hong Kong University of Science and Technology) разработала HarnessSQL — систему преобразования текста в SQL, построенную на базе фреймворка Harness от DeepSeek. Исследователи утверждают, что она позволяет небольшим моделям превосходить значительно более крупные на задачах, связанных с базами данных корпоративного уровня. Статья была опубликована на arXiv в октябре, а 2 ноября издание Xinzhiyuan сообщило о работе, назвав ее результатом сотрудничества между HKUST и исследователями Microsoft.
Основной компонент, DSH-SQL, адаптирует DeepSeek Harness для работы с базами данных, используя четыре инструмента: перечисление таблиц, чтение схем, выполнение запросов и предоставление окончательного ответа. Команда создала 79 изолированных баз данных на основе Spider 2.0-Lite и Spider 2.0-DBT, преобразовав проекты DuckDB в SQLite, и запускала их в режиме только для чтения с 60-секундным ограничением по времени. Обучение начинается с контролируемой донастройки на полных траекториях агента, в среднем составляющих 11 800 токенов, 16 шагов и 14 выполнений запросов, при этом наблюдения за инструментами маскируются из функции потерь. Затем следует обучение с подкреплением с использованием DAPO.
На Spider 2.0-SQLite модель размером 8B, основанная на Qwen3-8B, улучшила свои показатели с 15,5% до 45,2%, а 14B версия достигла 54,8%. Базовые модели размером 32B, представленные в статье, включая OmniSQL-32B, Arctic-Text2SQL-32B и Qwen2.5-Coder-32B, показали результаты в диапазоне от 14,8% до 16,3%. На LiveSQLBench модели 8B и 14B достигли 24,8% и 28,5% соответственно, в то время как базовые модели 32B показали от 7,0% до 8,9%.
Анализ компонентов показывает, откуда берутся улучшения. Прямое применение обучения с подкреплением дало лишь 20,0%, тогда как только этап контролируемой донастройки обеспечил 30,4% для 8B и 37,8% для 14B. Донастройка на траекториях, собранных без использования Harness, дала всего 9,6%. Длина контекста также имела значение: модель 8B показала 27,4% при окне 8K и 45,2% при 32K. Среди алгоритмов обучения с подкреплением GRPO достиг 40,7%, GSPO — 43,7%, а DAPO — 45,2%.
Авторы утверждают, что именно хорошо спроектированный фреймворк агента, а не только масштаб модели, позволяет осуществлять многошаговые рассуждения над реальными базами данных. Код доступен на GitHub. Проект дополняет растущий набор исследований и инструментов, созданных на базе DeepSeek Harness с момента его выпуска в открытый доступ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
