Разработанный командой Tianxi AI от Lenovo агент для написания кода занял первое место в Lite-рейтинге SWE-bench-Live — бенчмарка, который предлагает ИИ-системам исправлять реальные проблемы из проектов на GitHub. Используя DeepSeek-V4.1-Flash в качестве базовой модели, фреймворк TianxiCode от Lenovo решил 71% задач и прошел официальную верификацию бенчмарка, согласно заявлению Lenovo, опубликованному QbitAI 9 октября.
Результат относится только к разделу Lite, а не к полным или многоязычным версиям бенчмарка. В общедоступном рейтинге запись от 8 октября показывает, что решено 213 из 300 задач Lite. Разрыв невелик: следующая верифицированная запись в той же категории имеет показатель 70,33%.
SWE-bench-Live отличается от классических тестов кодирования, которые проверяют синтаксис или отдельные функции. Каждая задача основана на реальной проблеме с GitHub, и система должна предоставить патч, который исправляет ее в воспроизводимой среде выполнения. Чтобы получить отметку Verified, команды предоставляют полные траектории выполнения своих агентов, а организаторы проверяют входные данные для оценки и настройки изоляции на предмет утечки эталонных ответов, тестовых случаев или результатов.
Lenovo описывает разделение работы следующим образом: DeepSeek-V4.1-Flash действует как мозг инженера, читая код и предлагая исправления, в то время как TianxiCode предоставляет глаза, руки, инструменты и рабочую дисциплину. Компания выделяет три возможности. Многошаговый поиск по файлам в сочетании с обрезкой и нарезкой контекста помогает агенту отследить ошибку до ее первопричины в большой кодовой базе. Автономное планирование с многооборотными вызовами инструментов позволяет ему составить план отладки, запускать тесты в терминале, читать журналы и сравнивать историю изменений, а затем менять подход, когда он застревает. Замкнутое исправление с самокоррекцией на основе тестов запускает новый код в изолированной среде и продолжает доработку до тех пор, пока патч не будет принят.
TianxiCode — это компонент генерации кода и разработки программного обеспечения экосистемы Tianxi AI от Lenovo. Lenovo заявляет, что планирует интегрировать эту разработку в инструментарии для разработчиков и в свои аппаратные продукты с ИИ, но не предоставила никаких сроков и не уточнила, какие устройства будут оснащены этой технологией.
Результат также демонстрирует, насколько далеко может зайти экономичная модель класса Flash в сочетании с мощной системой агента. Lenovo не публиковала отдельные результаты для того же фреймворка на других моделях.
СМОТРИТЕ ТАКЖЕ:DeepSeek-V4.1-Flash представляет причинно-следственный энкодер-декодер MoE с контекстом 1M и экстремальным сжатием KV · Lenovo представляет экосистему Tianxi AI 4.0: миниатюрный ИИ-хост, снижение стоимости токенов на 95%, первый большой складной телефон
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
