Команда DiffuSpace, разработчик диффузионной языковой модели Dream 7B, выпустила и открыла исходный код Clover-35B-A3B-Preview. Это диффузионная языковая модель, предназначенная для задач, обычно решаемых традиционными большими языковыми моделями: написание кода, вызов инструментов, просмотр веб-страниц и генерация пользовательских интерфейсов.
Большинство языковых моделей авторегрессионные. Они предсказывают один токен за раз, причем каждый новый токен зависит от предыдущих. Диффузионные языковые модели работают иначе. Они обновляют множество позиций одновременно и уточняют результат за несколько раундов, восстанавливая замаскированный или зашумленный текст в связный ответ. Этот подход обещает более быструю генерацию, но диффузионные модели исторически были ненадежны в задачах агентов, демонстрируя некорректные вызовы инструментов и повторяющиеся неудачные шаги.
Clover использует блочную диффузию. Вывод разделяется на блоки, которые генерируются последовательно, в то время как позиции внутри каждого блока обрабатываются параллельно. Команда заявляет, что переработала архитектуру Gated DeltaNet для параллельной обработки блоков и добавила настраиваемую калибровку размера блока. Модель имеет архитектуру “смесь экспертов” (mixture-of-experts) с 35 миллиардами общих параметров и примерно 3 миллиардами активных на токен, а также поддерживает режим “мышления”.
Согласно опубликованным командой данным, Clover демонстрирует результат 73,6 на SWE-bench Verified и 51,7 на Terminal-Bench 2.1. В задачах использования инструментов модель показывает 65,3 на общем бенчмарке tau-cubed и 67,9 на BFCL-v4. Команда утверждает, что эти результаты превосходят авторегрессионные модели того же размера, включая Qwen3.6-35B-A3B. Все эти цифры являются самоотчетами и не были независимо проверены.
Скорость — главное преимущество. DiffuSpace сообщает о 515 токенах в секунду в задачах агентов на одном NVIDIA H200, по сравнению с 365 токенами в секунду для конфигурации спекулятивного декодирования DFlash2 и 680 токенами в секунду в целом на одном GB300. В тесте веб-агента, охватывающем 49 задач, команда заявляет, что медианное время выполнения Clover составило 1,52 секунды.
Веса модели доступны на Hugging Face, GitHub и ModelScope под лицензией Apache 2.0. DiffuSpace также предлагает пробный доступ через свой веб-сайт и сообщает, что в разработке находятся инструментарий для агентов и клиент для настольного кодирования.
Clover помечена как предварительная версия, и ее реальная надежность в длительных рабочих процессах агентов потребует внешнего тестирования. Тем не менее, это одна из крупнейших открытых диффузионных языковых моделей, ориентированных непосредственно на кодирование и использование в качестве агентов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
