Китайская команда AOE Tech Labs, создавшая десктопный агентный продукт Floatboat, 7 августа опубликовала полные данные оценки Harness по пяти сторонним агентным бенчмаркам. Базовой моделью стала DeepSeek-V4-Flash — самая дешёвая из достоверных моделей на рынке. При неизменных модели и стоимости менялся только исполнительный Harness. Та же модель, которая на собственном Harness от DeepSeek уступала Claude Opus 4.8 по всем пяти бенчмаркам, внутри Harness от Floatboat превзошла Opus 4.8 по всем пяти.
Цены делают результат ещё более впечатляющим. Opus 4.8 стоит 5 долларов за миллион входных токенов и 25 долларов за миллион выходных. При типичном для агентных сценариев соотношении ввода-вывода 3:1 смешанная стоимость Floatboat составляет 0,175 доллара за миллион токенов против 10 долларов у Opus 4.8 — разрыв в 57,1 раза. Пять бенчмарков — это сторонние публичные лидерборды, включая BrowseComp от OpenAI. Данные не являются артефактом выбора вопросов.
Методология — самая строгая часть. В контрольной группе использовался официальный релиз DeepSeek-V4-Flash-0731, а не предварительный чекпоинт. Контрольная группа запускалась на собственном Harness провайдера в минималистичном режиме, что делает сравнение более жёстким, поскольку инженеры провайдера находились «в комнате». Сторона Floatboat работала в изолированных физических песочницах с одинаковыми входными параметрами. Единственной переменной был сам Harness.
Упорядоченные по горизонту задач от коротких к длинным, приросты не убывают: 1,9%, 9,6%, 12,6%, 19,9%, 23,6%. Короткие задачи — это, по сути, одноразовые вопросы-ответы, где доминирует качество модели. Длинные задачи, которые и составляют реальную работу, определяются исполнительной системой: доступ к файлам, циклические вызовы инструментов, сохранение состояния, многошаговая самокоррекция и откат. Реальная работа находится на стороне длинных горизонтов.
AOE Tech Labs ввели коэффициент рычага Harness (HLR) для обеспечения проверяемости сравнения. Формула: прирост от замены только Harness, делённый на прирост от перехода на более сильную эталонную модель. HLR больше 1 означает, что один лишь Harness превосходит обновление модели. На DeepSWE Floatboat сообщил HLR 3,57: при сохранении идентичной модели и замене только Harness был получен прирост в 3,57 раза относительно публичного разброса производительности, соответствующего переходу на Opus 4.8. По всем пяти бенчмаркам HLR монотонно возрастал с длиной горизонта от 0,78 до 3,57.
AOE Tech Labs была основана в конце 2025 года при поддержке HongShan и VLight Capital в качестве инвесторов посевного раунда. Команда выпустила Floatboat Desktop в январе, FloatIM в апреле и FloatSchedule в мае. Тезис заключается в том, что система, непрерывно устраняющая разрыв между эволюционирующей целью выполнения и дрейфующим выводом модели, является ключом к повседневным агентам. Самая дешёвая модель теперь может сравниться или превзойти самую дорогую передовую модель, если Harness построен для длинных задач.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
