Компания SenseTime открыла исходный код SenseNova-RoboRSI — фреймворка для оценки систем воплощенного ИИ, а также воплощенной модели SenseNova-RoboRSI-27B-Preview. Релиз последовал за исследованием, в рамках которого SenseTime протестировала большую модель GPT-6-Astra на 12 симулированных робототехнических бенчмарках и 8 физических роботах. Все приведенные ниже результаты получены в ходе собственных тестов SenseTime.
SenseTime утверждает, что когда GPT-6-Astra получила доступ к демонстрационным обучающим данным, а лимиты шагов были увеличены в 10 раз по сравнению с официальными настройками, модель достигла насыщения на бенчмарках LIBERO и SIMPLE и показала 81,9% успешности на RoboDojo. В одном из случаев девять задач RoboDojo, которые не удалось выполнить ни разу из пяти попыток, были успешно решены все пять раз, как только модели было позволено продолжать взаимодействие.
Цена оказалась высокой. В расширенных тестах SenseTime укладка мисок заняла около 131 минуты и примерно 19 долларов США (приблизительно 17,1 EUR) предполагаемых затрат на инференс, а помещение ручки в пенал — 263 минуты и около 55 долларов США (приблизительно 49,5 EUR). SenseTime также обнаружила, что GPT-6-Astra оставалась наиболее слабой в задачах с длительным горизонтом, испытывала трудности с переносом навыков между задачами, а также проблемы с деформируемыми объектами и точным управлением на реальных роботах.
Затем компания протестировала комбинацию медленной модели рассуждений и быстрой модели действий. Лучшая комбинация достигла 54% успешности в 42 задачах RoboDojo с замкнутым циклом, который проверяет каждый результат, хотя SenseTime отмечает, что стоимость остается проблемой.
Пакет с открытым исходным кодом объединяет каждый бенчмарк и его зависимости в отдельный образ Docker и предоставляет взаимодействие со средой и нативную оценку через унифицированный HTTP API. SenseTime заявляет, что исследователи могут проводить комплексные оценки из конфигурационного файла, не настраивая каждый симулятор вручную.
27-миллиардная модель предназначена для встраивания проверенного опыта в веса модели, чтобы уменьшить количество проб и ошибок. SenseTime сообщает, что модель показала результат 26,13 на RoboDojo с 20,83% успешности выполнения задач, превысила 90 на LIBERO-Pro и повысила свою успешность на RoboCasa365 с 26,0% до 46,5%, сократив при этом использование токенов на 73%. Компания утверждает, что выполняет воплощенные задачи при стоимости в 50 раз ниже, чем GPT-6-Astra.
SenseTime также утверждает, что будущие воплощенные бенчмарки должны строиться вокруг реальных человеческих потребностей, требовать от роботов обучения путем взаимодействия и учитывать время размышлений как мировое время, поскольку сковорода продолжает нагреваться, пока модель обдумывает решение. Ни один из результатов не был независимо проверен.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
