Компания Xiaomi представила Xiaomi-Robotics-U0 — мультимодальную авторегрессионную воплощенную генеративную фундаментальную модель с 38 миллиардами параметров. Это первая унифицированная генеративная модель в области воплощенного ИИ, способная одновременно обрабатывать четыре различные категории роботизированных задач. Модель сопровождается полностью открытым исходным кодом и весами на GitHub и HuggingFace, что создает полный конвейер для генерации и редактирования обучающих данных в виде изображений и видео для роботов.
Модель охватывает четыре ключевые возможности. Во-первых, генерация воплощенных сцен создает многовидовые начальные сцены для заданного роботизированного оборудования на основе текстовых описаний, охватывая среды от столов и кухонь до складов и открытых миров. Во-вторых, воплощенный перенос переносит существующие траектории роботов в новые среды, изменяя освещение, фон, материалы поверхностей, целевые объекты или стиль рабочего пространства, сохраняя исходные позы манипулятора и компоновку сцены. В-третьих, генерация видео взаимодействия робота создает последующие видеокадры на основе начальных наблюдений и инструкций по выполнению операций, поддерживая согласованность движения и физическую непротиворечивость с обобщением на невидимые сценарии без дополнительного обучения. В-четвертых, сохраняются общие возможности преобразования текста в изображение и редактирования изображений, что позволяет переносить визуальные знания из интернета на задачи воплощенного ИИ.
Xiaomi-Robotics-U0 достигла наивысших показателей на бенчмарке WorldArena среди 126 участвующих глобальных моделей. В реальных испытаниях роботов в условиях выбросов с неизвестным освещением и незнакомым фоном уровень выполнения стратегических задач в среднем повысился на 26% при обучении на данных, дополненных Xiaomi-Robotics-U0. Модель может улучшать существующие данные за счет сохранения геометрической согласованности путем изменения объектов, освещения, фона или добавления беспорядка без необходимости сбора новых данных, а также генерировать совершенно новые сцены, охватывающие опасные, экстремальные или длиннохвостые среды, недоступные физическим роботам.
Модель использует архитектуру ускорения вывода UNIS, которая повышает эффективность генерации примерно в 83 раза по сравнению с исходной авторегрессионной парадигмой, существенно снижая барьер для инженерного развертывания. Это делает крупномасштабную генерацию воплощенных обучающих данных для улучшения модели контролируемым и эффективным решением, устраняя один из фундаментальных узких мест в развитии воплощенного ИИ, где нехватка данных ограничивает рост возможностей модели.
Релиз с открытым исходным кодом включает полную страницу проекта, репозиторий кода на GitHub, веса модели на HuggingFace и коллекцию на ModelScope. Это один из наиболее всеобъемлющих вкладов с открытым исходным кодом от китайской компании по производству потребительской электроники в области воплощенного ИИ, следующий за развертыванием роботизированного завода Xiaomi и позиционирующий компанию как полноценного игрока в сфере воплощенного ИИ, охватывающего производство оборудования, реальное развертывание и исследования фундаментальных моделей.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
