D-Robotics и Infinigence AI договорились о подключении набора инструментов с открытым исходным кодом для воплощенного искусственного интеллекта (embodied AI) к чипам Sunrise от D-Robotics и программной платформе RoboGo, объявили компании 13 ноября. По их словам, несколько компонентов уже работают вместе, позволяя разработчикам обучать модели, управлять устройствами, запускать агентов и развертывать их на роботизированном оборудовании в рамках единого рабочего процесса.
Набор с открытым исходным кодом охватывает четыре этапа разработки роботов. Он был совместно разработан Университетом Цинхуа и Infinigence AI:
- RLark управляет средами и устройствами, объединяя облачные вычисления, граничные узлы и роботов таким образом, чтобы устройства, такие как роботы и камеры, могли запрашиваться, планироваться и повторно использоваться подобно графическим процессорам (GPU).
- RLinf выполняет обучение с подкреплением и постобучение для воплощенных моделей.
- RPent представляет собой инфраструктуру для агентов в физическом мире, связывая планирование задач большой модели с моделями VLA для точной манипуляции, а также память, инструменты и интерфейсы роботов. Разработчики утверждают, что скорость выполнения сквозных задач возросла в семь раз.
- APXInf — это механизм вывода для запуска моделей на граничных устройствах.
D-Robotics поставляет аппаратное обеспечение и платформу. Чипы Sunrise обеспечивают доступ к устройствам и выполнение на борту, в то время как RoboGo отвечает за управление средой, планирование задач и мониторинг в реальном времени.
По данным компаний, интеграция уже принесла результаты:
- Среда постобучения RLinf внесена в список RoboGo.
- Четыре вычислительные платформы — Sunrise 5, Sunrise S100, Sunrise S100P и Sunrise S600 — были адаптированы для RLark.
- Sunrise S600 был адаптирован для APXInf, что позволяет развертывать на устройстве такие модели, как Pi0.5.
- RPent подключен к граничному песочнице D-Robotics. Агенты могут запрашивать реальные платы разработки через RoboGo, отправлять им задачи и собирать данные траекторий.
Компании заявляют, что разработчики могут выбирать среду обучения в RoboGo, удаленно управлять граничным оборудованием и вызывать его, а также выполнять обучение моделей, выполнение агентов и тестирование с аппаратной петлей в едином процессе.
Анонс расширяет работу, которую обе стороны демонстрировали по отдельности. Infinigence AI открыла APXInf в сентябре с оптимизированной моделью Pi0.5 для NVIDIA Jetson Thor, а адаптация для S600 добавляет к своим целям отечественный роботизированный чип. D-Robotics сопрягает сторонние модели роботов с Sunrise S600, включая GigaBrain-0.7 от GigaAI.
Ни одна из компаний не опубликовала показатели производительности объединенного рабочего процесса и не сообщила, когда другие модели Sunrise будут поддерживать APXInf.
Источники: Отчет Shanghai Securities News · Детали интеграции переопубликованы SMZDM · Организация RLinf на GitHub.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
