Китайский стартап Moxin Technology, разработчик мировой модели MoWorld, представил 4D-модель мира в приложении для смартфона. По данным китайского технологического издания Xinzhiyuan, это первый подобный случай. Приложение для питомцев, предназначенное для новой серии Huawei Mate 90, позволяет создавать анимированного цифрового двойника питомца на основе нескольких фотографий. Пользователи могут вращать и рассматривать его под любым углом.
Huawei представила серию Mate 90 1 октября с новым чипом Kirin и HarmonyOS 7. Приложение, эксклюзивное для HarmonyOS, было анонсировано на презентации, а 2 октября появилось в магазине приложений Mate 90. Согласно TMTPost, пользователь загружает несколько фотографий питомца, и через несколько секунд получает модель с пространственной структурой, которая продолжает двигаться при изменении точки обзора. Виляющий хвост остается непрерывным, когда пользователь обходит модель сбоку или сзади. Это описывается как 4D: три пространственных измерения плюс время.
Функция работает по принципу разделения вычислений между устройством и облаком. Загруженные фотографии отправляются в облако, где диффузионная модель на NPU Huawei Ascend генерирует высококачественную 3D-модель Гаусса — это наиболее ресурсоемкий этап. Затем на телефоне запускается упрощенная версия MoWorld-2.0-Flash с примерно 600 миллионами параметров, квантованная, оптимизированная и адаптированная для процессоров Kirin. Телефон также отвечает за финальный рендеринг. Обучение происходит на NPU Ascend, облачные вычисления — на платформе Ascend, а обработка на устройстве — на Kirin. Перенос части вычислений на смартфон снижает нагрузку на облако и эксплуатационные расходы. Компания утверждает, что такая конфигурация снижает стоимость инференса MoWorld примерно до 30% по сравнению с аналогичными решениями на базе GPU.
MoWorld 1.0, выпущенный в июле, работал на отечественных NPU со скоростью до 50 кадров в секунду в режиме реального времени. К концу сентября, по данным Xinzhiyuan, модель получила явные физические свойства, такие как гравитация, упругость и жесткость, рендеринг 3D и 4D Гауссовых ассетов со скоростью выше 500 FPS, а на телефонах — около 100 FPS. Она выводит стандартизированные ассеты, которые можно импортировать в игровые движки, системы кинопроизводства, платформы цифровых двойников и среды обучения роботов. Сцены можно редактировать, добавляя или удаляя объекты, а также меняя погодные условия.
Потребительское приложение — лишь один из вариантов использования. По данным Xinzhiyuan и TMTPost, та же модель проходит тестирование с партнерами в области кино и игр, симуляционного обучения для воплощенного ИИ, обработки данных для автономного вождения в редких условиях (дождь, снег, ямы, внезапные происшествия), а также для создания промышленных цифровых двойников производственных линий и шахт. Несколько проектов находятся на стадии технической валидации или внедрения.
Компания, ранее производившая 3D-принтеры KOKONI, а затем переключившаяся на пространственный интеллект, была основана Чэнь Тяньжунем, аспирантом Чжэцзянского университета.
СМОТРИТЕ ТАКЖЕ:KOKONI представляет VGGT Series: прорывы в 3D-восприятии для динамической высокоточной реконструкции
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
