Tencent Hunyuan опубликовал технический отчет по Hy-Nomas, своей открытой модели генерации интерактивных миров, и выпустил Hy-Nomas-Bench — бенчмарк для тестирования интерактивных видеомоделей мира. Отчет появился на arXiv 27 октября, после первоначального релиза кода и весов 21 октября.
Hy-Nomas — это видеомодель мира с диффузионным ядром на 8 миллиардов параметров. Пользователи управляют ею в течение нескольких шагов с помощью свободных текстовых инструкций, непрерывного управления камерой или обоих методов. Модель генерирует мир сегмент за сегментом, обусловливая каждый новый сегмент текущим вводом и кэшированной историей, чтобы сцены оставались последовательными во времени.
В отчете говорится, что центральная конструкция сопоставляет структурированные видеоподписи с причинно-следственным вниманием, ориентированным на действия. Описательный контекст остается доступным между сегментами, в то время как инструкции по действиям применяются только к временному окну, для которого они предназначены. Усилитель визуально-языковых подсказок преобразует запросы пользователя и историю взаимодействия в структурированные условия для следующего сегмента.
Обучение проходит по многоэтапной программе. Сначала вводится причинно-следственная генерация, затем текстовое взаимодействие и управление камерой, затем обучение на историях, сгенерированных самой моделью, перед финальным этапом дистилляции диффузии. Дистиллированная модель работает за четыре-восемь шагов шумоподавления. По оценкам экспертов, Hy-Nomas превзошла существующие модели мира.
Hy-Nomas-Bench содержит 280 тестовых случаев по четырем задачам: многошаговое свободное текстовое взаимодействие, навигация камеры, чередующееся управление текстом и камерой, а также пространственная память. Он проверяет, следует ли модель последовательным инструкциям, дает ли физически правдоподобные ответы, точно ли выполняет движения камеры и сохраняет ли сцену последовательной, когда камера возвращается в ранее виденное место. Набор включает подсказки, структурированные подписи, последовательности взаимодействия и эталонные траектории камеры, и распространяется под лицензией Apache 2.0.
Сама модель также распространяется под лицензией Apache 2.0. Tencent предоставляет конфигурацию INT8, работающую на одной RTX 4090 с использованием скользящего окна истории и выгрузки на ЦП, конвейер Diffusers, код дообучения LoRA и интерактивную веб-демонстрацию. Выпущенные адаптеры включают кинематографический LoRA и робототехнический LoRA, обученный на реальных данных двухруких роботов.
Сторонние разработчики уже добавили поддержку в SGLang, ComfyUI и WanGP, а одна демонстрация сообщества сообщает о генерации 720p в реальном времени на Google TPU.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
