Команда Alibaba Tongyi Wanxiang на этой неделе опубликовала в открытом доступе Wan-Animate-2 — сквозной фреймворк для анимации персонажей. Архитектура полностью обходится без извлечения скелетных поз и сжатия признаков движения, подавая управляющее видео напрямую в диффузионный трансформер. В результате система работает в потоковом режиме с частотой 24 кадра в секунду, а в прямых сравнениях показывает результаты, сопоставимые с закрытыми коммерческими лидерами, такими как Dreamina от ByteDance и KLING MotionControl от Kuaishou.
Прорыв заключается в том, чего Wan-Animate-2 не делает. Более старые пайплайны требовали промежуточного этапа оценки поз, который перекодировал управляющее видео в скелетный риг, что одновременно сжимало информацию и приводило к критическим сбоям при отказе рига. Wan-Animate-2 сохраняет управляющий сигнал в виде сырых пикселей и позволяет диффузионному трансформеру самостоятельно выучить отображение, что даёт заметно более чистую деформацию кистей и меньше артефактов конечностей при сложных движениях.
Помимо анимации одного персонажа, фреймворк поддерживает сценарии с несколькими персонажами и несколькими камерами. Одно управляющее видео может одновременно управлять несколькими целевыми персонажами, а одна и та же анимация может быть отрендерена с нескольких явных позиций камеры без переобучения. Система также стабильно обрабатывает нестандартные соотношения сторон и различные типы телосложения персонажей, устраняя хрупкость, которая до сих пор преследовала большинство работ по анимации персонажей с открытым исходным кодом.
Практическое значение — структурное. Анимация персонажей была узким местом коммерческого AI-видео. Модели генерации могли создавать сцены; композитинг мог размещать персонажей; но заставить стилизованного персонажа выполнять произвольные движения с сохранением идентичности — это был этап, который почти всегда отдавался на ручную покадровую анимацию. Wan-Animate-2 закрывает этот разрыв, и делает это с весами, которые любой разработчик может запустить локально.
Более широкая ставка Alibaba на семейство Tongyi Wan становится яснее. Wan 3.0, выпущенный ранее в августе, открыл генерацию видео из документов для корпоративного использования. Wan-Animate-2 открывает анимацию персонажей для сообщества разработчиков и создателей. Вместе эти два релиза покрывают оба конца производственного стека. Для экосистемы видео с открытым исходным кодом более интересный вопрос уже не в том, могут ли китайские лаборатории догнать закрытое коммерческое качество. Они уже это сделали. Вопрос в том, как быстро инструменты нижнего уровня интегрируют новую модель.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
