Компания Meituan выпустила версию 1.5 своего фреймворка с открытым исходным кодом для генерации видео с цифровыми аватарами LongCat-Video-Avatar. Обновление принесло значительные улучшения как в точности синхронизации губ, так и в эффективности инференса, что, по утверждению компании, делает технологию пригодной для реальных коммерческих сценариев развертывания в электронной коммерции, виртуальном анкоринге и интерактивных цифровых приложениях.
Ключевое улучшение в версии 1.5 заключается в замене компонента аудиокодировщика Wav2Vec2 — широко используемой модели самоконтролируемого представления речи — на Whisper-Large, крупномасштабную модель распознавания речи от OpenAI, ставшую отраслевым эталоном для задач преобразования речи в текст. Это архитектурное изменение существенно повышает точность синхронизации губ, которая исторически была одной из самых сложных технических проблем при создании реалистичного видео с цифровыми аватарами. Малейшие несоответствия между аудио и визуальными движениями рта немедленно разрушают иллюзию реализма и отвлекают зрителей, делая это измерение качества особенно критичным для коммерческих приложений.
Превосходная способность Whisper-Large улавливать тонкие временные характеристики из аудиосигналов напрямую транслируется в более естественную и точную динамику губ в сгенерированном видео, позволяя цифровому аватару поддерживать связные движения губ даже при сложных последовательностях фонем и естественных ритмах речи, которые обычно заставляют более простые системы кодирования создавать видимые артефакты.
Второе значительное достижение касается скорости инференса, которая напрямую определяет практическую осуществимость развертывания генерации видео с цифровыми аватарами в производственных средах, где задержка генерации влияет как на пользовательский опыт, так и на стоимость инфраструктуры. Версия 1.5 применяет метод Distribution Matching Distillation 2 (DMD2) для дистилляции шагов, сокращая требуемое количество шагов инференса с более высокого числа в предыдущей версии всего до 8 шагов при сохранении визуального качества — сокращение, которое существенно снижает вычислительные требования для приложений реального времени.
В крупномасштабных оценках, охвативших 770 человек на наборе данных из 13 240 образцов субъективной оценки качества, LongCat-Video-Avatar 1.5 достиг лидирующих результатов по всем оценочным параметрам на комплексных метриках в виде радарных диаграмм. Выпуск с открытым исходным кодом делает эти возможности доступными для разработчиков и коммерческих организаций, стремящихся интегрировать фотореалистичную генерацию видео с цифровыми аватарами в свои продукты без лицензионных сборов или зависимости от проприетарных API-сервисов крупных AI-платформ, что потенциально ускоряет внедрение технологий цифровых аватаров в более широкий спектр клиентских приложений.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
