Исследователи из M-A-P, Пекинского университета почты и телекоммуникаций и лаборатории NJU-LINK Нанкинского университета, совместно представили AutoMV, первую систему с открытым исходным кодом, не требующую обучения, предназначенную для создания полноценных музыкальных клипов (MV) с последовательным повествованием, длительностью в несколько минут.
Традиционные модели AI для генерации видео испытывают трудности с длинными музыкальными произведениями из-за ограничений по продолжительности, рассогласования аудио и видео, а также плохой согласованности персонажей. AutoMV решает эти проблемы, имитируя профессиональный производственный процесс и разделяя задачу на четыре этапа: предварительная обработка музыки, написание сценария и режиссура, генерация видео и итеративная проверка.
Система использует инструменты для разделения вокала и аккомпанемента, извлечения текста и анализа структуры песни. Специализированные агенты выступают в роли «сценариста» и «режиссера», генерируя раскадровки и визуальные подсказки, а библиотека персонажей обеспечивает визуальную согласованность на протяжении всего видео.
Ключевым нововведением AutoMV является введение агента проверки, который автоматически проверяет сгенерированные клипы на физическую правдоподобность, связность повествования и соответствие аудио и видео. Клипы, не прошедшие проверку, автоматически отклоняются и генерируются заново. Команда также создала новый бенчмарк, M2V, состоящий из 30 песен. Результаты оценки показывают, что AutoMV значительно превосходит коммерческие аналоги, такие как OpenArt-story и Revid.ai, в согласованности персонажей и рассказывании историй, достигая при этом самых высоких оценок в синхронизации аудио и видео.
Будучи системой с открытым исходным кодом, не требующей обучения, AutoMV предоставляет независимым музыкантам и создателям недорогой инструмент (ориентировочная стоимость около 15 долларов США) для создания музыкальных клипов в профессиональном стиле. Генерация полного MV в настоящее время занимает около 30 минут, хотя команда отмечает возможности для улучшения в сложных сценариях синхронизации танцев.
Источник: QbitAi
Всегда имейте в виду, что редакции некоторых изданий могут придерживаться предвзятых взглядов в освещении новостей.
8/9
Автор – Pandaily
