Amazon объявила о глобальном внедрении новой функции дубляжа в Prime Video, которая синхронизирует движения губ актеров со звуком, что уменьшает вероятность того, что их губы будут продолжать двигаться после окончания диалога.
Для начала эта функция дебютирует сегодня в первом и втором сезонах популярного сериала о врагах, ставших возлюбленными, «Maxton Hall». Новая функция обеспечит дубляж с синхронизацией губ для англоязычных зрителей (шоу изначально на немецком языке, хотя действие происходит в элитной частной школе в Англии) и будет включать предстоящие третий и последний сезоны. Зрители, предпочитающие оригинальную аудиодорожку с субтитрами, по-прежнему смогут переключаться между дорожками, как обычно.
Отраслевой термин для того, что делает Prime Video, — это «визуальный дубляж» или сокращенно «vubbing». По сути, это система, в которой люди записывают диалоги на целевом языке, прежде чем ИИ будет сканировать исходный фильм кадр за кадром и наносить невидимые точки отслеживания на лицо актера, а затем генерировать совершенно новые формы рта.
Например, если испанский актер изначально закрывал рот, чтобы произнести звук «М», но в английском дубляже используется звук «О», ИИ генерирует открытые губы и отображает внутренние зубы и язык, чтобы соответствовать новому гласному звуку. В итоге сгенерированный рот накладывается обратно на лицо актера таким образом, чтобы максимально соответствовать освещению, теням и текстуре кожи, сохраняя при этом аутентичность игры. Amazon уже планирует расширить эту функцию на большее количество наименований в будущем.
В мае прошлого года шведский научно-фантастический фильм «Watch the Skies» (ранее «UFO Sweden») вошел в историю как первый полнометражный художественный фильм, выпущенный полностью с использованием ИИ-визуального дубляжа. Ранее Lionsgate использовала аналогичную технологию в триллере «Fall» для корректировки диалогов без пересъемок.
YouTube в настоящее время тестирует собственный Lip-Sync Pilot с избранной группой ютуберов, создавая ситуацию, когда американский автор говорит по-английски на камеру, а зритель в Испании слышит испанскую речь и видит, как губы ютубера двигаются по-испански.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – David Uzondu
