Команда разработки моделей Xiaomi открыла исходный код SVOR (Stable Video Object Removal) — фреймворка для редактирования видео, который решает три насущные проблемы, возникающие при обработке видео с помощью ИИ: остаточные тени после удаления объекта, дрожание изображения при быстром движении и неидеальные маски, нарисованные пользователем.
SVOR занял первое место на соревновании CVPR 2026 Physical Perception Video Instance Removal Challenge, опередив 17 других команд. Код теперь доступен под лицензией Apache 2.0.
Практическая проблема хорошо известна: существующие методы хорошо работают в контролируемых лабораторных условиях, но дают сбой в реальных видео. Тени остаются после того, как объект, их отбрасывавший, исчезает. Быстро движущиеся объекты мерцают или появляются/исчезают кадр за кадром. Маски, сгенерированные ИИ, — которые никогда не бывают такими точными, как ожидают пользователи, — вызывают видимые артефакты по краям.
SVOR решает каждую из этих проблем с помощью специализированных модулей: MUSE (Mask Union for Stable Erasure) устраняет дрожание движения, обрабатывая объекты в пределах временных окон, а не покадрово. DA-Seg (Denoising-Aware Segmentation) обеспечивает коррекцию ошибок для неидеальных масок, позволяя стабильно завершить удаление, даже если исходная граница объекта неточна. Двухэтапный подход к обучению по учебному плану обеспечивает модели сильную обобщающую способность в разных сценариях.
На стандартных тестовых наборах SVOR демонстрирует новые передовые результаты. Что более важно, его устойчивость к несовершенным условиям существенно выше, чем у существующих методов, что делает его по-настоящему применимым в потребительском видеоредактировании, а не просто победителем в рейтинге исследовательских бенчмарков.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
