Kling AI, платформа для творчества на основе искусственного интеллекта, представляет серию генеративных моделей ИИ, призванных упростить создание визуального и аудиоконтента. Этот шаг подчеркивает стремление компании создать комплексную платформу для творчества, охватывающую все этапы производства.
Недавно компания представила серию O1 – свои новейшие унифицированные мультимодальные модели, способные интерпретировать практически любой тип входных данных – текст, изображения, персонажей, объекты или существующие видеоматериалы – в качестве запроса. Одновременно был представлен Video 2.6, модель, которая обеспечивает встроенную генерацию аудио вместе с созданием видео.
В быстро развивающейся сфере генеративного ИИ создатели контента по-прежнему сталкиваются с фрагментированными рабочими процессами: одна модель для генерации видео, другая для постпродакшна, третья – для создания изображений или озвучки. Kling AI стремится устранить эту фрагментацию с помощью унифицированной мультимодальной архитектуры O1 и модели Video 2.6, предлагающей встроенную генерацию аудио.
В основе анонса лежит Video O1, который Kling AI позиционирует как унифицированную мультимодальную модель, способную интерпретировать любой тип входных данных – текстовые запросы, изображения, персонажей, объекты или существующие кадры – в качестве подсказки.
Модель также объединяет широкий спектр задач, включая привязку к видео, преобразование текста в видео, генерацию начальных и конечных кадров, редактирование видеоконтента, модификации, трансформации, стилизацию и расширение камеры – все в одной унифицированной модели. Иными словами, вместо переключения между инструментами в зависимости от того, расширяет ли пользователь кадр, меняет погодные условия в сцене или стилизует отснятый материал, создатели могут делать все это в одной системе.
В настоящее время модель генерирует видеоролики длительностью от 3 до 10 секунд. Kling AI также поделилась результатами внутренних слепых тестов, сравнивающих Video O1 с ведущими моделями. Компания утверждает, что в задачах генерации изображений в видео Video O1 достиг показателя выигрыша в 247% по сравнению с Google Veo 3.1 Fast. Кроме того, в задачах трансформации видео на основе инструкций, он достиг показателя выигрыша в 230% по сравнению с Runway Aleph. Хотя это внутренние показатели, они свидетельствуют об уверенности Kling AI в конкуренции на высшем уровне отрасли.
Дополняя видеомодель, Image O1 фокусируется на предоставлении высококачественной генерации и редактирования изображений. Его сильная сторона – это обширная база знаний и мультимодальное рассуждение, позволяющие ему интерпретировать намерения пользователя с замечательной точностью.
Примечательной особенностью является возможность одновременной обработки до десяти референсных изображений для перестановки элементов, переноса стилей или извлечения определенных функций. Это обеспечивает точное редактирование изображений, доступное непрофессионалам. Пользователи могут добавлять, удалять или изменять объекты и персонажей, тщательно сохраняя стиль, освещение и текстуру исходного изображения. Модель также предназначена для сложных профессиональных рабочих процессов, таких как создание фотореалистичных 3D-рендерингов из эскизов дизайна интерьера или регулировка освещения на основе направленных стрелок. Важно, что она поддерживает согласованность объектов на нескольких сгенерированных изображениях, что является важной функцией для разработки IP-персонажей и создания комиксов. В своих внутренних тестах на задачи с использованием нескольких референсных изображений, Kling AI утверждает, что Image O1 достиг показателя выигрыша в 174% по сравнению с Nano Banana и 123% по сравнению с Dreamina Image 4.0.
Kling AI расширяет свои возможности за пределы визуального творчества с помощью недавно выпущенной модели Video 2.6, которая представляет встроенную генерацию аудио – важный шаг к полностью унифицированному мультимедийному производству.
Video 2.6 теперь может генерировать видео вместе с диалогами, музыкой, фоновыми шумами и звуковыми эффектами в одном рабочем процессе. Он поддерживает человеческие голоса (говорение, пение, рэп) и широкий спектр окружающих звуков, таких как шум океанских волн, потрескивание костра или разбивающееся стекло.
Создатели могут указывать эмоции, тон, ритм, темп и громкость, что приводит к естественной, эмоционально согласованной речи – от шепота до драматических криков. Система также плотно синхронизирует звук с визуальным движением, обеспечивая точную синхронизацию губ, ритмичное соответствие действий и согласованные звуковые ландшафты.
Благодаря встроенному аудио создатели теперь могут создавать: многоперсонажные разговоры, новостные выпуски, музыкальные выступления, короткие нарративные фильмы с фоновыми звуками и полностью озвученные рекламные ролики. Модель может одновременно смешивать закадровый голос, фоновые эффекты и естественные диалоги – например, генерировать рекламу со слоистой атмосферой дождя, французской озвучкой и репликами персонажей на сцене.
Унифицированный подход Kling AI появляется на фоне гонки за внедрением генеративного ИИ нового поколения в реальные приложения, поскольку известные компании и стартапы стремятся создать инструменты, которые могут интерпретировать сложные инструкции и обеспечивать профессиональные результаты.
Потенциальные области применения моделей O1 охватывают множество творческих секторов. Для независимых кинематографистов и крупных студий эта технология может значительно ускорить постпродакшн. Режиссеры и редакторы могут формулировать изменения на естественном языке в едином интерфейсе, используя референсные изображения для закрепления персонажей и реквизита для обеспечения бесшовной согласованности между различными сценами.
В индустрии моды модели могут снизить огромные затраты и логистические трудности физических фотосессий. Дизайнеры могут генерировать моделей, демонстрирующих свою одежду с разных углов на различных виртуальных фонах, создавая цифровую взлетную полосу. Аналогичным образом, рекламодатели в сфере электронной коммерции могут быстро создавать высококачественные визуальные материалы или виртуальные примерки, просто загружая изображения продуктов и моделей.
Что касается Video 2.6, в настоящее время он поддерживает вывод 5-секундных и 10-секундных роликов на английском и китайском языках. Пользователи могут создавать полноценные аудиовизуальные видеоролики из текста и преобразовывать статические изображения в динамичные сцены с соответствующим звуком. Модель снижает производственные затраты для продавцов, рекламодателей и влиятельных лиц, обеспечивая быструю разработку демонстраций продуктов, социальных видео, интервью и контента, готового к рекламе.
С запуском серии O1 и модели Video 2.6 Kling AI прочно закрепилась в конкурентной среде генеративного ИИ. Теперь мы будем внимательно следить за тем, сможет ли этот унифицированный подход действительно революционизировать создание контента, как мы его знаем. Если он выдержит давление реального мира, Kling AI не просто выпустила новую модель; она предложила новую, более интуитивно понятную парадигму для сотрудничества человека и ИИ в творчестве.
Автор – Carl Williams
