Китайский хардкорный AI-стартап всколыхнул мировую голосовую индустрию. VUI Labs, основанная профессором Шанхайского университета Цзяо Тун Цянь Яньминем и серийным предпринимателем Мэй Цзе, выпустила Luna-TTS, которая мгновенно возглавила авторитетные рейтинги: первое место в TTS Arena на Hugging Face, обойдя ElevenLabs, MiniMax и Cartesia, и третье место в мире в Speech Arena от Artificial Analysis, превзойдя Google. Видение простирается от высокоточной TTS до мультимодального полнодуплексного голосового агентного цикла — путь, поразительно параллельный Thinking Machines Lab.
Luna-TTS отходит от доминирующей авторегрессивной парадигмы. Человеческая речь глобально переплетает эмоции, тембр и дыхание, в то время как AR-архитектура вынуждает последовательную генерацию, увеличивая задержку и накапливая ошибки. Вместо этого Luna-TTS сжимает звук в дискретные токены и использует диффузионную языковую модель на основе архитектуры Qwen3 для параллельного предсказания пакетов голосовых токенов с потоковой ветвью реального времени. Технический отчет показывает первое место по четырем показателям качества голоса в Seed-TTS-Eval, превзойдя серии ByteDance Seed, MiniMax, Zhipu и Qwen, плюс первое место в CV3-Eval по коррекции ошибок и помехоустойчивости, а также первое место по задержке первого пакета и скорости в реальном времени — всего шесть первых мест.
Технический стек глубок. Luna-Codec использует восьмикодовую архитектуру на частоте 24 кГц с частотой кадров 25 Гц, закрепляя семантическую информацию в первой кодовой книге с помощью потерь семантической дистилляции WavLM, в то время как кодовые книги со второй по восьмую захватывают тембр, канал, эмоции и просодию. Команда перенесла пост-тренировку с GRPO-обучением с подкреплением на неавторегрессивную дискретную маскированную диффузионную модель. Для сценариев реального времени Luna-TTS Realtime генерирует речь блоками по 1,28 секунды с 8–16 параллельными шагами шумоподавления, достигая задержки первого пакета в 41,6 миллисекунды на двух GPU H20 и коэффициента реального времени 0,024, что более чем в 40 раз быстрее реального времени.
Инженерия данных обеспечивает выразительность. Команда создала мультиязычный корпус объемом в миллион часов: 43,4% китайского, 43,1% английского, 13,6% японского и корейского языков. Для отжига было отобрано около 100 000 часов экстремально высокого качества, добавлены выразительные данные с встроенными невербальными вокальными тегами, такими как смех, вздохи, одышка и кашель, которые подаются непосредственно как текстовые подсказки, так что модель естественным образом воспроизводит дыхание и эмоциональные нюансы. Для клонирования требуется всего несколько минут образцов.
Коммерчески VUI Labs построила трехуровневую систему продуктов: модельный API для генерации, клонирования, транскрипции и перевода в реальном времени; платформа для создателей и разработчиков для дубляжа и мультимодального творчества; и платформа голосовых агентов, объединяющая распознавание, языковые модели, вызов инструментов и генерацию для сквозного развертывания. Эта модель масштабирована в логистических диспетчерских, интернет-страховании и travel SaaS, причем несколько клиентов провели более миллиона реальных деловых разговоров. Компания оценивает рынок голоса плюс зрения плюс коллаборации в 266–740 миллиардов долларов США к 2030 году. Исследовательская команда из почти 50 человек наполовину состоит из докторов наук, возглавляемая Цянь Яньминем, доктором наук Университета Цинхуа и постдоком Кембриджа, лауреатом первой премии по естественным наукам в области искусственного интеллекта имени У Вэньцзюня.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
