Команда Ant Group по искусственному интеллекту представила Ming-3.0-tts — семейство моделей для генерации речи, позволяющее осуществлять детальный контроль над голосом в моделях, достаточно компактных для локального развертывания. Код, сборник задач и таблицы оценки доступны на GitHub, а веса — на Hugging Face и ModelScope, все под лицензией MIT.
Релиз включает две модели. Ming-3.0-tts-0.5b — это плотная модель примерно с полумиллиардом параметров. Ming-3.0-tts-tiny — это модель типа «смесь экспертов», построенная на архитектуре Ant Ling V3, с 7,9 миллиарда общих параметров и 1,3 миллиарда активных на токен. Обе модели используют единую структуру генерации: текстовые и специфичные для задач управляющие токены обуславливают языковую модель, которая управляет патч-головой DiT и аудио токенизатором.
Список функций обширен. Пользователи могут клонировать эталонный голос, создавать новый голос на основе текстового описания или выбирать из более чем 100 встроенных китайских и пяти английских голосов. Доставка речи может управляться инструкциями на естественном языке, а эмоции, скорость, высота тона и громкость можно настраивать напрямую. Четырнадцать встроенных тегов позволяют вставлять смех, вздохи и другие вокальные звуки на китайском или английском языках. Модели поддерживают китайский, английский, немецкий, испанский, французский, корейский и японский языки, а также сычуаньский и кантонский диалекты. Модель tiny добавляет многоголосый диалог, сгенерированный по сценарию и с использованием эталонных голосов, предназначенный для длинных аудио в стиле подкастов.
Команда отмечает, что эти возможности работают как отдельные режимы задач, а не произвольные комбинации.
Согласно репозиторию, Ming-3.0-tts заняла первое место среди моделей с открытыми весами в рейтинге Artificial Analysis Controlled Voice и первое место в общем зачете по устойчивости произношения, с 93,2% правильно произнесенных выделенных фрагментов по состоянию на октябрь 2026 года. Команда предупреждает, что эти рейтинги меняются по мере добавления новых моделей. На открытых бенчмарках модель демонстрирует передовые результаты среди перечисленных моделей с открытым исходным кодом по всем шести метрикам паралингвистических показателей NVBench с одним тегом, по частоте ошибок кантонского диалекта для модели 0.5b и по частоте ошибок немецкого и испанского языков для модели tiny.
В файле README также откровенно говорится о слабых сторонах. Сходство голосов в недавно добавленных языках в основном не попадает в топ-три, контроль высоты тона является наименее точным атрибутом, частота ошибок корейского языка в модели tiny значительно отстает от меньшей модели, а качество аудио для подкастов все еще уступает более раннему релизу Ming-omni-tts. Точность передачи эмоций снижается, когда сам текст не несет эмоциональной окраски.
Дорожная карта включает ускоренный инференс vLLM-Omni и технический отчет в качестве следующих шагов. Проект просит пользователей не клонировать голоса реальных людей без их согласия и маркировать синтезированную речь, если она может быть ошибочно принята за реальную запись.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
