Tencent Hunyuan выпустила и открыла исходный код Hy-SimulMT — модели синхронного перевода, которая преобразует китайскую речь в английскую и наоборот в режиме реального времени, пока говорящий еще произносит слова. Модель клонирует голос говорящего в реальном времени, поэтому слушатели слышат перевод голосом, близким к оригинальному. Модель впервые доступна в приложении Hy Translate, где ее можно использовать бесплатно, согласно IT Home и страницам проекта на GitHub и Hugging Face.
Ключевой показатель — задержка. Tencent измеряет ее с помощью StreamLAAL, стандартной метрики для оценки задержки потокового перевода, и сообщает о примерно 3 секундах на длинном бенчмарке RealSI, что является самым низким показателем среди сравниваемых систем. Проект отмечает, что StreamLAAL отличается от времени, которое проходит до первого услышанного переведенного слова. IT Home, для сравнения, оценивает типичную задержку профессиональных переводчиков-людей в 4–5 секунд.
По качеству, показатель GEMBA для Hy-SimulMT на длинных речевых фрагментах превзошел открытые модели в сравнении и четыре из пяти коммерческих API. На коротких наборах данных модель показала 90,3 на FLEURS, 75,5 на CoVoST2, 81,2 на ACL6060 и 84,7 на RealSI-Sentence, причем последний результат оказался самым высоким среди всех представленных систем.
Команда также сравнила модель с людьми-переводчиками на 18 записях продолжительностью около шести минут каждая, сделанных начиная с сентября 2026 года в 10 предметных областях. В тестировании участвовали шесть переводчиков: трое с высшим китайским сертификатом CATTI Level 1 и трое с Level 2. Использовался лучший результат от каждого уровня. Tencent называет это оценкой в малом масштабе. Ван Вэйвэй, заместитель декана Школы исследований в области перевода и интерпретации Гуандунского университета иностранных языков, отметил в опубликованных к релизу комментариях, что система сначала говорит, а затем исправляет себя, подобно живому переводчику, и что ИИ-перевод движется от помощи в понимании к практическому общению в условиях низкого риска.
Выпущенная модель представляет собой систему смешанных экспертов 30B-A3B с сборками FP8 и GGUF, а также вариантом Interleave, который также выводит исходную транскрипцию. На странице Hugging Face указана лицензия Apache 2.0. Tencent поставляет с моделью два инструмента: SimulInfer — стек для обслуживания, построенный на vLLM, с веб-интерфейсом, WebSocket API и опциональным преобразованием текста в речь, и SimulTrain — для дальнейшего обучения на данных предметной области. Поддержка в llama.cpp еще не была интегрирована.
Выпуск модели следует за предыдущими открытыми моделями перевода Hunyuan и переносит фокус с текста на живую речь — среду, где задержка имеет наибольшее значение.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
