Компания Tencent Hunyuan представила Hy Realtime — модель голосового общения в реальном времени, которая добавляет в обычные разговоры функции вызова инструментов и пения. Модель уже используется в голосовых звонках Tencent Yuanbao и в службе поддержки клиентов Tencent. Компания заявляет, что вскоре она будет доступна через API на Tencent Cloud. Команда анонсировала модель 13 ноября.
По данным Tencent, Hy Realtime создана с учетом особенностей реальной человеческой речи. Пользователи могут бормотать, останавливаться на полуслове или менять мысль на ходу, а модель использует контекст беседы, чтобы восстановить их намерение. Tencent сообщает об улучшении многоэтапного выполнения инструкций и управления контекстом, благодаря чему модель отслеживает намерения в ходе длительных разговоров.
Модель также умеет вызывать инструменты. Исходя из разговора и намерения пользователя, она определяет, нужен ли веб-поиск, а затем выполняет поиск, вызов инструмента и озвучивание ответа как единый процесс. В плане вывода звука Tencent заявляет, что модель превосходит своего предшественника по качеству аудио, произношению, интонации и эмоциональной выразительности, с более естественными изменениями тона в ходе беседы.
Функция пения была разработана совместно с командой ИИ Tencent Music Entertainment. Пользователи могут запрашивать песни по исполнителю, альбому, жанру, языку, году выпуска или популярности, комбинировать эти условия и уточнять запрос в последующих репликах. В примере Tencent пользователь запрашивает англоязычную фолк-песню, выпущенную между 2010 и 2020 годами, и модель находит подходящий вариант и исполняет ее. Tencent сообщает, что пение было настроено для выразительности, естественных пауз и дыхания, а также для мелодии и ритма.
Tencent сообщает о достижениях во внутренних слепых тестах экспертов по задачам поиска и ответа, во внутреннем тесте на рассуждение в нерефлексивном режиме и по нескольким общедоступным голосовым бенчмаркам. Компания описывает свои общие результаты по этим общедоступным бенчмаркам как лидирующие. Это оценки компании, и в опубликованном тексте не приводятся размеры выборок или настройки тестов.
Пользователи могут опробовать модель в последней версии приложения Yuanbao, выбрав в голосовых звонках голос под названием Chuyu, или через веб-демо на Tencent Cloud. Tencent заявляет, что следующие шаги включают дуплексное взаимодействие, долговременную персонализированную память и координацию между основным диалоговым агентом и фоновыми агентами.
Источники: Отчет IT Home с официальным анонсом · Официальное веб-демо Tencent Cloud.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
