Команда Hy от Tencent представила дорожную карту развертывания больших моделей и 24 ГБ

Tencent Hy ии модели разработка Reddit pandaily.com

Команда Tencent Hy обсуждает более крупные модели, Flash-Lite и планы для устройств с 24 ГБ памяти в рамках AMA, объясняя выбор архитектуры без объявления даты выпуска.

Команда Hy от Tencent представила планы по созданию более крупных моделей и вариантов для локального развертывания в рамках публичной сессии вопросов и ответов на Reddit, анонсированной совместно с Шунью Яо. Обсуждение состоялось ранним утром 21 ноября в Шанхае, вскоре после выпуска флагманских весов Hy4 днем ранее.

Согласно компиляции ответов на китайском языке от Zhidx, команда заявила, что следующая модель Hy будет значительно крупнее, и они продолжат инвестировать в крупномасштабное обучение с подкреплением. Это намерения по разработке, а не новый выпуск контрольной точки, подтвержденное количество параметров или запланированная дата запуска.

Что касается меньших моделей, команда описала Flash-Lite как запланированную работу и обсудила модели, предназначенные для устройств с 24 ГБ видеопамяти. Hy4-mini также был упомянут в дорожной карте, а модель с плотной архитектурой в диапазоне от 24 до 31 миллиарда параметров находилась на рассмотрении. Ответы не устанавливают, что все это один и тот же продукт, или что какая-либо предложенная конфигурация доступна в настоящее время.

Целевое аппаратное обеспечение требует аналогичного внимания. Упоминание 24 ГБ видеопамяти само по себе не определяет общий объем системной оперативной памяти, квантование, длину контекста или достижимую скорость. Эти детали были бы необходимы, прежде чем разработчики могли бы рассматривать ответ из дорожной карты как спецификацию для потребительского оборудования.

Обсуждение архитектуры касалось компромиссов между группированным запросным вниманием (GQA) и многоголовым латентным вниманием (MLA). Как резюмировала Zhidx, команда заявила, что MLA обеспечивает лучшее качество модели при сопоставимом размере кеша ключей-значений (key-value-cache), но его вычислительная интенсивность усложняет декодирование. Внедрение механизма разреженного внимания DSA снизило эту нагрузку и изменило предпочтительный баланс команды.

Команда также предостерегла от предположений, что большая разреженность в архитектуре “смесь экспертов” (mixture-of-experts) всегда улучшает развертывание. Чрезмерно разреженная модель может занимать значительный объем видеопамяти, не используя полностью доступные вычислительные ресурсы; уменьшение активных параметров при сохранении общего размера также может ухудшить качество. Это объяснения причин выбора дизайна, а не универсальные результаты тестов для каждой реализации.

Оригинальный пост AMA подтверждает сессию и участников, но детали ответов здесь основаны на китайской компиляции, а не на независимо полученных стенограммах по каждому комментарию. Практический результат — более ясное изложение приоритетов исследований и инженерных решений, а не очередное объявление о том, что веса Hy4 стали доступны для загрузки.

Источники: Zhidx, 36Kr, Public Reddit AMA

Концептуальная иллюстрация, сгенерированная ИИ Pandaily через apimart gpt-image-2; не является аппаратным продуктом Tencent или диаграммой выпущенной модели.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: