Исследовательская группа, в которую входит Huawei Technologies, заявила о завершении полнопараметрической постобработки модели DeepSeek V4-Pro с 1,6 триллиона параметров. По данным правительства Шэньчжэня, на которые ссылается South China Morning Post, для этого использовался кластер как минимум из 1000 чипов Huawei Ascend 910C. Это заявление свидетельствует о том, что китайские ускорители теперь способны справляться с нагрузкой уровня обучения на отечественных кремниевых компонентах — это та часть конвейера ИИ, в которой китайским фирмам было сложнее всего отказаться от оборудования Nvidia из-за экспортных ограничений США. Huawei провела эту работу совместно с Институтом петлевой зоны Шэньчжэня, шэньчжэньским кампусом Харбинского политехнического университета и Шэньчжэньским научно-исследовательским институтом больших данных. Ascend 910C — флагманский ИИ-ускоритель Huawei на сегодняшний день, двухкристальная деталь, которая, согласно предыдущим тестам DeepSeek, обеспечивала около 60% производительности вывода (inference) Nvidia H100. Китайские чипы были конкурентоспособны в выводе, когда готовая модель отвечает на запросы, но слабы в обучении, когда веса модели пересчитываются на основе больших наборов данных. Команда утверждает, что они провели полнопараметрическую постобработку, что означает обновление каждого веса, а не добавление тонкого адаптерного слоя поверх. Постобработка — это, по сути, стадия «тонкой настройки», следующая за гораздо более крупным этапом предварительного обучения. Предварительное обучение формирует основные возможности модели путем обработки огромных текстовых корпусов, а документация DeepSeek указывает, что корпус предварительного обучения V4-Pro превышает 32 триллиона токенов. Постобработка затем формирует поведение посредством следования инструкциям, согласования безопасности и данных для конкретных задач. Завершение этого этапа на кремнии Ascend является реальным достижением для платформы, но это не доказывает, что чипы могут предварительно обучить передовую модель с нуля, что является более тяжелой и дорогостоящей задачей. Еще в августе сообщалось, что DeepSeek не смогла завершить ни одного успешного цикла обучения своей модели R2 на чипах Ascend, даже при участии инженеров Huawei, ссылаясь на нестабильную производительность, медленное межсоединение чип-к-чипу и пробелы в программном стеке Huawei CANN, замене Nvidia CUDA. Компания вернулась к использованию графических процессоров Nvidia для обучения, оставив Ascend для вывода. DeepSeek-V4-Pro, выпущенная в апреле, стала первой моделью DeepSeek, изначально созданной на базе Ascend. Что касается заявления из Шэньчжэня, оно не содержит бенчмарков, не указывает, сколько времени занял цикл, как он соотносится с той же задачей на оборудовании Nvidia или насколько эффективно использовался кластер из 1000 чипов. В конечном счете, это еще одно дополнение к ряду сомнительных заявлений, исходящих от китайского государства без каких-либо подтверждений; сам DeepSeek пока не комментировал ситуацию.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Luke James
