Как сообщает 2 ноября издание Zhidx, отечественный вычислительный кластер, построенный на графических процессорах Moore Threads MTT S5000 в городе Уси (район Хуэйшань), перешел от опытной эксплуатации к коммерческой. Планировавшийся на 10 000 карт, узел вычислительного центра в Уси (район Хуэйшань) запустил первую фазу в июне, перешел в режим опытной эксплуатации в июле и начал коммерческое обслуживание в октябре. Текущая фаза включает 264 сервера с 2112 картами S5000.
По данным, предоставленным Zhidx, загрузка кластера составила 92,9%, за время опытной эксплуатации было подключено 55 клиентов и 33 модели. Обучение составляет более 62% рабочих нагрузок, смешанное обучение и инференс — 14,7%, а чистый инференс — 23,1%. Кластер организован в четыре модуля примерно по 500 карт каждый, был поставлен под ключ и достиг полной загрузки в течение трех месяцев после запуска. Он поддерживает более 30 семейств моделей, включая Qwen, GLM, DeepSeek, Kimi и MiniMax.
При инференсе тесты на пуле S5000 кластера с моделью DeepSeek V4 Flash при входных данных 7K и выходных 2K токенов показали пропускную способность одного узла 994,97 токенов в секунду и эффективную пропускную способность 1241 токен в секунду. Система обрабатывала 48 одновременных запросов в рамках целевого уровня обслуживания, который, по данным отчета, составляет 92% от производительности установки H800 при аналогичном тесте. Эти данные предоставлены операторами кластера и не были независимо проверены.
Кластер также предлагает вариант смешанного развертывания, который объединяет карты S5000 с другими ускорителями посредством разделения предварительной загрузки и декодирования. В одной из конфигураций, упомянутых в отчете, три карты S5000 в сочетании с двумя картами H20 обеспечили пропускную способность, сравнимую с девятью картами H20 (примерно в 1,87 раза выше базовой), сократив время до первого токена примерно вдвое.
Производитель автономных транспортных средств Neolix планирует проводить обучение своих моделей для беспилотного вождения на этой площадке, при этом спрос приближается к уровню 10 000 карт, что примерно в пять раз превышает текущее количество карт в кластере. Ранее Moore Threads заявляла, что ее кластер из 10 000 карт на базе S5000 обеспечивает 10 EFLOPS вычислительной мощности при 90% эффективного времени обучения и 95% эффективности линейного масштабирования. Расширение в Хуэйшане будет осуществляться поэтапно, и, как сообщается, Moore Threads также сотрудничает с JD Cloud в создании кластера на 100 000 карт.
Объект в Уси является одним из растущего числа региональных вычислительных центров в Китае, построенных на отечественных ускорителях, поскольку операторы переходят от демонстрационных развертываний к кластерам, которые в масштабе обслуживают разработчиков моделей и робототехнические компании.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
