Совсем недавно Phoronix удалось протестировать одну из грядущих Arm-процессоров Nvidia под названием Vera. В некоторых одобренных рабочих нагрузках этот чип показал впечатляющие результаты, дыша в затылок своим конкурентам на x86 — Xeon и Epyc. В специфических однопоточных сценариях Vera «абсолютно уделала конкурентов» (наши слова). Однако AMD высказала свои соображения по поводу теста Phoronix, ответив собственными метриками, заявляющими о 3,3-кратном приросте производительности по сравнению с Vera для прогнозируемой мощности стойки оборудования на 100 кВт.
И Nvidia уже думает о будущем. Компания сообщила, что ядро ее процессора следующего поколения Rigel на базе Arm v9.2, которое войдет в состав процессора Rosa, обеспечит еще более высокую производительность на ядро, чем ядро Olympus в Vera, при том же кремниевом пространстве, благодаря «лучшей доставке инструкций», большему объему кэша L2 и лучшей обработке памяти.
Теперь Nvidia вновь заявляет о преимуществе Vera для задач ИИ, описывая его в новой продуктовой категории: «максимальный однопоточный ЦПУ в масштабе», а не монстр параллельной обработки. Вместо простого максимизации количества ядер на сокет Nvidia заявляет, что монолитная 88-ядерная конструкция Vera призвана обеспечить высокую производительность на ядро под нагрузкой, достаточную пропускную способность памяти на ядро для снабжения активных ядер данными и предсказуемую задержку.
Nvidia описывает рабочие нагрузки инференса ИИ как ограниченные скоростью одного потока. Например, рассуждающий ИИ выполнит модель на один шаг, а затем повторит этот шаг столько раз, сколько потребуется до получения ответа. Поскольку каждый шаг требует вывода из предыдущего, никакое количество параллелизма не поможет — наиболее важна скорость, с которой может работать один поток. Аналогичная ситуация наблюдается в агентных рабочих нагрузках, поскольку агент Б не может начать свою работу, не зная, что произошло с агентом А.
Таким образом, конструкция Vera, по-видимому, нацелена на то, чтобы иметь и съесть пресловутый пирог: высокую однопоточную скорость при большом количестве доступных потоков. Vera имеет 88 ядер с поддержкой SMT, что дает в сумме 176 потоков. Чтобы обеспечить адекватную пропускную способность для каждого из этих ядер, Nvidia заявляет, что Vera взаимодействует с памятью LPDDR5X со скоростью 1,2 ТБ/с, а ее монолитный вычислительный кристалл хорошо насыщает ядра данными и избегает узких мест благодаря пропускной способности между ядрами в 3,4 ТБ/с. Компания утверждает, что последняя цифра в 3 раза превышает показатели «любого другого ЦПУ для центров обработки данных».
Существует множество способов измерения пропускной способности между ядрами, поэтому прямое сравнение в лучшем случае затруднительно, но, учитывая специальную конструкцию Vera для задач инференса ИИ, это заявление по меньшей мере правдоподобно.
Последний пост компании в блоге о новом кремнии вновь подчеркивает этот момент, утверждая, что новый кремний обеспечивает в 1,8 раза более высокую производительность по сравнению с x86-конкурентами в «нагруженных сценариях работы ЦПУ, представляющих агентное выполнение», в 1,5 раза более высокую производительность в рабочих процессах кодирования и в 3 раза более быструю работу в аналитике баз данных.
Цифры, которые приводит Nvidia, предположительно получены из реальных сценариев, начиная с данных Perplexity, чье использование Vera в работе агентного кодирования показало заявленное 1,5-кратное увеличение производительности по сравнению с x86 и 1,9-кратное ускорение при одновременном запуске песочниц.
Заявленное увеличение скорости еще шире в рабочих нагрузках баз данных: Starburst (компания, занимающаяся федеративными базами данных) зафиксировала 3-кратный рост в SQL-аналитике большого масштаба, в то время как в аналитике реального времени Redpanda наблюдалось заявленное падение задержки в 6 раз. По словам Nvidia, вся эта предполагаемая производительность достигается благодаря особой архитектуре Vera, которая нацелена на обеспечение максимальной однопоточной производительности *при* высокой многопоточности.
Следует отметить, что одобренные поставщиком бенчмарки всегда следует воспринимать с долей скептицизма, особенно те, что касаются оборудования в области, где за один день могут смениться триллионы долларов. Компания не уточняет, с какими именно x86-чипами она сравнивала Vera, но можно предположить, что это модели Intel Xeon и AMD Epyc среднего и высокого класса.
Тем не менее, в своем блоге Nvidia описывает дилемму, знакомую большинству системных администраторов: серверные чипы большой мощности могут иметь огромное количество ядер, что делает их идеальными для одновременной обработки множества задач. Однако чем больше ядер вы добавляете, тем медленнее они должны работать, чтобы поддерживать тепловые характеристики и энергопотребление в пределах нормы. Но такой масштаб является препятствием для задач, которые должны быть выполнены *немедленно*, независимо от параллелизации.
Архитектурные решения, связанные с использованием чиплетов для масштабирования до большого количества ядер, также не бесплатны. Nvidia называет это «налогом на чиплеты» и утверждает, что масштабирование с помощью чиплетов создает несоответствия в доступе к памяти и производительности, которых конструкция Vera, выполненная на монолитном кристалле, призвана избежать.
Мы давно подчеркиваем важность высокой однопоточной производительности для быстрого и отзывчивого опыта работы на клиентских ПК, и похоже, что агентные ИИ будут предъявлять схожие требования к оборудованию при выполнении своих задач. Если будущее агентного ИИ будет развиваться именно так, то специфические оптимизации конструкции Nvidia для Vera имеют больше смысла, чем приоритет количества ядер превыше всего, как это может быть для универсального серверного чипа, призванного удовлетворять различные экономические и потребительские запросы.
Нам предстоит увидеть, ответят ли Intel и AMD собственными «максимальными однопоточными ЦПУ в масштабе».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
