Новый ASIC Jalapeño от OpenAI развертывается внутри компании вместе с хостами AMD EPYC Turin, каждый из которых имеет 1,5 ТБ памяти. SemiAnalysis описал развертывание Jalapeño в масштабе стоек после представления чипа, о котором мы расспросили Ричарда Хо, вице-президента и руководителя отдела аппаратного обеспечения OpenAI, в интервью. Хо сообщил нам, что решение использовать Turin было «прагматичным», описав новый процессор Nvidia Vera как «немного отстающий… по уровню зрелости». «Мы подошли к этому дизайну с точки зрения снижения рисков и возможности быстро выполнить его. Vera, как самостоятельное решение, немного отстает по уровню зрелости. Устройство Turing мощное. Оно сделало то, что нам нужно было, и отчасти наши партнеры имели с ним некоторый опыт», — сказал Хо изданию Tom’s Hardware Premium. «Для программы Jalapeño мы пытались принимать очень прагматичные решения. Мы хотели быть агрессивными в отношении целей по производительности и стоимости, но не хотели идти на ненужные риски. Это казалось хорошим дизайнерским решением, которое вписывалось бы в параметры того, как мы принимаем эти дизайнерские решения».
На рынке существует множество процессоров на базе Arm, многие из которых развертываются внутри различных гиперскейлеров, таких как Google Cloud Axiom и AWS Graviton, но Vera и собственный AGI от Arm были описаны как агентные процессоры, предположительно ускоряющие сложное рассуждение, связанное с агентными циклами, по сравнению с их x86-аналогами от AMD и Intel. Мы спросили Хо об этой динамике и о том, почему Turin был правильным выбором, учитывая тесные рабочие отношения между OpenAI и Nvidia, которая ответила приведенной выше цитатой. Arm давно расхваливает преимущества набора инструкций AArch64 по сравнению с x86, утверждая, что ее собственный процессор AGI обеспечивает более чем двукратное увеличение производительности по сравнению с современными платформами x86. Это утверждение основано на внутренних оценках, а не на реальных бенчмарках. Компания, естественно, оптимистично настроена в отношении внедрения AGI на рынке, хотя даже при впечатляющих обязательствах на сумму 2 миллиарда долларов аналитики говорят, что проникновение на рынок составит всего несколько процентов после двух лет.
В связи с взрывным ростом спроса на серверные процессоры в этом году и развитием агентных рабочих нагрузок Nvidia находится на переднем крае маркетинга, сравнивая свой процессор Vera на базе Arm с конкурентами x86, смело заявляя об улучшении на 1,8x по сравнению с конкурирующим чипом AMD Turin; эта цифра взята из общего набора бенчмарков, показывающих, что Vera опережает AMD EPYC 9755 всего на 3%. Многие полузаказные конструкции Arm, от Graviton до Cobalt от Azure, были сосредоточены на плотности ядер и эффективности для облачных рабочих нагрузок. Vera и AGI представляют собой сдвиг в сторону маркетинга, ориентированного на пиковую производительность. В ранних бенчмарках Vera процессор Nvidia выглядит впечатляюще, хотя нам еще предстоит увидеть чип в действии в широком спектре рабочих нагрузок, не говоря уже о сравнении с предстоящими процессорами Venice от AMD или Diamond Rapids от Intel.
Интересно, что решение OpenAI использовать Turin является одним из партнеров Arm по развертыванию AGI, а также входит в список клиентов, «изучающих процессор Vera», согласно Nvidia. OpenAI, другие передовые лаборатории и гиперскейлеры имеют в своем парке широкий спектр оборудования. Сочетание Jalapeño с Turin было обусловлено снижением рисков, причем Хо указал на зрелость платформы. В целом, x86_64 более зрелый, чем AArch64; ARM существует с середины 1980-х годов, хотя полноценное 64-битное расширение появилось через 12 лет после его внедрения на x86. И хотя Arm за последние два десятилетия проникла в центры обработки данных, существует гораздо более прочный фундамент x86, уходящий корнями на несколько десятилетий назад.
Однако комментарии Хо, похоже, не касались конкретно различий между AArch64 и x86. Скорее, комментарии сосредоточены на динамике между Turin и Vera, причем последний является первым шагом Nvidia в создании пользовательского процессорного ядра для центра обработки данных. Хотя ранние бенчмарки Vera впечатляют, это, тем не менее, представляло собой ненужный риск для развертывания Jalapeño OpenAI в масштабе стоек. Комментарии Хо о том, что партнеры OpenAI имеют опыт работы с Turin, также раскрывают ход мыслей команды разработчиков аппаратного обеспечения. Существуют некоторые различия в практичности обслуживания хост-системы между Turin и Vera, наиболее заметным из которых является тот факт, что Vera монтируется на плату, в то время как чипы Turin устанавливаются в сокет; замена чипов не является обычным делом на сервере, но с Turin это проще. Учитывая, что у OpenAI есть парк доступного оборудования, возможно, что в будущем Jalapeño будет развернут с другой хост-системой, потенциально в сочетании с AGI от Arm или Vera от Nvidia. Однако на данный момент Turin был правильным выбором.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jake Roach
