Программа NVLink Fusion от Nvidia предоставляет партнерам компании строительные блоки, необходимые для подключения заказных чипов к домену масштабирования NVLink, который используется для объединения множества отдельных процессоров в единую согласованную систему, такую как ускоритель уровня стойки Vera Rubin NVL72. Сегодня Nvidia добавляет в этот набор новый строительный блок: NVHBM — собственную реализацию высокоскоростной памяти, которая лежит в основе практически каждого современного ИИ-ускорителя.
Как описывает Nvidia, NVHBM — это заказная базовая пластина HBM, которая обещает более высокую пропускную способность, меньшее энергопотребление и меньшую занимаемую площадь на кристалле по сравнению с традиционной HBM4e. Nvidia заявляет, что эта память спроектирована и прошла валидацию совместно с «ведущими производителями памяти», поэтому она обещает разработчикам заказных чипов более быстрое время выхода на рынок по сравнению с реализацией стандартной HBM с нуля. Однако стоит подчеркнуть, что это не замена HBM. Вместо этого это новый строительный блок, который Nvidia предлагает только своим партнерам по разработке заказных чипов.
Пропускная способность памяти имеет решающее значение для ИИ-ускорителей, и NVHBM обещает до 30% более высокую пропускную способность на стек по сравнению со стандартной HBM4e. Для ИИ-нагрузок, ограниченных пропускной способностью памяти, эта более высокая пропускная способность преобразуется в более высокую производительность, например, в более высокую скорость генерации токенов в секунду для ИИ-инференса.
Заказная базовая пластина NVHBM также уменьшает площадь, занимаемую схемами, связанными с памятью, на основном кристалле заказного ускорителя. Традиционно контроллер памяти HBM встраивается в основной кристалл кремния на подложке. NVHBM, напротив, переносит контроллер памяти в базовую пластину стека HBM и предоставляет меньший по размеру заказной PHY, который клиенты NVLink Fusion могут затем интегрировать в свои проекты.
Nvidia заявляет, что такой подход высвобождает драгоценное пространство на подложке, которое затем можно использовать для дополнительной площади вычислительного кристалла — до 30% больше вычислительных блоков на основном кристалле кремния. NVHBM также обещает упростить разводку интерпозера, используемую для соединения нескольких чипов в проектах, применяющих передовые методы упаковки.
NVHBM также обеспечивает экономию энергии по сравнению со стандартными стеками HBM4e. Как Nvidia постоянно подчеркивала в ходе анонса Vera Rubin, каждый ватт, который не идет на производство токенов, — это потраченный впустую ватт. Nvidia заявляет, что NVHBM потребляет на 15% меньше энергии, чем стандартная HBM4e, и эту экономию можно направить на повышение производительности на ватт, перераспределить на большее количество функциональных блоков в проекте заказного ускорителя или преобразовать в более высокую устойчивую производительность в рамках того же энергетического бюджета.
Более высокая пропускная способность при меньшем энергопотреблении — это огромное преимущество для ИИ-ускорителей, которые перемещают массивные структуры данных, такие как веса моделей и KV-кэши, особенно когда эта экономия умножается на многие тысячи чипов. Энергию, сэкономленную на перемещении данных, можно направить на повышение производительности самого ускорителя или перераспределить для поддержки большего количества ускорителей в рамках того же фиксированного энергетического бюджета.
Однако на данный момент это причины для потенциальных партнеров Nvidia рассмотреть возможность включения NVLink Fusion и NVHBM в свои заказные проекты, а не преимущества, которые материализуются в уже выпускаемых стоечных системах Rubin.
Наряду с самим NVHBM, Nvidia объявила, что Amazon‘s Annapurna Labs станет ее первым партнером по NVHBM. Вице-президент Annapurna Нафеа Бшара заявляет: «Мы с нетерпением ждем этого технологического сотрудничества, которое принесет пользу будущим проектам инфраструктуры AWS». Следующее поколение ИИ-чипов Trainium 4 от Annapurna уже будет поддерживать интерфейс масштабирования NVLink Fusion, поэтому вполне вероятно, что последующие чипы также будут поддерживать NVHBM.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jeffrey Kampman
