Текущие ограничения в сфере DRAM заставляют гиперскейлеров ИИ прибегать к нестандартным решениям, чтобы заполучить столь необходимую память. Похоже, Google разбирает свои списанные серверы, извлекая из них модули DDR4.
Google повторно использует старые модули DDR4 из списанных серверов, создавая внутреннюю цепочку поставок
Никхил Чериан, старший директор по инфраструктуре цепочки поставок Google, недавно сообщил на отраслевом форуме, что индустрия ИИ быстро сместилась от ограничений в вычислительных мощностях к ограничениям в памяти. Высокопроизводительная память уже составляет около 75 процентов стоимости материалов (BOM) типичного ИИ-сервера.
По словам Чериана, чтобы «преодолеть узкое место в памяти, Google работает одновременно над программными и аппаратными решениями», вплоть до демонтажа списанных серверов для переработки пригодных компонентов, тем самым создавая внутреннюю цепочку поставок.
Фактически, Google разработала специальные аппаратные адаптеры, позволяющие подключать память предыдущих поколений, такую как DDR4, к новому поколению своих ИИ-серверов. Чериан признал, что Google специально импортирует списанные серверы, чтобы извлечь из них модули DDR4.
В то же время технологический гигант продолжает оптимизировать базовую библиотеку функций, архитектуру моделей и сжатие KV Cache, пытаясь снизить потребление памяти на единицу вычислительной мощности.
Для тех, кто не в курсе, Google в этом году выпустила два варианта своих TPU ASIC: TPU8t ориентирован на обучение ИИ-моделей, а TPU8i оптимизирован для инференса.
Таким образом, TPU8i от Google использует высокопроизводительные специализированные слои памяти для устранения узких мест в производительности:
- Каждый чип TPU 8i оснащен 288 ГБ HBM3e, обеспечивая сверхбыструю пропускную способность памяти 8,6 ТБ/с.
- ASIC также интегрирует 384 МБ встроенной SRAM для хранения активного KV-кэша, устраняя необходимость обращения к внешней системной ОЗУ.
- Серверы TPU 8i полностью заменяют старые хост-процессоры x86 на собственные процессоры Google на базе Arm Axion, которые полагаются на высокоскоростную архитектуру памяти DDR5 для выполнения хост-задач, таких как предварительная обработка данных.
Однако, учитывая недавнее признание Чериана, похоже, что Google пришлось использовать старую DDR4 вместо модулей DDR5 в своих новых ИИ-серверах, по крайней мере, в некоторых случаях.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rohail Saleem
