Приобретенная NVIDIA компания Groq, по сообщениям, планирует производить чипы памяти следующего поколения с использованием технологии 3D stacked DRAM.
Groq внедряет технологию 3D stacked DRAM в чипы нового поколения, делая ставку на емкость, а не на скорость
Ранее в этом году NVIDIA анонсировала стойки Groq LPX, которые являются частью экосистемы Vera Rubin для повышения производительности инференса. Стойки LPX поступили в полномасштабное производство в августе, и первые результаты демонстрируют рекордную производительность в 3400 токенов в секунду при использовании с серверами NVL72.
Текущее поколение Groq LPU оснащено 500 МБ SRAM, обеспечивая молниеносную пропускную способность 150 ТБ/с. Стойки сконфигурированы с 256 такими чипами, что обеспечивает емкость SRAM в 128 ГБ и масштабируемую пропускную способность 640 ТБ/с. Отдельно каждый Groq LPU обеспечивает производительность 1,20 PFLOPs FP8.
Для следующего поколения Groq планирует действовать несколько иначе. Вместо использования SRAM компания намерена задействовать технологию DRAM и объединить ее в решении 3DS (3D Stacked). DRAM предлагает большую емкость, но уступает в скорости пропускной способности.
Инсайдер в полупроводниковой индустрии заявил: «Groq планирует внедрить 3D-упаковку в свои чипы следующего поколения. Это включает в себя укладку DRAM вместо существующей SRAM». Индустрия интерпретирует этот шаг Groq как намерение значительно увеличить емкость чипов. SRAM быстрая, но имеет ограниченную емкость, тогда как DRAM относительно медленнее, но выгодна для реализации больших объемов.
С помощью технологии 3D Stacked Groq сможет размещать несколько слоев DRAM в одном вертикальном чипе, соединяя их с помощью TSV (Through-Silicon-Vias). Это похоже на то, как сегодня спроектирована HBM DRAM. 3D-стекинг позволит уменьшить площадь поверхности и повысить энергоэффективность по сравнению с традиционными корпусами DRAM.
Основное внимание Groq в этот раз, похоже, сосредоточено на емкости памяти, при этом сохраняя некоторые аспекты высокой пропускной способности, которые были у их чипов только на SRAM. Поскольку модели продолжают расти, новейшие чипы Groq могут получить большее продвижение от таких компаний, как NVIDIA, которые используют их для ускорения своих ИИ-фабрик и ИИ-платформ. Также есть намек на то, что Groq будет держать свои DRAM и SRAM чипы отдельно друг от друга, предлагая индустрии решение, которое им больше подходит.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Hassan Mujtaba
