Чип Rubin CPX от NVIDIA неожиданно не был представлен на GTC, и, согласно новому обновлению, похоже, что это решение в настоящее время «отложено» и перенесено на эпоху Feynman.
Чип CPX от NVIDIA теперь будет представлен с Feynman, пока Groq заполняет пробел в инференсе
Для тех, кто не в курсе, NVIDIA пытается завоевать сегмент инференса, выпуская специализированные решения с тех пор, как ASIC начали набирать обороты примерно в третьем квартале прошлого года, и одним из таких запусков стал чип Rubin CPX. Это было одно из первых решений, ориентированных на стойки, с памятью GDDR7 на борту, и идея заключалась в том, чтобы нацелиться на рабочие нагрузки предварительного заполнения (prefill) в инференсе. Однако на проходящей в этом году GTC Rubin CPX вообще не присутствовал, когда Дженсен представлял линейку Rubin, что наводило на мысль об отмене или задержке решения. Но вице-президент NVIDIA Иэн Бак предоставил обновление (через ComputerBase).
Обсуждая дорожную карту NVIDIA, Бак сообщил, что Rubin CPX был отодвинут, но идея не отброшена. Вместо этого можно ожидать, что аналогичное решение дебютирует с Feynman, запуск которого запланирован через несколько лет. Похоже, что идея чипа CPX в настоящее время нецелесообразна для NVIDIA, учитывая, что требования к рабочим нагрузкам эволюционировали от длинного контекста к приоритету TTFT (Time to First Token). И в связи с этим лоток Rubin LPX с блоками LPU от Groq приобрел большее значение, поскольку он фокусируется на стадии декодирования рабочей нагрузки инференса.
NVIDIA сосредоточила все свое внимание на том, что она предложила в рамках партнерства с Groq, и, судя по всему, компании нравится идея достижения впечатляющей пропускной способности инференса. Поскольку LPU используют реализацию SRAM, индивидуальная пропускная способность масштабируется до 150 ТБ/с, а стойка в целом обеспечивает масштабируемую пропускную способность 640 ТБ/с, именно поэтому NVIDIA решила остановиться на лотке LPX, а не CPX. Были также сообщения о том, что Team Green пересматривала дизайн CPX, стремясь заменить GDDR7 на HBM, что предполагает, что Feynman CPX не будет в точности таким, как мы видели с Rubin.
Дженсен называет NVIDIA «королем инференса», и решение Groq — это один из способов, которым компания стремится сохранить это лидерство. Что касается отмены Rubin CPX, то это освобождает емкость GDDR7, которая пошла бы на ИИ-чип, так что геймеры тоже могут быть рады.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Muhammad Zuhair
