У предприимчивых технарей, желающих собрать собственный локальный ИИ-кластер, гораздо больше интересных вариантов, чем покупка DGX Sparks или Apple Mac Studios. Бывшие в употреблении серверные видеокарты повсюду, и мусор одного серверного шкафа — сокровище энтузиаста. Этот вариант стал еще популярнее благодаря CMPunlocker — программной модификации карт Nvidia CMP-170HX, которая разблокирует возможности, далеко превосходящие стандартные. Теперь один технарь пошел еще дальше, преодолев оставшиеся ограничения с помощью “глюков” напряжения и создав карту быстрее, чем настоящая Nvidia A100 GPU за 20 000 долларов США с 80 ГБ видеопамяти… но из майнинговой карты CMP-170HX за 2500 долларов США с 8 ГБ.
Вольтмод был выполнен Кейт (ссылка на GitHub здесь), которая начала с статьи, описывающей, как можно использовать микрокод карт GA100. Она сосредоточила свое внимание на обычно защищенном встроенном контроллере предохранителей. Хотя об этом редко говорят, “блок предохранителей” уже давно является неотъемлемой частью практически любого процессора и графического процессора — хотя обычно он используется один раз на заводе для разрыва физических соединений в чипах с частями, которые показали плохие результаты тестирования, тем самым отключая их, чтобы их можно было продать как модели более низкого класса.
Если вы задаетесь вопросом, как из 8-10 ГБ видеопамяти получают 80-40 ГБ, объяснение простое: кремний GA100 фактически включает в себя все соответствующие чипы HBM2e VRAM; но они отключаются на заводе, как и шейдерные модули. Меньшая версия более желательна, поскольку она основана на варианте GA100 с 80 ГБ HBM2e, в то время как 10-гигабайтные карты производятся из 40-гигабайтного GA100.
Рассматриваемые карты Nvidia имеют довольно сложный контроллер eFuse (16 384 в массиве 512 x 32) — который можно прочитать, чтобы получить текущую конфигурацию карты. Практически каждая часть карты имеет связанные с ней предохранители: секции VRAM, отдельные шейдерные модули, PCIe 4.0 и NVLink, и даже аппаратное обеспечение видеокодека. Однако, как лаконично выразилась Кейт: дизайн Nvidia небезопасен, поскольку “сжигание” предохранителей может предоставить доступ к *большему* количеству функций, а не к меньшему.
В обычных условиях эти предохранители не могут быть “считаны” или “записаны” пользователем — но гик с паяльником не является обычным пользователем. Кейт попросила GPT-6 Astra разработать простую печатную плату на основе микроконтроллера STM32G4 стоимостью 8 долларов США для подключения к сигналам питания на печатной плате карты.
Регуляторы напряжения (VRM) на карте “говорят” на языке PWMVID, стандарта Nvidia, и плата Кейт перехватывала сигналы ШИМ, подаваемые на контроллер VRM, заставляя его генерировать “глюки” напряжения на линии, питающей GPU, где находится контроллер предохранителей.
Помните, когда мы сказали, что контроллер предохранителей только для чтения? С помощью “глюков” напряжения, множества считываний состояния предохранителей в плотном цикле, ей удалось установить контроллер в состояние, в котором его защитные битовые флаги разрешали запись. С этого момента было “легко” переконфигурировать ее карту. Она позаботилась о принудительном отключении любых шейдерных модулей, ранее помеченных как дефектные, потому что это физические предохранители — кнопки “отмены” не существует.
Она применила мод к своим картам и после тестирования с различными нагрузками обнаружила, что девять карт имели полную рабочую видеопамять 80 ГБ, а на одной карте было доступно “всего” 64 ГБ. Самое интересное, что разблокировка всех шейдерных модулей (SM) дает ей производительность FP16 FMA на 20% *выше*, чем у обычной карты A100. Она думает, что это связано с тем, что чипы часто имеют 120 или более доступных SM — больше, чем 108, указанных в спецификации. Кристалл GA100 изначально имеет 128 SM для учета дефектов, что является нормой в производстве чипов.
Программный мод CMPUnlocker требуется для включения “новых” функций в драйверах, но он не раскрывает полный потенциал карты: верхний предел видеопамяти составляет 40-64 ГБ (в зависимости от варианта), многие шейдерные модули остаются заблокированными, а пропускная способность PCIe ограничена 2.0. Кроме того, отсутствует поддержка ECC, NVLink или многоэкземплярных GPU, которые критически важны в серверной конфигурации и также используются для сегментации продукции.
Вольтмод Кейт устраняет все эти ограничения, и ее лучшая тестовая карта успешно работает на скорости PCIe 4.0 с полным набором функций. Она не тестировала блоки видеокодировщика, но маловероятно, что кто-либо, использующий эти карты, сильно заботится об этом.
Что касается стоимости, то CMP-170HX 8GB в настоящее время стоит около 3000 долларов США, а вариант 10GB — около 2500 долларов США. Полноценная Nvidia A100 80GB в конфигурации PCIe может стоить 20 000 долларов США или больше. Серверные модульные версии SXM дешевле, но требуют соответствующей инфраструктуры. Обратите внимание, что эти цены, вероятно, будут значительно варьироваться, особенно по мере того, как люди будут все больше осведомлены о модах.
Кейт говорит, что публикует свое исследование сейчас, потому что другой человек независимо обнаружил ту же проблему. Она уведомила Nvidia об уязвимости, хотя компания мало что может сделать для уже существующих карт на рынке.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
