Хотите запускать дома большие языковые модели (LLM) с 235 миллиардами параметров, но ваш скромный бюджет в 10 000 долларов ограничивает вас «потребительскими видеокартами, которые едва справляются с моделями на 70 миллиардов параметров»? Именно в такой ситуации оказался разработчик Дэвид Ноэль Нг, пока не наткнулся на «явно поддельную» платформу Nvidia Grace-Hopper, продававшуюся на Reddit. Нг рискнул, и, согласно его записи в блоге, это окупилось сторицей. Ему удалось, немного повозившись и отремонтировав, получить корпоративную систему, которая обычно стоит около 80 000 долларов, всего за десятую часть этой суммы. Входящая в комплект память LPDDR5X объемом 960 ГБ сама по себе теперь стоит дороже, чем он заплатил за всю систему. Что забавно, он даже сбил цену продавца, отметив, что первоначальное объявление на Reddit было за 10 000 евро, а он предложил всего 7 000 евро.
Как мы упоминали во вступлении, сделка, которую нашел Нг, казалась слишком хорошей, чтобы быть правдой. Однако он исследовал продавца, который, по-видимому, был законным реселлером серверного оборудования в пределах двух часов езды, поэтому быстро сделал предложение, чтобы быть первым в очереди.
У системы Grace Hopper, как она была продана, были некоторые скрытые, но преодолимые проблемы, из-за которых она не была бы широко популярна на потребительском рынке. В частности, это была «Франкенсистема, переделанная с жидкостного охлаждения на воздушное». Она также выглядела несколько неряшливо, не подходила для установки в стойку и работала от источника питания 48 В.
С другой стороны, даже если бы это была просто коллекция компонентов, предложение казалось неотразимым. Характеристики системы в том виде, в каком она была продана, были следующими:
Естественно, оценка в 80 000 долларов за эту установку, вероятно, является весьма скромной. Нг отмечает, что только два чипа H100 стоят «около 30-40 000 евро каждый».
Значительная часть записи в блоге Нга посвящена получению, чистке и созданию новой рабочей системы охлаждения для Франкенсистемы. Это увлекательное чтение. Достаточно сказать, что система Nvidia Hopper с ее огромным потенциалом была приобретена как пыльная, чрезвычайно шумная, очень горячая машина. И именно в таком виде она была продемонстрирована перед тем, как Нг забрал ее домой.
С заботой и терпением, пять литров изопропилового спирта, четыре перепрофилированных, но недорогих AiO жидкостных охладителя Arctic, пара изготовленных на заказ медных деталей, изготовленных на станке с ЧПУ, килограмм (около 2 фунтов) 3D-печатных деталей, пайка под микроскопом, светодиодная лента и немного знаний — Нг в конце концов одержал победу. Законченную, собранную систему Grace Hopper вы можете видеть на фотографии вверху.
Нг кажется чрезвычайно довольным готовой системой и ее производительностью в области ИИ. Он говорит, что теперь может «запускать модели с 235 миллиардами параметров дома менее чем за стоимость одного H100». Вишенкой на торте, однако, является то, что с момента покупки системы цены на память «стали безумными», что означает, что 960 ГБ DDR5X в этой системе стоили бы больше, чем Нг заплатил за всю эту конструкцию.
Автор – Mark Tyson
