Около месяца назад технически подкованный реддитор Alternative-Panic69 (Паник) задумал приобрести Radeon 7900 XT с 20 ГБ видеопамяти для работы с LLM — серьёзное предприятие в его родной Индии. Он нашёл карту за 550 долларов — отличная цена даже по западным меркам — и приступил к делу, вооружившись Qwen и GLM. Паник планировал использовать эту карту в настольном ПК Lenovo M910Q, но машина не захотела сотрудничать, поэтому недавно он обратился к следующему логичному шагу: ноутбуку Lenovo Yoga.
Как выразился сам Паник, он принял «совершенно здравомыслящее решение провести операцию на [своём] ноутбуке». Вооружившись внешним PCIe-кабельным коннектором ADT-Link, подключённым к M.2-слоту ноутбука, блоком питания DeepCool PL750D и быстро сняв нижнюю панель, ему удалось соединить всё вместе так, что оно в основном работало.
Поскольку M.2-слот теперь был занят, первой проблемой стало наличие места для загрузки — эту задачу решил USB SSD. Получить изображение на основном дисплее, подключённом к 7900 XT, «работало отлично» — Furmark выдавал 500 FPS при 1080p. Однако от этой схемы пришлось отказаться, так как кадровые буферы дисплея пожирали драгоценную VRAM, необходимую для моделей, поэтому встроенный графический чип вернулся к своей первоначальной задаче.
Паник размышлял о том, как «[его] ноутбук выглядел так, будто его превратили в PCIe-плату для разработки», но в итоге столкнулся с суровыми осознаниями, пытаясь справиться с довольно большими LLM (Qwen 35B A3B, GLM-4.7 Flash) исключительно на GPU, да ещё и с контекстным окном в 128K токенов.
Другой реддитор указал, что это классическая ситуация «выбери два из трёх», и действительно так и было: Паник обнаружил, что память ноутбука (вернее, её недостаток) оказалась серьёзным узким местом. Большое контекстное окно требовало много связанных данных в RAM, и в конце концов доступная DRAM закончилась, ноутбук начал использовать swap-пространство, сведя производительность на нет — до такой степени, что GPU «простаивал, изредка работая всплесками».
История заканчивается несколько предсказуемо: каким бы интересным и визуально впечатляющим ни был этот проект, Панику снова понадобился ноутбук как мобильное устройство, поэтому он решил купить самую дешёвую AM4-систему, которую смог найти, чтобы разместить в ней Radeon 7900 XT и блок питания. Как сказал сам Паник: «Покупка старого офисного башенного корпуса была бы разумным решением. Но я был здесь не для того, чтобы быть разумным».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
