Пост на Reddit от пользователя markpronkin («OP») под названием «54 ГБ видеопамяти за 35 долларов» сообщает, что пользователь приобрел старый риг для майнинга криптовалют, найденный в гараже, за оговоренные 3000 рублей, или около 35 долларов. Риг был ржавым, и покупатель «понятия не имел, работает ли он, как и продавец», запрос на предпродажный тест был отклонен. Однако с первой попытки все девять видеокарт Nvidia P106-100 с общим объемом видеопамяти 54 ГБ заработали. Первый тест: успешный локальный запуск модели Qwen3.6-35B-A3B с 35 миллиардами параметров в Ollama, которая работала со скоростью более 30 токенов в секунду.
Риг был обнаружен в «сыром гараже», который продавец купил несколько лет назад, а затем выставил на Avito, российском сайте объявлений. У OP были сомнения относительно работоспособности рига, и он предложил протестировать его и заплатить больше, если он будет работать, но продавец отказался, и цена была снижена без тестирования. Покупатель отметил, что стоимость была достаточно низкой, чтобы рискнуть. Даже если бы риг работал, производительность была бы несбалансированной, поскольку основная система имела слабый процессор Celeron с очень небольшим объемом системной памяти.
Изначально установка предназначалась для майнинга криптовалют со специализированными видеокартами Nvidia P106-100, картами поколения Pascal с 6 ГБ GDDR5 каждая, которые OP называет «по сути GTX 1060 6 ГБ». Gigabyte P106-100, для справки, имеет память 8008 МГц с 192-битной шиной шириной около 192 ГБ/с на карту. Оборудование было выпущено примерно в середине 2017 года. Карты больше не полностью поддерживаются, поскольку CUDA 13.0 удалила офлайн-компиляцию для ГП с вычислительной мощностью ниже 7.5, что включает ГП Pascal, а ветка драйверов 580 — «последняя [ветка], поддерживающая ГП до CC 7.5», согласно Nvidia в своем блоге для разработчиков. Обновления безопасности поддерживаются до октября 2028 года.
Первый тест представлял собой модель mixture-of-experts (MoE), использующую Qwen от Alibaba с «35 миллиардами [параметров] всего и 3 миллиардами активированных», согласно карте модели Qwen на Hugging Face; это примерно 24 ГБ загрузки. При первом тесте скорость составляла «30+ токенов в секунду» в Ollama, но, вероятно, может работать быстрее «с mtp и некоторыми оптимизациями», говорит OP, имея в виду многотокеновую предикцию.
Другой пользователь отметил, что такая производительность возможна только на ЦП, на что OP ответил: «На устройстве за 35 долларов без каких-либо оптимизаций?» Плотная модель, не MoE, такая как Qwen3.8-27B, вряд ли будет работать так же хорошо, но «она должна неплохо работать с любой моделью MoE, которая полностью помещается в видеопамять». Ожидается, что производительность также будет ограничена слотами материнской платы PCIe 2.0 x1.
Система способна, но будет иметь некоторые ограничения из-за размеров некоторых популярных моделей. Qwen3.6-35B-A3B в 8-битном режиме должна поместиться в 36,9 ГБ, как и Llama 3.3 70B в 4-битном режиме, в 42,5 ГБ; в 5-битном режиме, чуть менее 50 ГБ, останется мало места для контекста. Более крупные модели, вероятно, неработоспособны, и даже 70B 4-битная Llama достигнет потолка около 4,5 токенов в секунду, прежде чем столкнется с другими узкими местами, поскольку каждый токен считывает все 42,5 ГБ, карта за картой, со скоростью около 192 ГБ/с. Достигнутая покупателем производительность — это, несмотря на риг, и модель MoE была лучшим выбором для такого результата.
Покупатель все равно получил выгодную сделку, поскольку цена составляет около 65 центов за ГБ видеопамяти. Для сравнения, RTX 5090 с 32 ГБ видеопамяти и пропускной способностью памяти 1792 ГБ/с была выпущена по цене 1999 долларов в начале 2025 года. Риг имеет в 1,7 раза больше видеопамяти за менее чем 2% от этой цены, но каждая из его карт имеет примерно одну девятую пропускной способности. По словам OP, карты P106, в основном предназначенные для вычислений, продаются примерно за 50% от их аналогов GTX.
Одним важным фактором здесь являются затраты на электроэнергию, поскольку суммарная TDP видеокарт составляет 1080 Вт, по оценке одного из комментаторов, но OP говорит, что электроэнергия для него бесплатна и в целом недорога в России.
Имея риг в надежных руках, OP планирует перенести оборудование в лучший корпус, поддерживающий процессоры до i7-7700K и 32 ГБ ОЗУ. Новый корпус позволяет установить до 12 видеокарт, поэтому покупка еще трех таких же увеличит общий объем видеопамяти до 72 ГБ. Решение привлекательно из-за «неограниченного использования и реальной конфиденциальности», сказал покупатель WiredEntrepreneur. Перепрофилирование подержанного оборудования для самостоятельного решения ИИ с моделями MoE подходящего размера является жизнеспособным и полезным проектом для энтузиастов, желающих свободы. С точки зрения OP, больше видеопамяти означает больше свободы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shane Downing
