Модель ИИ объемом 20 миллиардов параметров, работающая на RTX 5070 Ti с 16 ГБ видеопамяти GDDR7, не вызывала проблем, но один пользователь решил, что эта большая языковая модель (LLM) слишком ограничивает его повседневный рабочий процесс. Вместо этого он решил перейти на модель объемом 35 миллиардов параметров и, чтобы разгрузить модель без снижения производительности, использовал 128 ГБ оперативной памяти DDR4 ECC от рабочей станции. К сожалению, всего через 90 минут один модуль DDR4 таинственным образом вышел из строя, причем пользователь утверждает, что причиной не были перегрев.
Удивительно, но пользователь упоминает только температуры ЦП и ГП, поскольку второй модуль DDR4 начал выдавать ошибки через 8–9 дней работы с моделью объемом 35 миллиардов параметров
Перед запуском Ornith-1.5-35B-A3B пользователь Reddit под ником Future_Fuel_8425 мог легко разместить LLM объемом 20 миллиардов параметров в видеопамяти RTX 5070 Ti, но когда дело дошло до выполнения сложных задач с базами данных, стало ясно, что запуск более плотной модели ИИ — единственный выход. Настроив необходимое оборудование с 128 ГБ оперативной памяти DDR4 ECC в модулях по 8 ГБ, пользователь начал запускать LLM объемом 35 миллиардов параметров и, вернувшись домой через 90 минут, обнаружил, что система дала сбой.
При расследовании он выяснил, что один из модулей DDR4 объемом 8 ГБ вышел из строя, удалил его и снова начал запускать Ornith-1.5-35B-A3B. Что касается того, почему пользователь предпочитал запускать эту модель ИИ, он заявил, что ценил качество, которое она обеспечивала, и производительность токенов не деградировала после того, как видеопамять RTX 5070 Ti была заполнена, а системная память начала заполнять пробел. Он предположил, что ему мог попасться бракованный модуль ОЗУ, что случается слишком часто.
К сожалению, после 8–9 дней работы LLM он проверил журналы ошибок и понял, что вот-вот потеряет еще один модуль, что указывает на то, что использование старой оперативной памяти DDR4 не лучший выбор для такой нагрузки. Хотя пользователь утверждает, что температура не была проблемой, он упоминает только температуры ЦП и ГП, которые никогда не превышали 80°C. Помимо возраста этих модулей ОЗУ, потребительская память не предназначена для непрерывного последовательного чтения в течение длительного времени.
Конечно, вы можете попробовать запускать более плотные модели ИИ на оперативной памяти DDR5, поскольку она имеет более высокие температурные допуски и допуски на чтение, но наше интуитивное предположение заключается в том, что более высокие температуры привели к выходу из строя одного модуля DDR4 ECC объемом 8 ГБ и быстрому деградированию второго. Если это не так, почему пользователь не предоставил никаких данных о температуре памяти? Вероятной причиной выхода из строя модулей DDR4 стало сочетание возраста, длительной нагрузки и недостаточной вентиляции, но без полной картины мы никогда не узнаем.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
