Энтузиаст из сообщества homelab на Reddit запустил модель искусственного интеллекта Kimi K3 от Moonshot AI с 2,8 триллиона параметров на устаревшей памяти Optane PMem 200 второго поколения, используя 40-ядерный процессор Xeon Scalable третьего поколения без графического ускорителя для инференса. Сборка сильно нагревается, и автор проекта советует «обязательно позаботиться об активном охлаждении DIMM», установив два вентилятора мощностью 12 Вт, направленных на модули, чтобы контролировать температуру. Проект, являющийся продолжением сборки другого пользователя на Optane первого поколения ранее в этом году, работает на медленной скорости 0,85 токена в секунду даже с 1-битной квантизацией.
По нашей оценке, Kimi K3 совершенно не предназначена для домашнего использования, поскольку Moonshot AI рекомендует для нее серверы для инференса в дата-центрах, и даже минимальная квантизация для сообщества требует не менее 610 ГБ ОЗУ. Использование подержанной Optane — один из немногих способов достичь такой емкости в домашних условиях. Не помогает и резкий рост цен на DRAM: автор отмечает, что память Optane обошлась «в копейки» по сравнению с эквивалентной.
Intel выпустила серию Optane Persistent Memory 200 (PMem 200) в 2020 году для своих процессоров Xeon Scalable третьего поколения емкостью 128 ГБ, 256 ГБ и 512 ГБ. На двухпроцессорных платформах Xeon она работает с более высокой эффективной частотой MT/s, чем первое поколение (PMem 100), использовавшееся в первом проекте, и может обеспечить в среднем на 32% большую пропускную способность памяти. Optane может работать в режиме Memory Mode или App Direct Mode; обе сборки имели платформы, позволяющие использовать оба режима.
Режим Memory Mode использует Optane как системную память с DRAM в качестве кэша — метод, использованный в первой сборке. Режим App Direct предоставляет Optane как отдельную, постоянную область, которую программное обеспечение отображает напрямую. Это дает «больше контроля над тем, где находятся тензоры модели», по словам создателя первой сборки, u/APFrisco, который планировал попробовать это.
Производительность действительно снижается при использовании Optane вместо DRAM, а при более высокой 3-битной квантизации скорость упала еще больше до 0,75 токена в секунду. Один комментатор отмечает, что это очень медленно: выполнение задачи на 50 тыс. токенов займет около 13 часов при скорости примерно 1 токен в секунду, но другой отмечает, что ночные пакетные задания не так сильно зависят от скорости. Обе скорости сравниваются с примерно 4 токенами в секунду в первой сборке, хотя в том случае автор использовал RTX 3060 для обработки части модели в дополнение к Memory Mode, 2-битной квантизации и меньшей, более ранней модели K2.5 с 1 триллионом параметров.
Последнему сборщику также пришлось иметь дело с тепловыделением: DIMM Optane становились «чрезвычайно горячими» при постоянном инференсе, создавая ситуацию, которая, по словам автора, может угрожать соседней DRAM. Это тепло соответствует собственным спецификациям Intel, поскольку производитель указывает для модулей принудительный воздушный поток от 2,4 до 2,7 метра в секунду для охлаждения, что обычно встречается в дата-центрах. Обычно такой уровень воздушного потока не направляют непосредственно на модули памяти.
Ожидаемые условия эксплуатации предполагают мощность каждого модуля Optane 12 Вт или 15 Вт, независимо от емкости. Если бы сборка использовала четыре модуля, это означало бы до 60 Вт тепла, расположенного прямо рядом с системной памятью. Троттлинг на них начинается при 83 градусах Цельсия, с термическим отключением при 85 градусах, по сравнению с 85 градусами Цельсия и до 95 градусов в расширенном диапазоне, для которых рассчитана типичная серверная память DDR4. Для поддержания работоспособности системы необходимо отводить большое количество тепла.
Приведенные показатели производительности получены до настройки — то есть без настройки количества потоков или NUMA-привязки, поэтому есть возможности для улучшения. Один из комментаторов также спрашивал об использовании Memory Mode с кэшированием DRAM для наиболее используемых экспертов. Автор планирует добавить графические процессоры, а также загружать части модели в DRAM в качестве более быстрого уровня наряду с Optane, с «большим количеством бенчмарков в будущем».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shane Downing
