Запуск LLM и агентов в домашних лабораторных установках набирает популярность из-за растущей стоимости подписок на AI-ботов и опасений по поводу конфиденциальности данных. К сожалению, стойка Nvidia NVL72 слегка выходит за финансовые пределы большинства людей, поэтому энтузиастам приходится довольствоваться моделями, которые могут работать в ограниченном объеме памяти. Итальянский инженер Винченцо (он же JustVugg), похоже, хотел и рыбку съесть, и косточкой не подавиться, поэтому он создал Colibrì для запуска модели GLM-5.2 с 744 миллиардами параметров (1,5 ТБ) на скромном CPU, всего 25 ГБ ОЗУ и виртуальном NVMe-накопителе со скоростью 1 ГБ/с.
Давайте сразу разберемся со слоном в комнате: скорость Colibrì в конфигурации Винченцо составляет в среднем всего от 0,05 до 0,1 токена в секунду — это показатель, непригодный для практического общения: представьте, что один вопрос занимает часы. Более производительные конфигурации дают гораздо лучшие цифры, но пока они все еще не достигают 20–30 токенов в секунду, необходимых для использования в реальном времени.
Несмотря на это, GLM-5.2 — это модель Mixture-of-Experts (MoE) с возможностями передового уровня, по крайней мере, где-то в пределах видимости лучших предложений от Anthropic, OpenAI и других. Это означает, что качество ответов должно быть отличным, и сам Винченцо говорит, что его ограниченное тестирование дало впечатляющие результаты. Принцип работы Colibrì достаточно прост для описания, но труднореализуем: загрузка модели в ОЗУ по частям. Для ясности мы чрезмерно упростим.
Модель MoE, такая как GLM-5.2, включает сотни экспертных подмоделей для ответов на разные темы, и они выбираются на токен, а не на запрос — то есть когда вы задаете вопрос, ваши слова разбиваются на токены (фрагменты). Для каждого токена бот активирует лучшие эксперты. Эксперты могут быть одинаковыми для всего вопроса, но чаще всего запрос может задействовать десятки экспертов, возможно, до трехзначных чисел.
В то время как обычно большие части модели или вся модель загружаются на взаимосвязанные датацентровые GPU, Colibrì использует преимущества архитектуры MoE и многократно загружает/выгружает экспертов, необходимых для каждого токена, позволяя даже дешевой машине использовать большую модель с серьезным ударом по производительности. Ради скорости и простоты код выбора экспертов в Colibrì — это один C-файл с очень небольшим количеством зависимостей. Кроме того, модель GLM-5.2 квантована (упрощена с помощью сжатия с потерями), чтобы изначально занимать меньше места.
Если вы думаете, что загрузка и выгрузка данных для каждой части слов вопроса сильно ударит по вводу-выводу хранилища и пропускной способности памяти, вы абсолютно правы. В такой конфигурации скорость NVMe-накопителя является первым основным узким местом, но эта условная воронка меняется в зависимости от конфигурации. Дайте достаточную пропускную способность хранилища — и вы упретесь в ограничения ОЗУ. Исправьте это — и вам понадобится больше ядер CPU, и так далее.
Colibrì в настоящее время является концептуальным прототипом и пока не работает на GPU, хотя стоит отметить, что даже в этом случае перекачка данных на карту и с нее почти наверняка будет самым большим ограничением. Тем не менее, проект едва выпущен, а уже пользуется большой популярностью. Винченцо собирает бенчмарки и прямо сейчас исправляет ошибки, так что обязательно посетите репозиторий, чтобы внести свой вклад, если сможете. Возможно, когда-нибудь станет возможным запускать действительно умную модель на высококлассном потребительском оборудовании с достаточной скоростью.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
