Инженер по искусственному интеллекту Дивьянш Агравал представил Qwenputer. В самом простом описании Qwenputer — это экспериментальное сочетание стандартной языковой модели Qwen 3.5 4B с 32-битным процессором RISC-V, скомпилированным и встроенным непосредственно в её веса. В использовании Qwenputer может выполнять арифметические операции процессора или даже запускать код на C и MicroPython на встроенном процессоре, обходясь без внешних сред выполнения или инструментов. Более того, он может запускать Doom, хотя и очень медленно. Вы можете увидеть, как Qwenputer запускает Doom на своем процессоре RISC-V, развернув твит ниже.
Реализация Qwenputer поднимает интересные концепции и решения. Например, разработчик использовал состояние Gated DeltaNet (GND) модели Qwen в качестве ОЗУ, что, по мнению Агравала, является «довольно классным трюком». Он признает, что использование этих «быстрых весов» в качестве ОЗУ не является оригинальной концепцией, но модификация Qwen 3.5 таким образом, похоже, происходит впервые.
В отличие от традиционного создания LLM, добавление «ЦП» не требует обучения. Эта реализация процессора RISC-V «состоит из 11 трансформерных слоев перед собственными слоями Qwen, и ни один из их весов не обучается: компилятор вычисляет каждый из них», — поясняется в сообщении. Агравал хвастается, что встроенный процессор Qwenputer «проходит официальные тесты riscv-tests, его программы соответствуют qemu, и он выполнил 18 миллионов инструкций в свободном режиме без единой ошибки».
Разработчик подчеркивает, что Qwen использует этот «ЦП» для отправки и получения инструкций без внешних вызовов инструментов или сред выполнения. На практике это работает как задумано. Использование процессора внутри Qwenputer обеспечивает точные расчеты, преодолевая арифметические слабости многих LLM. Более того, пользователи могут запускать код на процессоре внутри LLM, с совместимостью C и MicroPython.
Не удовлетворившись встраиванием процессора в LLM, Агравал решил добавить и файловую систему. Он описывает это расширение модели как относительно тривиальное, поскольку ОЗУ уже на месте. Действительно, хранилище файловой системы также использует состояние DeltaNet. Имеется 1024 слота, вмещающих до 512 файлов. Более того, это хранилище является постоянным, если сохранить состояние в конце разговора с LLM.
Из-за расширенного использования ресурсов Qwenputer практически удвоил размер базовой LLM Qwen 3.5 4B почти до 19 ГБ. Таким образом, Агравал рекомендует рабочую станцию с 24 ГБ видеопамяти или более для тестирования Qwenputer в текущей версии. Предпринимаются усилия по оптимизации кодирования в Qwenputer, а также по ускорению его работы.
Проект является экспериментальным. Создается впечатление, что Агравал построил Qwenputer в первую очередь как эксперимент для изучения возможностей, а не для решения конкретной проблемы. Тем не менее, создание этой пользовательской LLM поднимает интересные концепции и заставляет задуматься о потенциальных практических применениях.
Помимо связанного выше блога, вы можете узнать больше о Qwenputer из его кода под лицензией MIT на GitHub. Если вы хотите сразу же приступить к работе и поэкспериментировать с этим увлекательным проектом, вы можете скачать эту LLM с Hugging Face.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mark Tyson
