Инженер Google DeepMind запустил Gemma 3 на офисном лазерном принтере с 270 миллионами параметров, имея всего 14 МБ ОЗУ

ии Gemma принтер технологии инференс wccftech.com

Google Gemma 3 270M, модель ИИ с 270 млн параметров, продемонстрировала впечатляющую производительность, работая на офисном принтере всего с 14,1 МБ ОЗУ и достигнув скорости более 60 токенов в секунду. Эксперимент показал, что даже обычное офисное оборудование может справиться с локальным ИИ-инференсом.

Мы стали свидетелями впечатляющих достижений, когда устройства, от которых мы никогда не ожидали запуска какой-либо формы локального ИИ, успешно справились с этой задачей, например, когда одному человеку удалось запустить 3B LLM на Pixel 7. Однако оказалось, что небольшие модели ИИ, такие как Gemma 3 270M, могут работать на гораздо менее мощном оборудовании, оснащенном смехотворно малым объемом памяти. В последней демонстрации один пользователь запустил LLM компании на офисном принтере и получил достойную производительность от этого эксперимента.

Используя всего 14,1 МБ, Google Gemma 3 270M достиг скорости более 60 токенов в секунду при работе на офисном принтере

Омар Сансевиеро пишет в X: «С помощью Carbon я запустил Gemma непосредственно на офисном принтере». Вместо модификации прошивки принтера или подключения внешних вычислительных плат, вся установка полагается на PostScript — полнофункциональный язык описания страниц, встроенный в современные лазерные принтеры. Используя Carbon, легковесный движок для инференса трансформеров, в сочетании с квантованной версией модели Gemma 3 с 270 миллионами параметров, был создан один необработанный файл печати PostScript.

Чтобы предотвратить нехватку памяти у офисного принтера во время инференса, система использовала динамическую потоковую передачу слоев, которая циклически загружала и выгружала слои модели из памяти, так что пиковое потребление ОЗУ оставалось на уровне всего 14,1 МБ из 244,6 МБ выделенной виртуальной ОЗУ PostScript принтера. Что касается производительности, мы узнали, что при работе Gemma 3 270M на процессоре принтера генерировалось впечатляющее количество — 61,3 токена в секунду.

Согласно распечатке аппаратного чека, сфотографированной рядом с устройством Ricoh, все выполнение проходило нативно внутри интерпретатора PostScript Level 3 принтера через 18 слоев трансформера. Обработка входного запроса из четырех токенов «Read the fine» заняла 184 секунды на этапе предварительного заполнения и 0,1 секунды для декодирования одного сгенерированного токена, что в общей сложности составило 184 секунды.

После завершения вычислений в стеке PostScript принтер физически распечатал завершенный ответ из трех слов: «Read the fine print», тем самым доказав, что даже обычное офисное оборудование, которое, вероятно, никто не считал способным обрабатывать локальный ИИ-инференс, может превзойти ожидания, будучи доведенным до пределов своего программного обеспечения.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: