Mac mini популяризировал компактный форм-фактор для запуска AI-агентов благодаря мощным чипсетам и достаточному объему унифицированной памяти. Сингапурский стартап Acrab, следуя этому подходу, считает, что создал идеального конкурента в лице AI-чипа под названием Gelix 1. Оснащенный 20-ядерным ARM-процессором, изготовленным по 5-нм техпроцессу, чип, по заявлению компании, способен превзойти более старый M4 Pro от Apple в задачах AI-инференса и запускать модели с параметрами до 100 миллиардов.
Собственные бенчмарки Acrab показывают, что Gelix 1 достиг скорости префилла в 1416 токенов в секунду при работе с Gemma 26B
Возможности AI-инференса Gelix 1 дополнительно усиливаются многопроцессорным нейронным блоком, а подход с унифицированной памятью позволяет AI-чипу Acrab добиться пропускной способности в 273 ГБ/с. Примечательно, что этот показатель совпадает с пропускной способностью M4 Pro, и, как и Mac mini, Gelix 1 также спроектирован для работы в компактном корпусе без потери производительности или перегрева.
Что касается бенчмарков, Acrab утверждает, что Gelix 1 достиг скорости префилла в 1416 токенов в секунду при запуске модели Gemma 26B с контекстным окном в 40 000 токенов. Для сравнения, Mac mini на M4 Pro в том же тесте показал лишь 188 токенов в секунду. DigiTimes сообщает, что независимые проверки пока не проводились, поэтому читателям стоит пока относиться к этим данным с осторожностью.
Очевидно, возникает несколько серьезных вопросов, например, заявление Acrab о возможности запуска AI-моделей на 100 миллиардов параметров. Mac mini на M4 Pro в настоящее время ограничен 48 ГБ унифицированной оперативной памяти, чего должно с запасом хватать для LLM на 35 миллиардов параметров. Однако для модели на 100 миллиардов параметров потребуется 128 ГБ унифицированной памяти, что, вероятно, является максимальной конфигурацией Gelix 1. 20-ядерный ARM-процессор подозрительно напоминает DGX Spark и RTX Spark от NVIDIA, так что мы с нетерпением ждем возможности узнать, установлен ли в нем тот же процессор от MediaTek.
Потребители и компании, обеспокоенные вопросами конфиденциальности и задержек, могут использовать Gelix 1, чтобы запускать более крупные AI-модели, занимая при этом минимум места на столе. К сожалению, информация о цене и доступности пока неизвестна, но если кто-то планирует запускать модели на 100 миллиардов параметров локально, дешево такой рабочий процесс не обойдется.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
