Компактные устройства с искусственным интеллектом становятся все более распространенными, но новый стартап раздвинул границы, представив самый маленький в мире суперкомпьютер с ИИ, который на бумаге выглядит весьма многообещающим.
Новая разработка Tiiny AI — Pocket Lab — оснащена новейшими ядрами ARM v9.2, что позволяет запускать большие языковые модели (LLM) с 120 миллиардами параметров
Периферийные вычисления с ИИ (Edge AI) становятся новым направлением в индустрии, в первую очередь потому, что развертывание моделей с открытым исходным кодом на локальных машинах обеспечивает более персонализированную рабочую нагрузку. Однако это также требует дорогостоящего оборудования. Такие устройства, как NVIDIA DGX Spark, могут стоить до 4000 долларов, что не по карману обычному потребителю. Стартап Tiiny AI планирует устранить этот разрыв, предложив не только экономичное решение, но и устройство, которое позиционируется как «самый маленький в мире» суперкомпьютер под названием Tiiny AI Pocket Lab.
Интересно, что устройство имеет размеры всего 14,2 × 8 × 2,53 см и весит 300 г, но Tiiny AI утверждает, что суперкомпьютер способен успешно развернуть модель со 120 миллиардами параметров — достижение, не имеющее аналогов. Утверждается, что большие языковые модели, совместимые с этой машиной, идеально подходят для «рассуждений уровня PhD, многоэтапного анализа и глубокого контекстного понимания». Благодаря возможностям обработки на устройстве, AI Pocket Lab идеально подходит не только для потребителей, но и для тех, кто хочет экспериментировать с локальным развертыванием LLM.
Согласно информации, предоставленной Tiiny AI, AI Pocket Lab поддерживает модели от GPT-OSS, Llama, Qwen, DeepSeek, Mistral и Phi. Одним из самых впечатляющих аспектов AI Pocket Lab является то, что он может обеспечить производительность до 190 TOPS благодаря дискретному нейронному процессору (NPU) на борту. С 80 ГБ оперативной памяти LPDDR5X вы можете использовать агрессивную квантизацию, позволяя модели с 120 миллиардами параметров плавно работать в локальной среде. Кроме того, Tiiny AI заявляет, что компания применила два метода, которые делают интерфейс для 120-миллиардной модели практичным, и вот они:
TurboSparse — технология разреженной активации на уровне нейронов, которая значительно повышает эффективность инференса, сохраняя при этом полную интеллектуальность модели.
PowerInfer — движок гетерогенного инференса с открытым исходным кодом и более чем 8000 звезд на GitHub, который динамически распределяет вычисления между ЦП и NPU для ускорения тяжелых рабочих нагрузок LLM, обеспечивая производительность серверного уровня при значительно меньшем энергопотреблении по сравнению с традиционными решениями. В совокупности эти технологии позволяют Tiiny AI Pocket Lab обеспечивать возможности, которые ранее требовали профессиональных графических процессоров стоимостью в тысячи долларов.
Устройство будет представлено на выставке CES 2026. Хотя компания не раскрыла подробностей о дате выпуска и доступности в розничной продаже, AI Pocket Lab, безусловно, выглядит как многообещающее устройство. Будет интересно посмотреть, как пройдет его дебют в индустрии.
Автор – Muhammad Zuhair
