В среду на саммите Snapdragon Summit компания Qualcomm представила 1-битный LLM Bonsai от PrismML, который может работать локально на умных очках с ИИ, построенных на платформе Snapdragon AR1 Gen 1.
Как ранее сообщал TechCrunch, PrismML известна тем, что значительно уменьшает размер больших моделей (в данном случае в 4 раза), сохраняя при этом почти всю их производительность на стандартных бенчмарках. Версия для умных очков представляет собой модель с 2 миллиардами параметров, оптимизированную для зрения и языка, что позволяет пользователям в реальном времени спрашивать о том, что они видят.
Более масштабная цель Prism — создание ИИ с открытым весом, который работает на устройствах и более эффективно использует их вычислительные мощности. Стартап позиционирует это как альтернативу зависимости от обещаний конфиденциальности проприетарных ИИ-лабораторий и их ненасытной потребности в дополнительных вычислениях.
Выпуск модели для чипа Qualcomm — шаг к этой цели. Однако умные очки с поддержкой PrismML пока не анонсированы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
