Команда под руководством соучредителя Cyanogen Кирта МакМастера представила Kora — новую настольную ОС на базе Linux с интегрированными моделями ИИ и агентами, способными распределять рабочие нагрузки между ресурсами CPU, GPU и NPU, а также другими машинами в локальной сети. Мы обратились в компанию за дополнительной информацией. Kora, первый продукт от Kora Systems Inc., ранее известной как Playtron, несет в себе слоган «Операционная система для интеллекта» и обладает собственной технологией «гибридного движка вывода» Cortex, которая не является открытым исходным кодом и оптимизирована для локальных моделей. ОС, построенная «от ядра до оболочки», по умолчанию запускает локальные модели, а облачные — по мере необходимости, и ожидается, что она появится на ПК в 2027 году.
Рабочий стол соответствует ИИ-тематике с «нейронными рабочими пространствами» и «нейронной файловой системой», которые относятся к изолированным рабочим пространствам и файлам, индексируемым по семантическому значению. Kora имеет три режима работы: «Работа», «Творчество» и «Игра». Последний режим обеспечивается GameFrame, который является развитием GameOS от Playtron. Humain OS, которую Kora разрабатывает совместно с саудовской ИИ-компанией Humain, является корпоративным вариантом этой ОС.
В настоящее время единственным упомянутым в релизе NPU является Hexagon NPU, входящий в состав Snapdragon X2 Elite, который Qualcomm оценивает в 80 TOPS. На X2 Elite Cortex может планировать ИИ-нагрузки между CPU, GPU и NPU, а также другими системами в локальной сети, что может стать новой возможностью, если она будет работать за пределами оборудования Qualcomm.
МакМастер сообщил Tom’s Hardware, что NPU Snapdragon X2 Elite обрабатывает модель Google Gemma 4 26B со скоростью 25 токенов в секунду для декодирования. Поддержка NPU от Intel и AMD находится в разработке, но, по словам разработчика, NPU от AMD, вероятно, будет ограничен моделями речи и встраивания, а не языковыми моделями.
Каждый поставщик NPU имеет свой собственный программный стек, или среду выполнения, и предпочитает, чтобы модели компилировались в его собственном формате: Qualcomm — с QAIRT/QNN, Intel — с OpenVINO, а AMD — с программным обеспечением Ryzen AI. В пресс-кит не включена информация о поддержке каких-либо чипов Intel или AMD, среды выполнения NPU, формата моделей, квантования или показателей скорости для этих платформ.
Наше предыдущее тестирование Windows показало аналогичный разрыв: Snapdragon получал доступ к своему NPU через поставщика QNN в ONNX Runtime, в то время как решения Intel работали через IPEX, расширение для PyTorch, на GPU, поскольку это было быстрее, чем на NPU.
Отвечая на вопрос о кросс-вендорной поддержке, МакМастер подтвердил, что «сегодня поддерживается только Hexagon на Snapdragon X2 Elite». Поддержка NPU Intel планируется, «ведутся переговоры», в то время как на чипах AMD Ryzen AI Kora «вероятно, не будет запускать языковые модели на NPU», а скорее будет использовать его для моделей встраивания и распознавания речи через ONNX.
Что касается того, что управляет Qualcomm Hexagon NPU, МакМастер заявил, что Kora использует «Hexagon backend llama.cpp» и «драйвер FastRPC из основного репозитория». Это предполагает, что операционная система получает доступ к NPU через проект с открытым исходным кодом llama.cpp, а не через собственный стек QAIRT/QNN от Qualcomm, посредством драйвера FastRPC в основном ядре.
Отвечая на вопрос о форматах моделей, МакМастер сказал: «Мы в основном поддерживаем GGUF», формат файлов моделей llama.cpp, и что Lemma, движок вывода внутри Cortex, «может распределять слои моделей между процессорами по мере необходимости». Lemma построена на базе llama.cpp, whisper.cpp, stable-diffusion.cpp и ONNX. МакМастер утверждает, что используемая среда выполнения зависит от требований модели, и в дальнейшем будут добавлены новые среды выполнения.
На сегодняшний день llama.cpp имеет Hexagon backend для Snapdragon и OpenVINO backend для процессоров, графических процессоров и NPU Intel, хотя последний все еще помечен как «В процессе», и отсутствует AMD NPU backend, что объясняет, почему AMD работает через ONNX. NPU AMD могут запускать LLM на Linux через отдельный стек Lemonade 10.0 с FastFlowLM, как сообщалось Phoronix в марте, хотя Kora выбрала другой путь.
Помимо стеков NPU, те, кто хочет запустить Kora, должны будут учитывать доступную память своей системы. Модель Gemma 4 26B, которую использует Kora, которую Google классифицирует как Gemma 4 26B A4B, требует около 14,4 ГБ памяти для загрузки весов в 4-битном (Q4_0) квантовании, по оценкам Google, до учета контекстного окна, в то время как сторонние источники указывают размер загрузки файла Q4_K_M, который использует Kora, около 16–17 ГБ. Модель активирует только около 4 миллиардов из своих 26 миллиардов параметров на токен, но все равно должна быть полностью загружена в память.
МакМастер сообщил, что с этой моделью X2 Elite достигает «25 TPS декодирования и 550 TPS предварительной обработки», или токенов в секунду, работая «полностью на Hexagon NPU с контекстом 32K». Плотная модель, в отличие от смеси экспертов, была бы значительно медленнее. Не указана конфигурация ОЗУ или конкретный чип X2 Elite.
Что касается памяти, МакМастер заявил, что «мы рекомендуем 64 ГБ, так как это дает доступ к лучшим моделям», но это не является строгим требованием. Компания прогнозирует, что «около 70 процентов управляемых ею вызовов моделей будут выполняться локально в 2027 году».
Kora заявляет, что ее ориентированная на корпоративный сегмент Humain OS выйдет первой и будет «коммерчески доступна в 2027 году» на OEM-ПК с использованием Snapdragon X2 Elite. Kora последует «позже в 2027 году».
МакМастер сообщил, что «Kora будет размещена на нашем сайте и доступна для скачивания любому желающему». В комплект будет входить список рекомендуемых конфигураций, «но она должна устанавливаться на большинстве современных ПК». Точная цена и общая бизнес-модель будут объявлены ближе к дате доступности.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shane Downing
