Windows ML существует уже более года, но если вы не знали о его существовании, то это, по сути, унифицированный, высокопроизводительный фреймворк для локального инференса ИИ в Windows, который позволяет разработчикам создавать приложения ИИ для Windows 11 без необходимости нацеливаться на аппаратные оптимизации. На своем вчерашнем мероприятии Windows и Surface в октябре Microsoft подчеркнула важность локального инференса ИИ с помощью аппаратных и программных анонсов, и теперь она осветила некоторые из последних достижений, сделанных в этой области.
Для начала, Microsoft активно сотрудничает с сообществом llama.cpp и GGUF с открытым исходным кодом, чтобы обеспечить нативную поддержку этого программного обеспечения в Windows. Разработчики теперь могут импортировать модель GGUF из Hugging Face и очень легко запускать ее локально, используя экспериментальную интеграцию llama.cpp. Компания также напрямую работает с NVIDIA над улучшением llama.cpp и связанных с ним оптимизаций производительности.
В том же духе Microsoft представила экспериментальный нативный для Windows путь инференса в Windows ML, который запускает модели ONNX и GGUF. Этот релиз включает API генерации текста и API распознавания речи. Все это работает на основе упомянутого ранее пути инференса, который официально называется Windows ML Runtime API. Microsoft расхваливает его производительность, глубокую интеграцию с Windows и гранулярное управление. Важно отметить, что API ONNX Runtime по-прежнему полностью поддерживаются, но будущие оптимизации для Windows будут реализованы в Windows ML Runtime API. Оба рантайма включены, и разработчикам рекомендуется начать с того, что им знакомо, и перейти на Windows ML Runtime API, когда они будут готовы.
Кроме того, Microsoft внесла свой вклад в PyTorch и Triton. Первый теперь предлагает нативные сборки Windows Arm64 CPU, а NVIDIA занимается пакетами Windows Arm64 с поддержкой CUDA. Тем временем Triton теперь предоставляет triton.jit, torch.compile и пользовательские GPU-ядра для поддерживаемых GPU Windows.
Что касается дальнейших планов, Microsoft продолжит сотрудничать с сообществами с открытым исходным кодом и аппаратными партнерами для улучшения экосистемы локального ИИ. Планируемые улучшения включают нативные пакеты, более широкую поддержку ядер, производительность, поддержку Windows на ARM и многое другое. А пока вы можете следовать руководству Microsoft, чтобы ознакомиться с последними достижениями.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Usama Jawad
