Google только что запустила LiteRT.js, новую библиотеку, которая позволяет моделям машинного обучения запускаться локально в веб-браузере, обходя необходимость серверной обработки. Компания заявила, что это принесет нативную производительность ИИ в веб-браузеры через свой мобильный рантайм LiteRT, ориентированный на мобильные устройства, хотя LiteRT.js также работает на настольных системах.
Новая библиотека использует WebAssembly и аппаратное ускорение, такое как WebGPU и WebNN, чтобы заменить slower TensorFlow.js, который использует более медленное ядро на базе JavaScript.
Рантайм LiteRT до сих пор был доступен только на Android и iOS. В сегодняшнем обновлении Google делает рантайм доступным через WebAssembly, превращая браузер в более мощную платформу для задач ИИ и ML.
Поисковый гигант утверждает, что этот новый рантайм обеспечивает в 3 раза большую скорость по сравнению с существующими решениями на текущем оборудовании. В частности, он был протестирован на 2024 Apple MacBook Pro with M4 Silicon. На практике, для пользователей с более старым оборудованием или использующих браузеры с разными движками, производительность может заметно варьироваться.
Для разработчиков, желающих перейти с TensorFlow.js, процесс прост. Если у вас уже есть файл .tflite, достаточно переключить ваш JavaScript-рантайм на LiteRT.js. Однако, если у вас есть SavedModel TensorFlow/Keras, то можно использовать конвертер LiteRT, встроенный в пакет Python TensorFlow. Подробнее о процессе конвертации читайте на Google for Developers.
В дальнейшем будет интересно увидеть, уйдет ли Google в итоге TensorFlow.js в пользу LiteRT.js. Также будет интересно увидеть, как он реально будет работать на другой аппаратуре помимо MacBook.
Источник: Google
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Paul Hill
