Большая часть нынешних дискуссий об ИИ сосредоточена на создании облачных мощностей и массивных центров обработки данных для запуска моделей. Компании, такие как Apple и Qualcomm, находятся на ранних стадиях развития более полезного ИИ на устройствах. На этом фоне техническая команда из 14 человек лондонской компании Mirai работает над улучшением работы моделей на телефонах и ноутбуках.
Mirai, получившая $10 млн посевных инвестиций от Uncork Capital, была основана в прошлом году Дима Шевцом и Алексеем Моисеенковым. Оба основателя имеют опыт создания масштабируемых потребительских приложений. Шевц был соучредителем приложения для смены лиц Reface, которое получило финансирование от a16z. Позже Шевц также стал скаутом венчурной фирмы. Моисеенков был генеральным директором и соучредителем популярного в прошлом десятилетии приложения с ИИ-фильтрами Prisma.
Будучи разработчиками потребительских приложений, оба думали об ИИ и машинном обучении на устройствах еще до того, как генеративный ИИ стал популярным, сказал Шевц.
«Когда мы встретились в Лондоне, мы начали обсуждать технологии и поняли, что в условиях ажиотажа вокруг генеративного ИИ и его внедрения все говорят об облаках, серверах, о грядущем AGI. Но недостающим звеном является ИИ на устройствах для потребительского оборудования», — сказал он TechCrunch.
Шевц и Моисеенков хотели использовать ИИ для создания конвейера, который позволил бы им выполнять сложные задачи на телефоне, что и привело их к созданию Mirai. Когда они спросили других разработчиков потребительских приложений, те ответили, что многим нужна лучшая оптимизация затрат и маржа на использование токенов.
Сегодня Mirai разрабатывает фреймворк для моделей, чтобы они могли лучше работать на устройствах. Компания создала движок для вывода моделей на Apple Silicon, который оптимизирует пропускную способность на устройстве. С помощью предстоящего SDK разработчики смогут интегрировать среду выполнения в свои приложения всего за несколько строк кода, утверждает компания.
«Одной из наших целей при создании компании было предоставить разработчикам опыт интеграции, подобный Stripe, — восемь строк кода… вы просто заходите на нашу платформу, вставляете ключ и начинаете работать с суммаризацией, классификацией или любым другим сценарием использования», — сказал Шевц.
Стартап создал этот движок на Rust, что, по их утверждению, может увеличить скорость генерации модели до 37%. Компания заявила, что при настройке модели для платформы она не изменяет веса модели, чтобы обеспечить отсутствие потери качества выходных данных.
Стек Mirai в настоящее время сосредоточен на улучшении текстовых и голосовых модальностей на платформе, с планами поддержки зрения в будущем. Команда начала работать с поставщиками передовых моделей для их настройки для периферийных вычислений и ведет переговоры с различными производителями чипов. Позже компания планирует вывести свой движок и на Android.
Кроме того, Mirai планирует выпустить бенчмарки для устройств, чтобы производители моделей могли тестировать производительность на устройствах. Шевц признает, что не вся работа ИИ может выполняться на устройстве. Для обеспечения смешанного режима работы команда создает оркестрационный слой для отправки запросов, которые не могут быть выполнены на устройстве, в облако.
Хотя стартап пока напрямую не работает с приложениями, его движок может использоваться для питания голосовых помощников, транскрибаторов, переводчиков и чат-приложений на устройствах, как нам сообщили.
Энди МакЛафлин, управляющий партнер Uncork Capital, отметил, что в прошлом десятилетии он инвестировал в компанию, занимавшуюся периферийными вычислениями (edge machine learning). Он сказал, что компания была слишком ранней и в конечном итоге продала свой бизнес Spotify. По его мнению, в современном мире ситуация иная.
«Учитывая стоимость облачных вычислений для вывода моделей, что-то должно измениться… Пока венчурные инвесторы рады продолжать финансировать быстрорастущие компании, тратящие чрезмерные суммы на облачные вычисления. Но это не продлится вечно — в какой-то момент люди сосредоточатся на фундаментальной экономике этих бизнесов и поймут, что что-то должно измениться», — сказал он. «Кажется, каждый разработчик моделей захочет выполнять часть своих вычислений на периферии, и Mirai выглядит очень хорошо подготовленной для удовлетворения этого спроса».
В посевном раунде Mirai также приняли участие частные инвесторы, включая генерального директора Dreamer Дэвида Синглтона, партнера YC Франсуа Шобара, соучредителя Snowflake Марчина Жуковского, соучредителя ElevenLabs Мати Станишевского, бывшего менеджера по продуктам Google AdSense и члена совета директоров Coinbase Гокула Раджарама, инвестора Groq Скутера Брауна, технического директора Turing.com Виджая Кришнана, Бена Парра и Мэтта Шлихт из Theory Forge Ventures, а также бывшего технического руководителя Netflix Адитью Джами.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ivan Mehta
