ZML, нашумевший французский стартап в области искусственного интеллекта, получивший поддержку лауреата премии Тьюринга Янна ЛеКуна, выпустил программное обеспечение для инференса, которое позволяет различным большим языковым моделям с открытым исходным кодом работать на множестве чипов — включая чипы Nvidia, AMD, Google TPU, Apple Meta*l и Intel Arc.
С помощью ZML/LLMD, недавно запущенного сервера инференса LLM, компания стремится разрушить существующие барьеры и сделать различные чипы доступными для сценариев использования ИИ на максимально возможной скорости, а иногда и быстрее, как сообщил TechCrunch основатель ZML Стив Морен.
По мере того как ИИ интегрируется в нашу работу и повседневную жизнь, оптимизация инференса — то есть обработки запросов — по важности обгоняет обучение моделей, но за кулисами это часто выглядит фрагментарно из-за программных и архитектурных барьеров, ведущих к привязке к поставщику, отметил Морен.
Обещание достижения пиковой производительности на различных чипах — это технологический прорыв, но на фоне растущих опасений по поводу затрат, связанных с ИИ, это также может стать фактором, меняющим рынок.
ZML надеется предоставить предприятиям и облачным провайдерам возможность использовать комбинацию чипов, некоторые из которых могут быть менее дорогими или потреблять меньше энергии. «Идея состоит в том, чтобы вернуть людям возможность создавать собственные системы и достигать реальной эффективности, которая позволит [ИИ] распространяться», — сказал Морен.
Такая программная поддержка может помочь новым производителям чипов для ИИ, многие из которых родом из Европы, заметил Морен, упомянув Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. Но важнее их региона происхождения то, что ZML может работать с ними над «вещами, которые еще не делались нигде в мире».
Это не означает, что Морен пессимистично настроен в отношении Nvidia. Он не пессимист, отчасти из-за существующих мощностей компании. Он сообщил TechCrunch, что у ZML хорошие отношения с гигантом в области чипов для ИИ, который активно готовится к росту инференса.
Инференс стал областью столь интенсивных инвестиций, что эта тенденция получила название «золотая лихорадка инференса». Таким образом, у ZML есть конкуренты, такие как Baseten, недавно оцененный в 13 миллиардов долларов; Inferact, от создателей проекта с открытым исходным кодом vLLM; а также RadixArk, коммерческая компания, стоящая за SGLang.
И vLLM, и SGLang частично конкурируют с LLMD, но амбиции ZML охватывают более широкий спектр. «Мы достигли точки, когда мы занимаемся совместным проектированием кремния», — сказал он. Он также отметил, что небольшая команда ZML из 20 человек позволила стартапу из Парижа двигаться быстро, и в планах есть новые релизы.
Помогло и то, что эта небольшая команда хорошо финансируется для своего размера. Благодаря своему опыту в качестве вице-президента по инженерии в Zenly, которую Snapchat приобрела за девятьзначную сумму в 2017 году, Морен привлек 20 миллионов долларов от венчурных фондов, включая 20VC Гарри Стеббингса, >commit, AALVC, Drysdale Ventures, Kima Ventures Ксавье Ниля, Kindred Capital, LocalGlobe и Puzzle Ventures.
В отличие от первого публичного проекта ZML, фреймворка для машинного обучения с акцентом на инференс ML framework, выпущенного в 2024 году и обновленного в марте, ZML/LLMD не является открытым исходным кодом. Но он запускается как бесплатный продукт с целью изучения использования. «Я бы предпочел измерять, а затем монетизировать там, где это наиболее эффективно, не сдерживая свой рост по глупости из-за чрезмерной жадности с самого начала», — сказал Морен.
Слишком рано говорить, когда ZML/LLMD может стать платным продуктом и как будет выглядеть его внедрение. Но таблица акционеров стартапа подтверждает, что другие основатели следят за ним, включая Соломона Хайкса, основателя Dagger и Docker, Клемана Делангю и Жюльена Шомона из Hugging Face, а также ЛеКуна, который сейчас работает в AMI Labs. Это также подтверждает тезис о том, что европейские стартапы в области ИИ теперь могут развиваться на родине. «Я не смог бы создать ZML где-либо, кроме как в Париже», — сказал Морен.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anna Heim
