Fireworks AI готова помочь компаниям запускать ИИ-модели в собственных дата-центрах, хотя вице-президент Роб Фергюсон выступает против этого.

Фергюсон заявил The Register в интервью, что, хотя Fireworks AI, поставщик управляемых сервисов для инференса, поддерживает локальное развертывание ИИ, «мы стараемся все больше отговаривать людей от этого, потому что, честно говоря, дело в экономике».

Оборудование GPU настолько дорогое, что если его нельзя использовать на полную мощность, это пустая трата денег, утверждает он. Десять тысяч GPU, по его словам, представляют собой миллиард долларов капитала.

«Вы не хотите, чтобы эти машины простаивали», — сказал он.

Для компаний с особо конфиденциальными рабочими нагрузками Фергюсон отметил, что Fireworks готова найти решение — для этих целей предлагается услуга Sovereign, и есть партнеры, такие как Microsoft, которые могут помочь. Но большая часть работы по инференсу, вероятно, не требует такого уровня защиты, сказал он.

«Современный подход для всех — иметь портфель моделей», — пояснил он. «На самом деле, я думаю, большинство людей не знают, что лучшая модель в мире — это не Astra. Лучшая модель в мире — это не Fable. Лучшая модель — это буквально портфель, и мы можем это доказать. Вы всегда лучше маршрутизируете между несколькими моделями, чем используете одну единственную модель».

Именно этим занимается Fireworks через Nexus и свой API, наряду с конкурентами, такими как Together AI, Baseten и DeepInfra. Как управляемая платформа инференса, Fireworks AI направляет задачи инференса к той модели, подписке на передовую модель или API, которая лучше всего подходит для их выполнения.

Но компания не просто осуществляет наивную маршрутизацию, как ИИ-шлюз. Она оценивает задачи по мере их поступления и направляет их к оптимальной модели.

«Мы создаем пользовательские маршрутизаторы», — пояснил Фергюсон. «Наша автоматическая модель постоянно обновляется, так что мы оцениваем сложность задачи и смотрим, есть ли у моделей определенные сходства, например, Kimi немного лучше справляется с JavaScript, чем с Python, и тому подобное».

Конкурентное преимущество компании, по его мнению, заключается в ее блестящей инженерной команде, которая является результатом работы ее основателей над PyTorch, широко используемой библиотекой машинного обучения с открытым исходным кодом.

«Мы эксперты по производительности как в области обучения, так и в области инференса», — пояснил он. «Люди, я думаю, не понимают, насколько важна, например, нумерика. Так что, когда вы используете модель, она всегда называется смесью экспертов — эксперт — это другая машина.

«И у вас есть все эти разные машины. На самом деле важно при обучении вернуться именно к нужной машине, потому что если вы этого не сделаете, другая машина все равно ответит на вопрос, но ответит немного по-другому. Поэтому мы должны знать, как построить топологию для записи данных обратно в нужное пространство. Мы должны понимать точность чисел с плавающей запятой [для обработки очень малых значений]. Мы должны иметь возможность делать все это, когда мы маршрутизируем через сложную сеть, потенциально через более чем одного поставщика, в зависимости от всего. И поэтому мы действительно системные эксперты».

Гиперскейлеры, утверждает он, предоставят вам GPU, но затем ваша ответственность — использовать его. Преимущество Fireworks заключается в возможности максимизировать утилизацию в масштабе, сохраняя при этом точность и скорость модели.

Фергюсон сказал, что ИИ постоянно возвращается к экономике.

«Люди пытаются найти все больше и больше применений для ИИ и [ответить на такие вопросы, как] сколько еще я могу отправить в кэшированные модели, сколько еще я могу отправить в открытые модели, когда мне нужна эта специализация?» — сказал он. «Поэтому мы постоянно работаем с клиентами, помогая им разработать собственные критерии оценки».

Одна из причин этого, пояснил Фергюсон, заключается в том, что компании, разрабатывающие передовые модели, не проявляют прозрачности в отношении своих показателей кэширования. Он сказал, что Fireworks работала с компанией, занимающейся наукой о данных, и кэшировала около 90 процентов задач.

«Мы посмотрели на Opus [от Anthropic], и он кэшировался в 30 процентах случаев», — сказал он. «Он постоянно переделывал ИИ. А с ИИ переделка — это ваша самая большая статья расходов. Если он не попадает в кэш, то ваши расходы абсолютно безумны. И поэтому стоимость токена — это не реальная стоимость. Это стоимость за задачу. И они скрывают это от вас. Поэтому мы всегда говорим нашим клиентам отслеживать стоимость за задачу, потому что это реальная цифра».

Еще один фактор, который компании должны учитывать при расчете затрат, предложил Фергюсон, — это ценность их данных и то, отдают ли они эти данные для обучения.

«Я думаю, люди сильно недооценивают ценность своих данных».

Fireworks AI имеет политику нулевого хранения данных, «но часто», сказал Фергюсон, «эти другие компании [этого не делают], и вы должны получать деньги за свои данные. Никто на самом деле не знал в начале этой текущей эры, что эти модели являются меморизаторами. Но теперь есть множество доказательств того, что эти модели являются таковыми. Поэтому, если они собираются использовать ваши данные, то вы должны получать за это вознаграждение».

Но дело не только в стоимости. Скорость, сказал Фергюсон, недооценена.

«Скорость — это то, о чем люди часто не знают, что могут попросить», — сказал он. «Это настолько меняет правила игры для меня, и то, как я работаю с ИИ, настолько отличается, когда ответы приходят так же быстро, как я их запрашиваю».

Каково преимущество ансамблирования моделей, как компания называет свою деятельность по маршрутизации моделей? Счет как минимум на 50 процентов меньше, утверждает Фергюсон.

«Мы говорим, что это в шесть-восемь раз дешевле», — сказал он. «Реальность такова, что, поскольку многие люди имеют предпочтения в своих инструментах, мы как бы гарантируем, что в случае, если вы все еще используете комбинацию закрытых и открытых моделей, мы всегда можем гарантировать, что ваш счет сразу уменьшится вдвое. Мы в этом уверены. А затем возникает вопрос, можем ли мы просто заставить вас использовать больше ресурсов?» ®

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.