Boomi надеется предоставить ИТ-руководителям большую прозрачность в отношении расходов на токены, чего не хватает во всей отрасли. Компания разрабатывает инструмент под названием Boomi Prompt, который действует как промежуточное ПО между корпоративными приложениями и большими языковыми моделями, а также агентами искусственного интеллекта (ИИ), которым требуется доступ к этим системам для выполнения задачи от имени пользователя-человека. По мере того как использование искусственного интеллекта и агентов ИИ начинает набирать обороты, поставщики больших языковых моделей (LLM) и инструментов ИИ переходят от лицензирования программного обеспечения по подписке или модели «программное обеспечение как услуга» (SaaS) к ценообразованию, основанному на затратах, связанных с выводом ИИ, измеряемым в токенах. Токен — это наименьшая единица информации, которую принимает ИИ-движок или LLM в качестве входных данных, например, слово в предложении. Чем больше объем токенов, отправляемых в LLM, тем выше использование токенов, что эквивалентно большим вычислительным ресурсам, необходимым поставщику. Эта стоимость и есть стоимость токена, которую организация платит за отправку запроса в инструмент ИИ. Если запрос отправляется непрерывно, стоимость токена оплачивается снова и снова, даже если у организации уже есть ответ. Boomi стремится кэшировать такие повторяющиеся ответы, чтобы избежать ненужных трат организаций на токены, когда ответ уже известен. По словам Boomi, инструмент Prompt также способен определить, какая LLM наименее затратна для ответа на вопрос пользователя или агента ИИ. Выступая на Boomi World Tour в Лондоне, генеральный директор компании, Стив Лукас, заявил, что компания выпустит инструмент под названием Prompt позднее в этом году, который «обеспечивает уровень» между ИИ-движком и любой серверной системой. Агент может попытаться найти информацию, хранящуюся в системе SAP или Oracle, используя интерфейс прикладного программирования (API), или может вызвать LLM. Когда агенту поручают выполнить задачу, он сказал: «Если он запрашивает данные из системы SAP и системы Oracle, а ответ на запрос кэширован в нашем уровне Prompt, мы предоставим этот кэшированный ответ». Это экономит затраты, связанные с постоянным использованием API для доступа к готовому корпоративному программному обеспечению, где может возникнуть косвенная плата за доступ, связанная с этим API. Лукас отметил, что новый инструмент Boomi также способен понять, когда запрос, отправленный пользователем или агентом, может быть перенаправлен на стандартный SQL-запрос, например, поиск Google, вместо того чтобы «сжигать токены». Однако он добавил: «Если этот запрос имеет ценность, мы направим его в модель ИИ, и выбранная нами модель будет зависеть от оцененной сложности этого ответа». В качестве примера такого запроса он привел вопрос о прогнозировании расходов в двух системах. «У нас есть Nemotron от Nvidia, который в этом гипотетическом сценарии фактически бесплатен для моего бизнеса», — сказал Лукас. «Мы направим запрос туда»». По словам Лукаса, маршрутизация запросов — это сложная, но крайне необходимая возможность для предприятия, которая, по его словам, на сегодняшний день совершенно не обслуживается. «Не существует никакого изощренного стандарта маршрутизации запросов для предприятия», — заявил Лукас. Хотя Perplexity и предлагает маршрутизацию запросов, по словам генерального директора Boomi, она не ориентирована на корпоративный сектор. Он отметил, что подход Boomi нацелен на большее. «Работа, которую мы проделываем, имеет много уровней, и сокращение числа токенов и оптимизация — это один из этих уровней», — сказал Лукас. «Маршрутизация запросов позволит компаниям массово сократить расходы на токены. Наша цель проектирования — достичь сокращения расходов на токены в корпоративном секторе более чем на 50%».”
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Cliff Saran
