Открытые модели выполняют 90% работы агентов за 1/20 стоимости передовых LLM: Gartner

ии модели Gartner открытый вес Saas агенты theregister.com

Аналитики Gartner прогнозируют, что к 2030 году 90% корпоративных рабочих процессов с использованием агентов будут выполняться на моделях с открытым весом. Основная ценность смещается от самих моделей к инструментам управления агентами (harnesses), которые оптимизируют затраты и контроль.

Компании, ориентированные на получение прибыли и вкладывающие миллиарды в инфраструктуру ИИ, будут бороться за доходы от всего десяти процентов этапов, задействованных в рабочих процессах с использованием агентов ИИ, согласно аналитической фирме Gartner.

«Девять из десяти шагов в рабочих процессах агентов являются рутинными, и модели с открытым весом справляются с ними на паритетных условиях за четверть цены самой дешевой закрытой модели», — написали старший директор фирмы Марк Петти и вице-президент группы Рэймонд Пакет на прошлой неделе в новом документе под названием «Модели с открытым весом будут выполнять 90% корпоративных рабочих процессов с использованием агентов».

«Типичные операционные рабочие процессы включают сотни рутинных операций, таких как классификация, вызов инструментов, передача, проверка и согласование данных», — отмечают авторы, предполагая, что модели с открытым весом «могут выполнять сотни таких рутинных шагов для каждого, который требует передовых рассуждений».

«По сравнению с самой дешевой закрытой моделью при том же показателе, открытая модель стоит в четыре раза дешевле. По сравнению с передовой моделью, работающей на каждом шаге, она стоит в двадцать раз дешевле», — добавляют авторы.

Это лучшие сценарии, поскольку аналитики признают: «Текущие открытые модели могут быть более многословными и чаще повторять попытки, поэтому экономия на задачу по сравнению с передовой моделью составляет скорее пять или шесть раз».

Это все еще приятная экономия, но аналитики оценивают ее как желаемый побочный продукт перехода на открытые модели, а не как самоцель.

«Годы истории рабочих процессов — это большая часть того, за что покупатель платит в SaaS-компании, и каждый рутинный шаг, отправленный на передовой API, выводит его часть за пределы вашего периметра», — пишут авторы. «Открытый вес сохраняет ваш контроль. Экономия затрат — это бонус».

Поэтому два аналитика предлагают следующее предположение для стратегического планирования: «К 2030 году 90% корпоративных операционных рабочих процессов с использованием агентов будут выполняться на моделях с открытым весом».

Они утверждают, что предприятия в основном будут использовать открытые модели, специфичные для домена, поскольку они хорошо работают «в сценариях, где небольшое количество высокостабильных шагов выполняется миллионы раз в месяц».

Однако большинство моделей уже являются товаром. «Harnesses» (инструменты, которые запускают агентов и управляют ими) являются источником ценности в продуктах ИИ, поскольку одна из их ролей заключается в маршрутизации работы к наиболее подходящей модели для данной задачи, без заметного влияния на пользователей. Хороший «harness» экономит деньги, накладывает строгие ограничения и управляет парком агентов. Менее мощные «harnesses» оставляют пользователям больше работы.

В документе предполагается, что передовые модели будут продолжать играть роль в исследованиях и разработках и фактически являются капитальными затратами. Модели с открытым весом становятся операционными расходами после того, как передовые модели выполняют основную работу. ®

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

В тренде:


Похожие новости: