Стоимость инференса в системах искусственного интеллекта (ИИ) вряд ли будет следовать парадоксу Джевонса, согласно которому повышение эффективности использования ресурсов ведёт к росту спроса. В недавнем отчёте аналитическая компания Gartner оспаривает эту теорию, которая в контексте ИИ предполагала бы дальнейшее снижение стоимости токенов, ведущее к росту потребления ИИ и улучшению экономики отрасли. В отчёте Gartner рассматривает парадокс, при котором более эффективная экономика токенов приводит к росту потребления токенов и использованию более дорогих токенов. Авторы отчёта предупреждают ИТ-руководителей, что для прохождения этого парадокса и достижения окупаемости инвестиций (ROI) потребуется «неустанное повышение эффективности инференса и оптимизированная оркестрация моделей». По словам Gartner, ценность токенов переменна, и генерация токенов дорожает по мере усложнения моделей. В отчёте Inference paradox аналитики Gartner отмечают, что по мере усложнения рабочих процессов ИИ потребление токенов растёт в геометрической прогрессии. Авторы отчёта указывают, что предприятиям, создающим многоэтапные рабочие процессы на базе автономных агентов, придётся учитывать необходимость экспоненциально большего потребления токенов, часто от относительно более дорогих моделей, которые также требуют больше памяти, ресурсов для рассуждений и проверки результатов. С точки зрения управления затратами, анализ Gartner показывает, что использование продвинутых ИИ-агентов с возможностями рассуждения обходится в 150 раз дороже, чем использование сопоставимых по размеру базовых ИИ-чат-ботов для одной задачи. В Gartner заявили, что ИИ-агентов нужно обучать тому, как думать и что делать в случае сбоя, отмечая: «Они должны уметь проверять точность своих результатов без обязательного участия человека в цикле. Им нужно взаимодействовать с другими агентами. „Наше моделирование показывает, что при использовании стандартных вычислительных мощностей затраты на оборудование для обучения агентной модели среднего размера с расширенными возможностями рассуждения будут в 2,5 раза выше, чем затраты на обучение простого чат-бота того же размера. Затраты на инференс для агентной модели будут примерно в 5 раз выше. Кроме того, агентной модели потребуется в среднем в 5–30 раз больше токенов, чем чат-боту, для решения аналогичной задачи“». Согласно Gartner, это означает, что задача, которая для простого чат-бота стоила бы $0,01, для ИИ-агента может стоить до $1,50. При рассмотрении различных типов агентных задач ИИ в Gartner обнаружили, что выбор модели существенно влияет на затраты провайдера системы ИИ. «Мы оцениваем, что себестоимость токена для провайдера у моделей, оптимизированных для „планирования и обучения“, в настоящее время примерно в 8–10 раз выше, чем у моделей, лучше всего подходящих для „базовых линейных рабочих процессов“», — заявили авторы отчёта. Уилл Соммер, старший директор-аналитик Gartner, сказал: «Каждое новое поколение возможностей ИИ потребует большего количества токенов, и зачастую более дорогих. На горизонте нет надёжной и экономичной универсальной модели. Чтобы выпускать конкурентоспособные продукты на основе ИИ, необходимо будет создавать и поддерживать сложные мультимодельные экосистемы». Аналитическая компания призвала ИТ-руководителей не прибегать по умолчанию к универсальному автономному интеллекту, предупредив, что это приведёт к неограниченным затратам, на порядки превышающим затраты на оптимизированные продуктовые экосистемы, где люди, отвечающие за развитие возможностей ИИ в своей организации, занимаются распределением инференса по уровням, чтобы оптимизировать модели ИИ под конкретные сценарии использования.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Cliff Saran
