ИИ-агенты используют в 5 раз больше токенов, чем люди, из-за взрывного роста кэшированных промптов, и стремятся к 10-кратному увеличению

ии агенты ии Openrouter Hbm токены память tomshardware.com

ИИ-агенты используют в 5 раз больше токенов, чем люди, на платформе OpenRouter. Узнайте, как это влияет на спрос на память HBM и будущие тенденции.

Генеральный директор Futurum Group Дэниел Ньюман написал в своем посте в X, что «ИИ в настоящее время используется ИИ в 5 раз чаще, чем людьми. Эта цифра ускорится до 10 раз, а затем будет расти и расти». Его данные, основанные на графике Andreessen Horowitz (a16z) с показателями OpenRouter, показывают 7,3 триллиона токенов, используемых агентами, по сравнению с 1,4 триллионами у людей по состоянию на август, через шесть месяцев после того, как использование агентами впервые превысило использование людьми. Но агенты в основном перечитывают то, что они уже видели: более 85% токенов агентов поступают из кэшированных запросов, написали в a16z, ссылаясь на OpenRouter.
OpenRouter — это «ведущая платформа шлюзов и маршрутизации моделей ИИ». На графике от руководителя отдела аналитики Питера Уокера указано «среднее 7-дневное использование токенов на OpenRouter с разбивкой по типам». В нем говорится, что с момента февральского пересечения агенты используют в 14 раз больше токенов, в то время как использование людьми увеличилось в 2,8 раза. График a16z в посте Ньюмана показывает те же данные. OpenRouter сортирует каждый API-ключ по одной из трех категорий: агентивный, смешанный или человеческий, используя «взвешенную составную оценку по 7 сигналам, которая включает такие входные данные, как частота вызовов инструментов, количество поворотов, время задержки и другие».
Смешанная категория, возможно, охватывающая поведение, которое является частично агентивным, а частично человеческим, выросла в 4,7 раза за тот же период, согласно нашим расчетам. В зависимости от того, как распределяется этот трафик, преимущество агентов над людьми может варьироваться. Данные также измеряют объем токенов, а не расходы. Это данные только с одной платформы, и тенденция не является полностью последовательной, с падениями в апреле и июле. Однако использование агентов растет и в других областях. В опросе McKinsey «Состояние ИИ в 2026 году» 40% респондентов из крупных организаций сообщили о масштабировании ИИ-агентов, по сравнению с 27% годом ранее.
Кэшированные токены также составляют почти весь относительный рост использования токенов, написали в a16z. Они стоят гораздо дешевле, чем обработка запроса с нуля, но их все равно приходится хранить в памяти, а a16z, инвестор OpenRouter, связывает это с растущим спросом на память с высокой пропускной способностью (HBM). Модели хранят этот сохраненный контекст в так называемом KV-кэше, и «KV-кэш опережает возможности GPU HBM», согласно нашим сообщениям.
Та же закономерность проявляется в журналах консалтинговой компании колл-центра, которая тестировала DeepSeek на арендованных Nvidia H200. В сентябрьском использовании их агентов в Claude Code «96% всего ввода составляло повторное чтение старых разговоров». В сочетании с данными OpenRouter это предполагает, что количество токенов завышает счет, но аппаратные затраты на память остаются очень реальными.
Эта память уже дефицитна. Micron ожидает, что дефицит оперативной памяти и хранилищ усугубится в 2027 и 2028 годах, при этом клиенты будут платить больше, чем в этом году, в то время как производители памяти ставят HBM для центров обработки данных ИИ на первое место. Если предсказание Ньюмана о том, что 5-кратный рост станет «10-кратным, 20-кратным, 30-кратным», окажется верным, покупатели ПК будут конкурировать за память с еще большим количеством агентов.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: