METASTONE, независимый оператор вычислительных мощностей, представил TokenFleet — распределенную систему планирования для инференса больших языковых моделей. Компания анонсировала ее на Национальной конференции по высокопроизводительным вычислениям CCF в 2026 году.
TokenFleet не ускоряет работу отдельных моделей. Вместо этого она решает проблемы на уровне кластера: запросы накапливаются на одних GPU-инстансах, в то время как мощности простаивают в другом месте; задачи обработки длинных документов вытесняют запросы в режиме реального времени; а таймауты или отмены сжигают вычислительные ресурсы без получения полезного ответа. METASTONE определяет цель как повышение эффективного вывода токенов, то есть токенов из успешно завершенных запросов, соответствующих целевым показателям обслуживания.
Фреймворк состоит из трех частей. TokenPilot выбирает инстанс внутри пула моделей. Он взвешивает выгоду от повторного использования кэшированного префикса запроса, что позволяет избежать повторных вычислений префикса, против стоимости ожидания в более длинной очереди на этом инстансе. Он оценивает рабочую нагрузку на основе размера входных данных, бюджета вывода и повторно используемого префикса, а затем оценивает кандидатов, используя глубину очереди, обрабатываемые токены, нагрузку на KV-кэш и прогнозируемую задержку.
FleetMind управляет маршрутизацией между центрами обработки данных. Он отслеживает, какие площадки фактически развернули и подготовили нужную версию модели, а также текущую емкость и сетевые условия, затем отправляет новые запросы на другую площадку только тогда, когда это позволяют разрешения и правила резидентности данных, а сравнение затрат оказывается выгодным.
SLOMax управляет смешанными рабочими нагрузками в одном кластере. Он классифицирует запросы по длине ввода, бюджету вывода, типу задачи и уровню обслуживания клиента, затем принимает и ставит их в очереди в отдельные пулы, чтобы защитить интерактивную емкость от задач с длинным контекстом и пакетных заданий.
Согласно данным из слайдов METASTONE, представленных на конференции, маршрутизация с прогнозируемой задержкой на настроенном развертывании GLM5.3 сократила время до первого токена P95 на 32,4%, а P50 — на 71,3% при протестированном кластере и нагрузке. В отдельной оценке для SLOMax общая пропускная способность вывода увеличилась примерно на 1,5%, а пропускная способность вывода, соответствующего целевым показателям, выросла примерно на 29,4%, поскольку доля запросов, соответствующих целевым показателям обслуживания, увеличилась примерно с 67% до примерно 86%. METASTONE описывает второй набор как прогнозируемый пример и отмечает, что более низкая задержка не всегда напрямую означает более низкую стоимость.
TokenFleet следует за движком инференса *Meta-Infer компании, который фокусируется на эффективности одного инстанса. METASTONE заявляет, что управляет более чем 10 суперкомпьютерными и интеллектуальными вычислительными центрами. Ни одна из цифр не была независимо проверена.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
