Кэш KV для инференса стал настолько большим, что требует собственного хранилища. Huawei OceanStor M900, представленный на Huawei Connect, и CMX Context Memory Storage от Nvidia перемещают повторно используемый кэш KV в отдельный общий уровень. Однако, по данным отраслевых источников, опрошенных Leiphone в отчете от 8 октября, твердотельные накопители, предназначенные для хранения этих данных, по-прежнему не имеют согласованной спецификации. Издание идентифицировало свои источники только по псевдонимам.
Логика заключается в обмене хранилища на вычислительные мощности. Исследователь в области хранения данных сообщил изданию, что повышение частоты попаданий в кэш KV с 90% до 95% сокращает долю данных, которые необходимо пересчитывать, с 10% до 5%, примерно вдвое снижая затраты на вычисления. Проблема в том, что последние несколько процентов частоты попаданий требуют хранения гораздо большего объема исторических данных KV, а срок их полезного использования сильно варьируется: некоторые потребительские приложения очищают его за минуты или часы, в то время как корпоративные рабочие нагрузки, полагающиеся на долгосрочный контекст, получают больше пользы от его сохранения.
Где он будет храниться — второй вопрос. Руководитель ведущего поставщика систем хранения данных заявил, что DRAM была бы очевидным решением, если бы она была дешевой и доступной. Ни то, ни другое не так, что оставляет место для SSD, хотя замена не является эквивалентной. Замена DRAM на емкость SSD обычно происходит в соотношении 1:N, иногда 1:5 или 1:10, в то время как стоимость за единицу емкости может отличаться в десятки раз. Исследователь добавил, что большинству развертываний инференса пока не требуется выделенный прибор для KV, и они сначала будут использовать существующую DRAM, пулы памяти и локальные SSD.
Отсутствие стандарта проявляется в износостойкости. Руководитель сообщил, что в одной из конструкций кэша KV, которую он видел, первоначально требовалось около 3 операций записи на диск в день (DWPD), затем требование было увеличено до 9, и «завтра оно может быть 12, а послезавтра — 5». Кратковременный кэш означает интенсивные перезаписи и высокие требования к износостойкости; данные, хранящиеся неделями, смещают нагрузку на емкость. Учитывая жизненные циклы от минут до недель, большинство покупателей по-прежнему приобретают обычные корпоративные SSD.
Поскольку SSD зависят от масштаба, продуктовой категории требуется общая спецификация. Если каждая крупная интернет-компания определит свой собственный накопитель, поставщики не смогут достичь объемов. Руководитель оценил, что отрасли потребуется от 6 до 12 месяцев для достижения консенсуса, и примерно еще год после этого для разработки, валидации и настройки.
Выгрузка также оставляет другие затраты без изменений. Перемещение данных KV на SSD в основном облегчает нагрузку на DRAM и влияет на время до первого токена больше, чем на давление памяти ускорителя. Основатель компании, производящей ИИ-чипы, заявил, что конструкции «вычисления в памяти» нацелены на другую стоимость, перемещая веса модели и активные данные, и не заменяют массовое хранилище для исторических кэшей KV.
СМОТРИТЕ ТАКЖЕ:Huawei представляет OceanStor M900 Context Memory Storage: общий кэш KV масштаба PB с задержкой NPU-SSD ~60 мкс · Huawei демонстрирует экспериментальную файловую систему XMFS на LPC 2026 для общей памяти между узлами
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
