Новости: kv cache

Узнайте, как SanDisk и SK hynix создают стандарт High-Bandwidth Flash (HBF), чтобы разгрузить HBM и преодолеть стену памяти. HBF дает до 3 ТБ/с при чтении и 512 ГБ памяти, но уступает по ресурсу записи. Поймите, почему веса моделей переместятся на HBF, KV cache останется в HBM, а контекст станет длиннее без потери точности.

Алгоритм Google TurboQuant, призванный спасти рынок от дефицита памяти, не смог остановить рост спроса. Финансовый директор SK Hynix утверждает, что оптимизация лишь усугубляет ситуацию, поскольку ИИ-компании стремятся обрабатывать больше контекста на единицу памяти. — wccftech.com