Команда архитектуры движка Xiaohongshu представила HELMSMAN на конференции OSDI 2026, одной из ведущих конференций по системам. Система представляет собой экономичную высокопроизводительную систему приближенного поиска ближайших соседей для векторов, предназначенную для массивов NVMe SSD на флеш-памяти. Она заменяет предыдущую инфраструктуру Xiaohongshu, включавшую около 35 000 ядер CPU и 350 ТБ DRAM, примерно на 40 серверов на флеш-памяти, обеспечивая снижение затрат на оборудование более чем на 90% при сохранении задержки на уровне миллисекунд для поисковых, рекомендательных и рекламных сервисов компании, которые обрабатывают сотни миллиардов многомерных векторов при миллионах запросов в секунду.
Ключевая идея заключается в том, что кластеризованная ANNS, а не графовая ANNS, является правильной архитектурой для современных высокоскоростных массивов SSD. Графовые системы DRAM-SSD, такие как DiskANN, страдают от последовательной зависимости ввода-вывода, когда каждое чтение с SSD определяет следующего соседа для посещения, что делает невозможным насыщение пропускной способности SSD. Кластеризованные системы пакетно считывают кластеры векторов-кандидатов параллельно, что естественным образом соответствует параллельным возможностям ввода-вывода SSD. Однако традиционные кластеризованные системы SPANN сталкивались с тремя производственными барьерами: недостаточной пропускной способностью из-за накладных расходов стека ввода-вывода Linux, неадаптивными стратегиями поиска, которые либо сканировали слишком много, либо слишком мало в зависимости от сложности запроса, и медленным построением индекса на одном узле на основе CPU, которое не могло масштабироваться до сотен миллиардов векторов.
HELMSMAN решает эти барьеры с помощью трех инноваций: настроенного для ANNS стека хранения, который обходит традиционные пути ввода-вывода Linux для прямого управления очередями NVMe в пространстве пользователя, снижая программные накладные расходы, которые ранее составляли до 58% сквозной задержки; иерархического механизма обрезки поиска на основе обучения, который адаптивно предсказывает оптимальное количество кластеров для сканирования на каждый запрос, исходя из сложности запроса, размера top-k и распределения расстояний до центроидов; а также конвейера распределенного построения с ускорением на GPU, который позволяет перестраивать индексы миллиардного масштаба за часы, успевая за обновлениями моделей эмбеддингов с минутной периодичностью в системах рекомендаций и рекламы.
Результаты в производственной среде демонстрируют эффективность системы. HELMSMAN обеспечивает улучшение пропускной способности в 2-16 раз по сравнению с существующими системами DRAM-SSD, включая DiskANN и SPANN, достигая до 85% пропускной способности чисто оперативной памяти при соблюдении соглашений об уровне обслуживания (SLA) по средней и хвостовой задержке на уровне миллисекунд. Возможность перестраивать индексы масштаба 10 миллиардов за часы делает HELMSMAN практичным для производственных сред, где модели эмбеддингов и векторные данные обновляются с высокой частотой. Развертывание в Xiaohongshu охватывает несколько бизнес-направлений, включая поиск, рекомендации, рекламу, безопасность контента и конвейеры RAG.
Последствия для стоимости и масштабируемости выходят за рамки Xiaohongshu. Инфраструктура векторного поиска является одним из самых быстрорастущих центров затрат для интернет-платформ, поскольку поиск на основе эмбеддингов становится повсеместным в поиске, рекомендациях и функциях на базе ИИ. Зависимость от DRAM была структурным фактором затрат, при этом масштабы векторов удваиваются год от года. HELMSMAN демонстрирует, что высокопроизводительная ANNS на серийных флеш-накопителях является жизнеспособной для производства даже в самых чувствительных к задержкам сценариях онлайн-обслуживания, что потенциально может изменить экономику инфраструктуры для всей отрасли. Исследование также поднимает вопросы о том, могут ли другие компоненты AI-инфраструктуры, ограниченные памятью, аналогичным образом выиграть от совместного проектирования стека хранения, а не от грубого расширения DRAM.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
