Процессоры NVIDIA Vera обеспечивают Modal 2-кратное увеличение производительности в песочницах Agentic AI по сравнению с процессорами Intel и AMD.
Modal пришлось внести существенные изменения для перехода на процессоры NVIDIA Vera, поскольку ранее компания полагалась на чипы x86, но этот шаг обеспечил ей 2-кратный прирост
Процессор NVIDIA Vera продолжает менять восприятие рынка процессоров на базе Arm для сценариев использования Agentic AI. Сама Arm подчеркивает преимущества своих AGI-процессоров перед решениями x86, но вариант от NVIDIA, похоже, быстро становится выбором для многих компаний, которые ранее использовали чипы x86.
Modal — одна из таких компаний, которая недавно получила свои первые серверы с процессорами Vera в офисах в Сан-Франциско. До сих пор компания полагалась исключительно на системы x86 с чипами AMD и Intel, поэтому переход на экосистему на базе Arm потребовал изменений в инфраструктуре и системах сборки образов.
Несмотря на кропотливые изменения, Modal считает переход на NVIDIA Vera очень впечатляющим, отмечая 2-кратное увеличение пропускной способности ИИ в песочницах Agentic AI и называя это «невероятно привлекательным вариантом».
В большинстве систем пропускная способность и задержка являются компромиссом.
- Задержка может быть определена как время, прошедшее от начала до конца выполнения задачи.
- Пропускная способность — это количество выполненных задач за единицу времени. Это проверяет способность хост-системы одновременно чередовать процессы и добиваться прогресса по всем ним.
Чем плотнее вы упаковываете задачи, тем выше пропускная способность. Но как только процессор полностью загружен, задержка отдельных задач страдает из-за конкуренции.
Что касается планировщика Modal, нам всегда хочется работать с более высокой плотностью упаковки, чтобы выжать максимум из имеющихся у нас хост-машин и предложить пользователям более высокий абсолютный масштаб. Но так же, как рабочие нагрузки внутри контейнеров бывают пиковыми, абсолютный масштаб контейнеров в нашем кластере также бывает пиковым, что подвергает нас риску чрезмерной упаковки хост-машин.
Для тестирования NVIDIA Vera компания Modal разработала набор репрезентативных рабочих нагрузок и тестов для песочниц agentic. Это включает разработку «Agentless Agent Bench», который содержит коллекцию из 50 решений и верификаторов Oracle Terminal-Bench. Тест показывает как линейное завершение, так и одновременную пропускную способность.
Первые тесты показали заметное улучшение по сравнению с чипами x86, но они проводились без нагрузки, по сути, являясь чистым тестом задержки в прямом направлении.
Под нагрузкой процессор NVIDIA Vera становится совершенно другим зверем. По пропускной способности Vera обеспечил 2-кратное увеличение по сравнению с эквивалентным чипом Intel Xeon «Granite Rapids». Это преимущество обусловлено тем, что, в отличие от процессоров x86, Vera не замедляется по мере накопления заданий, а выполняет каждое из них с первоначальной скоростью.
Результаты говорят сами за себя:
- По сравнению с Intel Xeon: до 2 раз больше пропускной способности задач на ядро.
- По сравнению с AMD EPYC: более чем в 6 раз больше пропускной способности задач при 150 одновременных контейнерах, с 124 логическими процессорами, включенными в каждой системе.
Главная особенность Vera — способность выдерживать конкуренцию. Его высокая пропускная способность памяти позволяет упаковывать значительно больше рабочих нагрузок контейнеров на ядро без троттлинга процессора, что объясняет, почему Vera так далеко опережает альтернативы в наших тестах.
При увеличении количества процессоров альтернативы достигают ранних плато пропускной способности, в то время как Vera продолжает улучшаться, предполагая, что мы могли бы использовать его даже дальше, чем узел, к которому у нас был доступ для тестирования.
Переход Modal на процессоры NVIDIA Vera, несмотря на значительные изменения в инфраструктуре и сборке образов, необходимые для перехода с x86, обеспечил четкий 2-кратный прирост пропускной способности в песочницах Agentic AI.
Под нагрузкой Vera поддерживает высокую производительность без троттлинга, типичного для процессоров Intel и AMD, благодаря высокой пропускной способности памяти и возможности упаковывать больше одновременных рабочих нагрузок на ядро. В результате получается привлекательный вариант на базе Arm, который более эффективно масштабируется для плотных, конкурентных agentic-нагрузок.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Hassan Mujtaba
