Nvidia объявила о бета-релизе своего Personal AI Router (PAIR), виртуального маршрутизатора для инференса, который помогает распределять локальные задачи ИИ по сети, предотвращая узкие места в работе с несколькими агентами. Бета-версия PAIR доступна для поддерживаемых систем Windows, macOS и Linux через графический и терминальный интерфейсы.
Nvidia PAIR поддерживается на компьютерах с графическим процессором Nvidia GeForce RTX 20 Series или новее, рабочей станцией Nvidia RTX PRO (архитектура Turing или новее), Nvidia DGX Spark или чипом Apple M4+.
PAIR работает с локальными сервисами инференса Ollama и LM Studio, не требуя от пользователей внесения изменений в агентские оболочки или перепроектирования существующих агентов. Nvidia PAIR действует как виртуальный маршрутизатор, который обнаруживает участвующие системы, отслеживает их готовность, планирует независимые задачи и передает ответы обратно в исходное приложение.
Ключевые особенности инструмента включают:
- Отсутствие нового API: PAIR проксирует совместимые интерфейсы Ollama и LM Studio, вместо того чтобы требовать от каждой агентской оболочки интеграции с новым API кластера.
- Эластичные клиенты: Совместимые системы могут предоставлять вычислительные мощности, когда они доступны, и отключаться при необходимости, например, при выключении или переходе в спящий режим.
- Локальный контроль: PAIR разработан для того, чтобы запросы, данные и трафик инференса оставались в существующей локальной сети пользователя.
Nvidia PAIR автоматически подключает узлы с использованием обнаружения локальной сети mDNS или IP-адресов, а связь защищается с помощью mTLS и сгенерированных сертификатов после получения одобрения пользователя.
Nvidia PAIR способен значительно ускорить выполнение задач. Вот демонстрация, предоставленная компанией:
«При использовании Qwen 3.6 35B A3B на одном ноутбуке NVIDIA RTX Spark выполнение той же рабочей нагрузки из пяти подзадач заняло в среднем 18 минут. В сравнении, кластер PAIR из трех устройств, включающий ноутбук RTX Spark, DGX Spark и RTX 5090, выполнил задачу в среднем за 8 минут и 48 секунд. Обратите внимание, что это неофициальная демонстрация, специфичная для данной конфигурации, а не общий бенчмарк или обещание линейного масштабирования.»
Вот видео этой демонстрации:
Nvidia PAIR является проектом с открытым исходным кодом, поэтому разработчики могут получить его прямо сейчас, чтобы изучать код, сообщать о проблемах и вносить улучшения в обнаружение, сопряжение, маршрутизацию и интеграцию движка. Подробнее и скачать можно здесь.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Paul Hill
