Microsoft анонсировала новую функцию Windows 11, которая может значительно расширить возможности локальных вычислений с использованием ИИ, позволяя объединять ресурсы памяти и графических процессоров нескольких ПК через обычные USB4-соединения. Технология под названием RDMA over USB4 позволяет запускать массивные модели ИИ, которые в противном случае превысили бы объем памяти одной системы, без необходимости использования специализированного сетевого оборудования.
Согласно официальному анонсу Microsoft, ранние испытания продемонстрировали впечатляющие результаты, включая существенное снижение задержек связи и успешное выполнение моделей ИИ, содержащих до 235 миллиардов параметров.

RDMA Over USB4 от Microsoft обеспечивает снижение задержки связи до 4 раз, AMD и Intel демонстрируют массивные локальные модели ИИ
Технология основана на Remote Direct Memory Access (RDMA), которая позволяет данным перемещаться напрямую между памятью подключенных систем, минуя большую часть обычного сетевого стека. Традиционно используемая в высокопроизводительных серверах и центрах обработки данных, RDMA значительно снижает накладные расходы на связь и задержки.
Microsoft внедряет эти возможности в потребительские ПК с Windows через USB4, используя существующий интерфейс NetworkDirect и новый программный провайдер RDMA. Совместимые системы могут обмениваться данными напрямую через USB4 или поддерживаемые соединения Thunderbolt, без выделенных сетевых адаптеров RDMA или сетевых коммутаторов.
По измерениям Microsoft, RDMA over USB4 достигла времени отклика около 28–50 микросекунд для небольших сообщений, что примерно в 4 раза меньше по сравнению с обычным Ethernet-over-USB4 с использованием UDP. Задержка оставалась столь же низкой как при соединениях 40 Гбит/с, так и 80 Гбит/с, хотя последние обеспечивают удвоенную номинальную пропускную способность.
Преимущества становятся особенно очевидными при распределении больших нагрузок инференса ИИ между несколькими ПК.

Совместно с AMD Microsoft продемонстрировала три мини-ПК, оснащенных процессорами Ryzen AI Max+ 395, графикой Radeon 8060S и 128 ГБ унифицированной памяти каждый. Подключенные через полносвязную конфигурацию USB4 40 Гбит/с, системы успешно запустили модель Qwen3-235B-A22B с 235 миллиардами параметров со скоростью примерно 18,5 токенов в секунду при 4-битной квантизации.
Отдельные измерения AMD показали еще лучшие результаты, достигнув 21,98 токенов в секунду при декодировании и 117,98 токенов в секунду при обработке запросов.
Intel также продемонстрировала технологию, используя три и четыре ПК на базе процессоров Core Ultra Series 3, каждый из которых оснащен 64 ГБ памяти и подключением Thunderbolt 4. Запуская модель GPT-OSS-120B, Intel зафиксировала примерно 49,4 токенов в секунду на трех ПК, увеличив до 54,2 токенов в секунду на четырех системах при длине контекста 1000 токенов.
Эти показатели особенно примечательны, поскольку модель с 120 миллиардами параметров не помещается в память одной системы с 64 ГБ.

RDMA Over USB4 появится в сборках Windows Insider, но есть важные ограничения
Несмотря на многообещающие результаты, новая технология Microsoft остается экспериментальной и требует специфических аппаратных и программных конфигураций.
Участвующие ПК должны иметь USB4-соединения, управляемые Windows, предпочтительно работающие на скорости 40 Гбит/с или выше. Microsoft также рекомендует полносвязную топологию, что означает прямое подключение каждого ПК к каждой другой системе, а не использование последовательного подключения, которое может существенно снизить производительность.

Кроме того, приложения должны явно поддерживать распределенное выполнение через совместимые фреймворки. Microsoft уже опубликовала провайдер NetworkDirect с открытым исходным кодом и модифицированную реализацию llama.cpp, демонстрирующую технологию.
Ожидается, что RDMA over USB4 появится в предстоящем сборке Windows Insider Experimental Channel (Future Platforms), хотя Microsoft не объявила конкретную дату выпуска.

Предварительная версия для разработчиков будет отключена по умолчанию и потребует настройки реестра и тестовой подписи, последняя временно потребует отключения Secure Boot. В связи с этим Microsoft рекомендует проводить тестирование на выделенных машинах для разработки, а не на обычных ПК.
Хотя более широкая доступность в Windows остается неопределенной, технология в конечном итоге может сделать мощный локальный инференс ИИ значительно более доступным, позволяя разработчикам распределять рабочие нагрузки между существующими ПК вместо инвестирования в дорогие выделенные ИИ-серверы.
Источник новости: Microsoft
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Sebastian Castellanos