Технология NVIDIA DLSS 5 уже привлекла значительное внимание сообщества моддеров, и разработчик МААН выпустил OpenDLSS-NR — открытую реализацию нейронной сети Neural Rendering этой технологии на Vulkan. Проект воссоздает оригинальную нейронную сеть из 71 блока, присутствующую в версии DLSS-NR runtime/DLL 310.8.0. Разработчик утверждает, что результаты полностью совпадают с реализацией NVIDIA, включая промежуточные выходные данные, а не только финальное изображение.
В отличие от DLSS Super Resolution, которая восстанавливает изображения с более высоким разрешением из входных данных с более низким разрешением, DLSS 5 Neural Rendering работает с уже отрисованным кадром, улучшая его внешний вид с помощью сгенерированных ИИ деталей и корректировок освещения, материалов и черт лица. OpenDLSS-NR воспроизводит этот процесс, используя архитектуру U-Net, сочетающую сдвинутые оконные трансформеры с глобальным Vision Transformer (ViT), FP8 активации, FP16 аккумуляцию и примерно 141 МБ весов модели.
Реализация также включает оптимизированные PTXядра для тензорных ядер NVIDIA, а также вычислительные шейдеры GLSL. МААН поделился предварительными результатами производительности, полученными на RTX 4070 SUPER, показав следующие времена выполнения для полной сети:
Эти цифры представляют собой минимальное время выполнения, зафиксированное на 40 кадрах, а не среднее время кадра. Тем не менее, они демонстрируют, что перереализация может работать на оборудовании Ada Lovelace, в то время как NVIDIA официально поддерживает DLSS 5 на GPU серии GeForce RTX 50, с запланированной официальной поддержкой GPU серии RTX 40 в будущем.
Возможно, еще более интересным является то, что OpenDLSS-NR включает независимую реализацию WebGPU, которая воспроизводит ту же нейронную сеть без использования тензорных ядер NVIDIA или нативной поддержки FP8. Это потенциально открывает возможность запуска технологии на других архитектурах и платформах GPU, хотя производительность остается значительно ниже. МААН сообщает время выполнения 72 мс при разрешении 512 × 512 с реализацией WebGPU по сравнению примерно с 2,7 мс с оптимизированной нативной реализацией.
Однако существуют и важные ограничения. Репозиторий не распространяет проприетарные веса модели NVIDIA, которые пользователи должны предоставлять отдельно. Кроме того, OpenDLSS-NR в настоящее время является самостоятельной реализацией, а не готовым модом для существующих игр. Он включает демонстрационный рендерер на базе движка Filament от Google, с векторами движения и временной обратной связью, но не реализует DLSS Super Resolution.
Тем не менее, проект представляет собой интересную разработку для сообщества моддеров, особенно в свете того, что энтузиасты продолжают экспериментировать с переносом новейших технологий нейронного рендеринга NVIDIA на более старые GPU RTX и альтернативное оборудование.
OpenDLSS-NR доступен на GitHub под лицензией MIT, дополнительная информация и демонстрации доступны в оригинальном посте МААН в X.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Sebastian Castellanos
