Программист под псевдонимом MAAN выпустил проект OpenDLSS-NR для сообщества. Разработка представляет собой открытую реализацию сети DLSS 5 через Vulkan. Главным достижением стала возможность запуска технологии на других видеокартах. Речь идет о картах, отличных от актуальной серии RTX 50.
Проект точно воссоздает структуру из семидесяти одного нейронного блока. Разработчик изучил версию библиотеки DLSS 310.8.0 от NVIDIA. По словам автора, результат совпадает с оригиналом на битовом уровне. Совпадение касается не только финальной картинки, но и промежуточных вычислений. Все семьдесят пять границ внутренних блоков совпадают побайтово с оригиналом.
Сеть построена на архитектуре U-Net с дополнительными компонентами трансформеров. Разработчик использовал оконный трансформер сдвига и глобальный визуальный трансформер. Модель работает с активациями формата FP8 и накоплением в FP16. Общий вес весов модели составляет примерно 141 мегабайт данных.
По результатам тестирования на видеокарте RTX 4070 SUPER получены интересные цифры. При разрешении 768 на 768 время обработки составило всего 2.8 миллисекунды. Для разрешения 1080p показатель вырос до 7.8 миллисекунды обработки кадра. Разрешение 1440p потребовало уже 12.6 миллисекунды на кадр изображения. При максимальном разрешении 4K время обработки достигло 29.3 миллисекунды.
Эти цифры доказывают эффективную работу полной сети DLSS 5 на архитектуре Ada Lovelace. Речь идет о видеокартах предыдущего поколения NVIDIA относительно RTX 50.
Еще более впечатляющим оказался вариант портирования технологии через WebGPU. Такая версия не зависит от тензорных ядер или встроенной поддержки FP8. Технология полностью работает прямо внутри интернет-браузера пользователя. При разрешении 512 на 512 время обработки составило 72 миллисекунды. Это заметно медленнее оригинальной реализации со временем 2.7 миллисекунды на кадр.
Однако результат доказывает возможность отделения нейросети DLSS 5 от оборудования NVIDIA. Технология способна работать даже на видеокартах других производителей чипов.
Проект пока имеет определенные ограничения для потенциальных пользователей технологии. Репозиторий не включает проприетарные веса модели от компании NVIDIA. Пользователям придется самостоятельно предоставлять эти данные для запуска. Разработка также не является готовым модом для установки в игры.
Речь идет о самостоятельной реализации с демонстрационным рендерером на движке Filament. Проект от Google поддерживает векторы движения и временную обратную связь. При этом функция суперразрешения DLSS пока не реализована в проекте.
Для владельцев RTX 40, лишенных официальной поддержки DLSS 5, проект открывает альтернативу. До реального внедрения в игры технологии еще далеко. Однако разработка доказывает независимость ключевой технологии от новейшего поколения оборудования NVIDIA.
