Фреймворк Lyra 2.0, разработанный лабораторией пространственного интеллекта NVIDIA, позволяет создавать исследуемые трёхмерные среды по одному статичному изображению. Пользователь задаёт траекторию виртуальной камеры, после чего система последовательно генерирует видео с новыми ракурсами и восстанавливает по нему 3D-сцену. В демонстрации, опубликованной вместе с исследованием, показано окружение протяжённостью около 90 метров.
Результат можно преобразовать в 3D-гауссовы сплатты — набор объёмных примитивов для визуализации сцены — или полигональную сетку. Такие модели подходят для интерактивного просмотра, рендеринга и использования в симуляторах.
В Lyra 2.0 разработчики сосредоточились на двух проблемах генерации длинных последовательностей. Первая — «пространственное забывание»: когда камера возвращается в уже показанную область, видеомодель может воспроизвести её с изменённой геометрией. Вторая — «временной дрейф»: небольшие ошибки постепенно накапливаются при генерации новых кадров и приводят к искажению внешнего вида и структуры окружения.
Для борьбы с этими эффектами NVIDIA использует пространственную память на основе 3D-геометрии. Она помогает находить кадры, наиболее близкие к текущему ракурсу, и передавать модели соответствующую информацию о ранее исследованных участках. Отдельный механизм обучения знакомит модель с её собственными ранее сгенерированными искажениями, чтобы она училась исправлять их, а не усиливать при дальнейшем продолжении последовательности.
Авторы также подготовили облегчённую версию модели с помощью дистилляции. Она сокращает число шагов удаления шума с 35 до четырёх. Согласно исследовательской работе, на одном ускорителе NVIDIA GB200 генерация 80-кадрового сегмента занимает около 194 секунд у полной модели и примерно 15 секунд у облегчённой. Это соответствует ускорению приблизительно в 13 раз. Время включает оценку глубины, поиск данных в пространственной памяти и саму генерацию видео.
Ускорение сопровождается компромиссом: авторы отмечают, что облегчённая версия сохраняет сопоставимое качество отдельных кадров, но несколько уступает полной модели в управлении положением камеры. Кроме того, 15 секунд на 80 кадров — это время генерации, а не показатель работы в реальном времени. В реальном времени можно визуализировать уже восстановленную 3D-сцену.
Одно из предполагаемых направлений применения Lyra 2.0 — робототехническое моделирование. Полученные 3D-среды можно экспортировать в NVIDIA Isaac Sim и использовать для симуляции навигации и взаимодействия роботов с окружением. Это позволяет создавать виртуальные сценарии для разработки и проверки алгоритмов без необходимости каждый раз воспроизводить соответствующую обстановку в физическом мире.
У технологии пока есть ограничения. В исследовательской работе прямо указано, что текущая версия ориентирована на статичные окружения и не моделирует динамические сцены. Авторы также отмечают, что различия в экспозиции исходных изображений могут переноситься в сгенерированные материалы и вызывать артефакты при восстановлении 3D-модели.
Исходный код Lyra 2.0 опубликован на GitHub под лицензией Apache 2.0, а веса модели размещены на Hugging Face. Однако для весов действует отдельная лицензия NVIDIA Internal Scientific Research and Development Model License: она ограничивает распространение модели и её производных, развёртывание и использование в производственной среде, а также создание материалов для продажи или распространения. Поэтому доступность кода и весов не означает, что модель можно свободно использовать в коммерческих проектах.
Источники: