HDR-GS: скоростной синтез HDR-изображений с помощью гауссовой spline-интерполяции

HDR-GS: скоростной синтез HDR-изображений с помощью гауссовой spline-интерполяции. HDR-GS — это метод рендеринга, который использует гауссову сплайн-интерполяцию для создания изображений с расширенным динамическим диапазоном и изображений со стандартным динамическим диапазоном (LDR) с заданным временем экспозиции. HDR-GS превосходит NeRF на 1,91 и 3,84 дБ при рендеринге HDR- и LDR-видов, при этом обеспечивает 1000-кратное увеличение скорости инференса и требует всего 6,3% от времени обучения, которое требуется методу HDR-NeRF. Пайплайн HDR-GS состоит из модели точечного облака DDR, которая использует сферические гармоники для HDR-цвета и 3 MLP для тональной компрессии, параллельной растеризации рендеринга HDR- и LDR-цветов и алгоритма Structure-from-Motion (SfM), который инициирует гауссово облако точек. Тестирование HDR-GS проводилось на датасетах с 4 реальными сценами и 8 синтетическими, созданными в Blender. По результатам тестирования, HDR-GS значительно превзошел NeRF, NeRF-W, HDR-NeRF и 3DGS как по качеству, так и по эффективности. Рекомендаций по требованиям к GPU в репозитории проекта нет, тесты проводились на 1 GPU A5000. Установка и тестовый инференс с предобученными весами сета bathroom: git clone —recursive SET DISTUTILS_USE_SDK=1 cd HDR-GS conda env create —file conda activate hdr_gs python3 —config config/ —eval —gpu_id 0 —syn —load_path output/mlp/bathroom/exp-time/point_cloud/interation_x —test_only Лицензирование: MIT License. Arxiv