murf

<p align="center"> <h1 align="center">MuRF：多基线辐射场</h1> <p align="center"> <a href="https://haofeixu.github.io/">徐浩飞</a> · <a href="https://apchenstu.github.io/">陈安培</a> · <a href="https://donydchen.github.io/">陈岳东</a> · <a href="https://people.ee.ethz.ch/~csakarid/">Christos Sakaridis</a> · <a href="https://yulunzhang.com/">张玉伦</a> <br> <a href="https://people.inf.ethz.ch/marc.pollefeys/">Marc Pollefeys</a> · <a href="http://www.cvlibs.net/">Andreas Geiger</a> · <a href="https://www.yf.io/">余宇</a> </p> <h3 align="center">CVPR 2024</h3> <h3 align="center"><a href="https://arxiv.org/abs/2312.04565">论文</a> | <a href="https://haofeixu.github.io/murf/">项目主页</a> </h3> <div align="center"></div> </p> <div align="center"> <video src="https://github.com/autonomousvision/murf/assets/19343475/462c9784-aba8-4ceb-bda0-5f9cbcceba6d"/> </div> <p align="center"> MuRF支持多种不同的基线设置。 </p> <p align="center"> <a href=""> <img src="https://yellow-cdn.veclightyear.com/835a84d5/322a9112-7bf5-4cd0-acc1-796fa74f280a.png" alt="Logo" width="100%"> </a> </p> <p align="center"> MuRF在各种评估设置下均达到了最先进的性能。 </p>

安装

我们的代码基于PyTorch 1.10.1、CUDA 11.3和Python 3.8开发。

我们建议使用conda进行安装：

conda create -n murf python=3.8
conda activate murf
pip install -r requirements.txt

模型库

模型托管在Hugging Face 🤗 上：https://huggingface.co/haofeixu/murf

模型详情可在MODEL_ZOO.md中找到。

数据集

用于训练和评估我们模型的数据集详情在DATASETS.md中。

评估

用于重现我们论文中数据的评估脚本详见scripts/*_evaluate.sh。

渲染

渲染脚本详见scripts/*_render.sh。

训练

训练脚本详见scripts/*_train.sh。

引用

@inproceedings{xu2024murf,
      title={MuRF: Multi-Baseline Radiance Fields},
      author={Xu, Haofei and Chen, Anpei and Chen, Yuedong and Sakaridis, Christos and Zhang, Yulun and Pollefeys, Marc and Geiger, Andreas and Yu, Fisher},
      booktitle={CVPR},
      year={2024}
    }

致谢

本仓库主要基于MatchNeRF，感谢陈岳东的出色工作。本项目还借鉴了其他几个仓库的代码：GMFlow、UniMatch、latent-diffusion、MVSNeRF、IBRNet、ENeRF和cross_attention_renderer。我们感谢原作者们的杰出工作。