mvsplat

<p align="center"> <h1 align="center">MVSplat：基于稀疏多视图图像的高效3D高斯散射</h1> <p align="center"> <a href="https://donydchen.github.io/">陈岳东</a> &nbsp;·&nbsp; <a href="https://haofeixu.github.io/">徐浩飞</a> &nbsp;·&nbsp; <a href="https://chuanxiaz.com/">郑传霞</a> &nbsp;·&nbsp; <a href="https://bohanzhuang.github.io/">庄博涵</a> <br> <a href="https://people.inf.ethz.ch/marc.pollefeys/">Marc Pollefeys</a> &nbsp;·&nbsp; <a href="http://www.cvlibs.net/">Andreas Geiger</a> &nbsp;·&nbsp; <a href="https://personal.ntu.edu.sg/astjcham/">Tat-Jen Cham</a> &nbsp;·&nbsp; <a href="https://jianfei-cai.github.io/">蔡剑飞</a> </p> <h3 align="center">ECCV 2024 口头报告</h3> <h3 align="center"><a href="https://arxiv.org/abs/2403.14627">论文</a> | <a href="https://donydchen.github.io/mvsplat/">项目主页</a> | <a href="https://drive.google.com/drive/folders/14_E_5R6ojOWnLSrSVLVEMHnTiKsfddjU">预训练模型</a> </h3> <div align="center"> <a href="https://news.ycombinator.com/item?id=41222655"> <img alt="在Hacker News上被推荐" src="https://hackerbadge.vercel.app/api?id=41222655&type=dark" /> </a> </div> </p>

https://github.com/donydchen/mvsplat/assets/5866866/c5dc5de1-819e-462f-85a2-815e239d8ff2

安装

首先，克隆此项目，使用Python 3.10+创建一个conda虚拟环境，并安装所需依赖：

git clone https://github.com/donydchen/mvsplat.git
cd mvsplat
conda create -n mvsplat python=3.10
conda activate mvsplat
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

获取数据集

RealEstate10K和ACID

我们的MVSplat使用与pixelSplat相同的训练数据集。以下我们引用pixelSplat的详细说明来获取数据集。

pixelSplat使用了RealEstate10k和ACID数据集的版本，这些版本被分割成约100 MB的小块，以便在服务器集群文件系统上使用。你可以在这里找到这种格式的Real Estate 10k和ACID数据集的小型子集。要使用它们，只需将它们解压到项目根目录下新创建的datasets文件夹中。

如果你想将下载的Real Estate 10k和ACID数据集转换为我们的格式，可以使用这里的脚本。如果你需要我们处理过的完整数据集版本（Real Estate 10k约500 GB，ACID约160 GB），请联系我们（pixelSplat）。

DTU（仅用于测试）

• 下载预处理的DTU数据dtu_training.rar。
• 通过运行python src/scripts/convert_dtu.py --input_dir PATH_TO_DTU --output_dir datasets/dtu将DTU转换为小块。
• [可选] 通过运行python src/scripts/generate_dtu_evaluation_index.py --n_contexts=N生成评估索引，其中N是上下文视图的数量。（对于N=2和N=3，我们已经在/assets下提供了我们测试过的版本。）

运行代码

评估

要从预训练模型渲染新视图并计算评估指标，请执行以下操作：

• 获取预训练模型，并将它们保存到/checkpoints

• 运行以下命令：

# re10k
python -m src.main +experiment=re10k \
checkpointing.load=checkpoints/re10k.ckpt \
mode=test \
dataset/view_sampler=evaluation \
test.compute_scores=true

# acid
python -m src.main +experiment=acid \
checkpointing.load=checkpoints/acid.ckpt \
mode=test \
dataset/view_sampler=evaluation \
dataset.view_sampler.index_path=assets/evaluation_index_acid.json \
test.compute_scores=true

• 渲染的新视图将存储在outputs/test下

要从预训练模型渲染视频，请运行以下命令：

# re10k
python -m src.main +experiment=re10k \
checkpointing.load=checkpoints/re10k.ckpt \
mode=test \
dataset/view_sampler=evaluation \
dataset.view_sampler.index_path=assets/evaluation_index_re10k_video.json \
test.save_video=true \
test.save_image=false \
test.compute_scores=false

训练

运行以下命令：

# 从unimatch下载预训练的骨干网络权重并保存到'checkpoints/'目录
wget 'https://s3.eu-central-1.amazonaws.com/avg-projects/unimatch/pretrained/gmdepth-scale1-resumeflowthings-scannet-5d9d7964.pth' -P checkpoints
# 训练mvsplat
python -m src.main +experiment=re10k data_loader.train.batch_size=14

我们的模型使用单个A100 (80GB) GPU进行训练。也可以通过为每个GPU设置较小的data_loader.train.batch_size在多个内存较小的GPU上进行训练。

<details> <summary><b>在多节点上训练 (https://github.com/donydchen/mvsplat/issues/32)</b></summary> 由于该项目是基于pytorch_lightning构建的，因此可以在SLURM集群上的多个节点上进行训练。例如，要在2个节点上训练（每个节点有2个GPU），请在SLURM作业脚本中添加以下行

#SBATCH --nodes=2           # 应与trainer.num_nodes匹配
#SBATCH --gres=gpu:2        # 每个节点的gpu数量
#SBATCH --ntasks-per-node=2

# 可选，用于调试
export NCCL_DEBUG=INFO
export HYDRA_FULL_ERROR=1
# 可选，设置网络接口，通过ifconfig获取
export NCCL_SOCKET_IFNAME=[您的网络接口]
# 可选，设置IB GID索引
export NCCL_IB_GID_INDEX=3

# 使用'srun'运行命令
srun python -m src.main +experiment=re10k \
data_loader.train.batch_size=4 \
trainer.num_nodes=2

参考资料：

• Pytorch Lightning: 在本地集群上运行（高级）
• NCCL: 如何设置NCCL_SOCKET_IFNAME
• NCCL: NCCL WARN NET/IB

</details> <details> <summary><b>从发布的权重进行微调 (https://github.com/donydchen/mvsplat/issues/45)</b></summary> 要从发布的权重进行微调而不加载优化器状态，请运行以下命令：

python -m src.main +experiment=re10k data_loader.train.batch_size=14 \
checkpointing.load=checkpoints/re10k.ckpt \
checkpointing.resume=false

</details>

消融实验

我们还提供了一系列消融模型（在'ablations'文件夹下）。要评估它们，例如'base'模型，请运行以下命令

# 表3：base
python -m src.main +experiment=re10k \
checkpointing.load=checkpoints/ablations/re10k_worefine.ckpt \
mode=test \
dataset/view_sampler=evaluation \
test.compute_scores=true \
wandb.name=abl/re10k_base \
model.encoder.wo_depth_refine=true 

跨数据集泛化

我们使用在RealEstate10K上训练的默认模型进行跨数据集评估。要评估它们，例如在DTU上，请运行以下命令

# 表2：RealEstate10K -> DTU
python -m src.main +experiment=dtu \
checkpointing.load=checkpoints/re10k.ckpt \
mode=test \
dataset/view_sampler=evaluation \
dataset.view_sampler.index_path=assets/evaluation_index_dtu_nctx2.json \
test.compute_scores=true

更多运行命令可以在more_commands.sh中找到。

BibTeX

@article{chen2024mvsplat,
    title   = {MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images},
    author  = {Chen, Yuedong and Xu, Haofei and Zheng, Chuanxia and Zhuang, Bohan and Pollefeys, Marc and Geiger, Andreas and Cham, Tat-Jen and Cai, Jianfei},
    journal = {arXiv preprint arXiv:2403.14627},
    year    = {2024},
}

致谢

该项目主要基于pixelSplat，并融合了大量来自UniMatch的代码片段。非常感谢这两个项目的卓越贡献！