<p align="center"> <h1 align="center">ObjectSDF++：改进的物体组合式神经隐式表面</h1> <p align="center"> <a href="http://qianyiwu.github.io/">吴千翼</a> · <a href="https://scholar.google.com/citations?user=2Pedf3EAAAAJ">王凯思远</a> · <a href="https://likojack.github.io/kejieli/#/home">李可杰</a> · <a href="https://scholar.google.com/citations?user=sGCf2k0AAAAJ">郑建民</a> · <a href="https://jianfei-cai.github.io/">蔡剑飞</a> </p> <h3 align="center">ICCV 2023</h3> <h3 align="center"><a href="http://arxiv.org/abs/2308.07868">论文</a> | <a href="https://qianyiwu.github.io/objectsdf++">项目页面</a></h3> <div align="center"></div> </p> <p align="center"> <a href=""> <img src="https://yellow-cdn.veclightyear.com/835a84d5/44b7d785-735e-41cc-ad43-48e325343f08.gif" alt="Logo" width="95%"> </a> </p> <p align="center"> <strong>简要概述：</strong> 我们提出了一种考虑遮挡的不透明度渲染公式，以更好地利用实例掩码监督。结合物体区分正则化项，所提出的ObjectSDF++在场景和物体层面都产生了更精确的表面重建。 </p> <br>

配置

安装

此代码已在Ubuntu 22.02环境下使用torch 2.0和CUDA 11.7在RTX 3090上进行测试。克隆仓库并创建名为objsdf的Anaconda环境

git clone https://github.com/QianyiWu/objectsdf_plus.git
cd objectsdf_plus

conda create -y -n objsdf python=3.9
conda activate object

pip install -r requirements.txt

运行代码时，哈希编码器将即时编译。

数据集

要下载预处理后的数据，请运行以下脚本。Replica和ScanNet的数据改编自MonoSDF和vMAP。

bash scripts/download_dataset.sh

训练

运行以下命令来训练ObjectSDF++：

cd ./code
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf CONFIG  --scan_id SCAN_ID

其中CONFIG是code/confs中的配置文件，SCAN_ID是要重建的场景ID。

我们提供了训练Replica数据集的示例命令如下：

# Replica 扫描1（room0）
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/replica_objsdfplus.conf --scan_id 1

# ScanNet 扫描1（scene_0050_00）
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/scannet_objsdfplus.conf --scan_id 1

中间结果和检查点将保存在exps文件夹中。

评估

Replica

评估单个场景（以扫描1 room0为例）

cd replica_eval
python evaluate_single_scene.py --input_mesh replica_scan1_mesh.ply --scan_id 1 --output_dir replica_scan1

我们还提供了评估所有Replica场景和物体的脚本：

cd replica_eval
python evaluate.py  # 场景级评估
python evaluate_3D_obj.py   # 物体级评估

请查看脚本了解更多详情。要获取物体真实值，您可以参考此处了解更多详情。

ScanNet

cd scannet_eval
python evaluate.py

请查看脚本了解更多详情。

致谢

本项目基于MonoSDF构建。单目深度和法线图像由Omnidata获得。物体重建的评估受vMAP启发。多分辨率哈希编码的CUDA实现主要基于torch-ngp。感谢这些研究人员的工作。

引用

如果您发现我们的代码或论文有用，请引用ObjectSDF系列工作。

@inproceedings{wu2022object,
  title      = {Object-compositional neural implicit surfaces},
  author     = {Wu, Qianyi and Liu, Xian and Chen, Yuedong and Li, Kejie and Zheng, Chuanxia and Cai, Jianfei and Zheng, Jianmin},
  booktitle  = {European Conference on Computer Vision},
  year       = {2022},
}

@inproceedings{wu2023objsdfplus,
  author    = {Wu, Qianyi and Wang, Kaisiyuan and Li, Kejie and Zheng, Jianmin and Cai, Jianfei},
  title     = {ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces},
  booktitle = {ICCV},
  year      = {2023},
}