CoDA_NeurIPS2023

:book: CoDA：开放词汇3D目标检测的协作式新奇框发现和跨模态对齐 (NeurIPS2023)

🔥请为CoDA点星⭐并分享。谢谢🔥

[论文] [项目页面] 曹阳，曾亦涵，徐航，徐丹 香港科技大学 华为诺亚方舟实验室

:triangular_flag_on_post: 更新

☑ 我们的扩展工作CoDAv2已发布，请在arXiv上查看！

☑ 关于开放词汇感知的最新论文和代码已在这里收集。

☑ 所有代码、数据和预训练模型已发布！

☑ 训练和测试代码已发布。

☑ 预训练模型已发布。

☑ OV设置的SUN-RGBD数据集已发布。

☑ OV设置的ScanNet数据集已发布。

☑ 论文的LaTeX代码可在https://scienhub.com/Yang/CoDA获取。

框架

样本

安装

我们的代码基于PyTorch 1.8.1、torchvision==0.9.1、CUDA 10.1和Python 3.7。它可能适用于其他版本。

请同时安装以下Python依赖：

matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

请通过运行以下命令安装pointnet2层：

cd third_party/pointnet2 && python setup.py install

请安装gIOU的Cython实现，以加快训练速度。

conda install cython
cd utils && python cython_compile.py build_ext --inplace

数据集准备

为实现OV设置，我们重新组织了原始的ScanNet和SUN RGB-D，并采用了更多类别的注释。请直接下载我们在这里提供的OV设置数据集：OV SUN RGB-D和OV ScanNet。

然后对下载的*.tar文件运行：

bash data_preparation.sh

评估

下载预训练模型在这里。然后运行：

bash test_release_models.sh

训练

bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

运行样本

bash run_samples.sh

:scroll: BibTeX

如果CoDA对您有帮助，请引用：

@inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}
@article{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
    journal={arXiv preprint arXiv:2406.00830},
    year={2024}
}