CoDA_NeurIPS2023

:book: CoDA：开放词汇3D目标检测的协作式新奇框发现和跨模态对齐 (NeurIPS2023)

<p align="center"> <small> 🔥请为CoDA点星⭐并分享。谢谢🔥 </small> </p>

[论文]   [项目页面] <br> 曹阳，曾亦涵，徐航，徐丹 <br> 香港科技大学<br> 华为诺亚方舟实验室

:triangular_flag_on_post: 更新

☑ 我们的扩展工作CoDAv2已发布，请在arXiv上查看！

☑ 关于开放词汇感知的最新论文和代码已在这里收集。

☑ 所有代码、数据和预训练模型已发布！

☑ 训练和测试代码已发布。

☑ 预训练模型已发布。

☑ OV设置的SUN-RGBD数据集已发布。

☑ OV设置的ScanNet数据集已发布。

☑ 论文的LaTeX代码可在https://scienhub.com/Yang/CoDA获取。

框架

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6d9dcc0d-a1c3-43fd-970e-cd09bba6ee21.png">

样本

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e8eb70ee-6040-4e5c-ab8a-26cdd9e28e4d.jpg">

安装

我们的代码基于PyTorch 1.8.1、torchvision==0.9.1、CUDA 10.1和Python 3.7。它可能适用于其他版本。

请同时安装以下Python依赖：

matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

请通过运行以下命令安装pointnet2层：

cd third_party/pointnet2 && python setup.py install

请安装gIOU的Cython实现，以加快训练速度。

conda install cython
cd utils && python cython_compile.py build_ext --inplace

数据集准备

为实现OV设置，我们重新组织了原始的ScanNet和SUN RGB-D，并采用了更多类别的注释。请直接下载我们在这里提供的OV设置数据集：OV SUN RGB-D和OV ScanNet。

然后对下载的*.tar文件运行：

bash data_preparation.sh

评估

下载预训练模型在这里。 然后运行：

bash test_release_models.sh

训练

bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

运行样本

bash run_samples.sh

:scroll: BibTeX

如果CoDA对您有帮助，请引用：

@inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}
@article{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
    journal={arXiv preprint arXiv:2406.00830},
    year={2024}
}

:e-mail: 联系

如果您有任何问题或合作需求（研究目的或商业目的），请发邮件至yangcao.cs@gmail.com。

:scroll: 致谢

CoDA受到CLIP和3DETR的启发。我们感谢他们出色的代码。