目录

1. 特性
2. 数据集
3. 安装
4. 数据准备
5. 训练和测试
6. 快速演示
7. 可视化
8. 致谢
9. 联系方式

ISBNet：一种基于实例感知采样和框感知动态卷积的3D点云实例分割网络

<a href="https://arxiv.org/abs/2303.00246"><img src="https://img.shields.io/badge/https%3A%2F%2Farxiv.org%2Fabs%2F2303.00246-arxiv-brightgreen"></a>

Tuan Duc Ngo, Binh-Son Hua, Khoi Nguyen<br> 越南VinAI研究院

摘要: 现有的3D实例分割方法主要采用自下而上的设计：先使用手动微调的算法将点分组成簇，然后通过细化网络进行处理。这些方法依赖于簇的质量，在以下情况下容易产生不稳定的结果：(1)同一语义类的相邻物体紧密排列，或(2)形状复杂的大型物体。为解决这些缺点，我们提出了ISBNet，这是一种新颖的无簇方法，它将实例表示为核并通过动态卷积解码实例掩码。为了高效生成高召回率和具有判别性的核集，我们提出了一种简单的策略，称为实例感知最远点采样，用于采样候选点并利用PointNet++中采用的点聚合层来编码候选特征。此外，我们表明，在多任务学习设置中训练3D实例分割，并添加轴对齐边界框预测头，可以进一步提升性能。我们的方法在ScanNetV2（55.9）、S3DIS（60.8）和STPLS3D（49.2）数据集上创造了新的AP最佳结果，同时保持了快速的推理时间（在ScanNetV2上每个场景237毫秒）。

模型架构和实验结果的详细信息可以在我们的论文中找到：

@inproceedings{ngo2023isbnet,
 author={Tuan Duc Ngo, Binh-Son Hua, Khoi Nguyen},
 booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
 title={ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution},
 year= {2023}
}

每当使用此代码库产生发表结果或将其整合到其他软件中时，请引用我们的论文。

特点 :mega:

• 在ScanNetV2、S3DIS和STPLS3D数据集上达到最先进的性能。
• 在ScanNetV2数据集上每次扫描仅需237毫秒的高速处理。
• 提供ScanNetV2、S3DIS和STPLS3D数据集的可复现代码。

数据集 :floppy_disk:

• ScanNetV2
• ScanNetV2-200
• S3DIS
• STPLS3D

安装 :memo:

请参考安装指南。

数据准备 :hammer:

请参考数据准备。

训练和测试 :train2:

请参考训练指南。

快速演示 :fire:

ScanNetv2

数据集	AP	AP_50	配置	检查点
ScanNet 测试集	55.9	76.3
ScanNet 验证集（论文）	54.5	73.1
ScanNet 验证集	56.8	73.3	配置	检查点
ScanNet 验证集（轻量级）	50.1	68.9	配置	检查点

ScanNetv2-200

数据集	AP	AP_50	配置	检查点
ScanNet200 验证集	24.5	32.7	配置	检查点

S3DIS

数据集	AP	AP_50	配置	检查点
Area 5	56.3	67.5	配置	检查点

STPLS3D

数据集	AP	AP_50	配置	检查点
STPLS3D 验证集	51.2	66.7	配置	检查点

使用预训练模型进行评估：

python3 tools/test.py <配置文件路径> <预训练权重路径>

可视化 :computer:

请参阅可视化指南。 我们在这里提供了我们方法的定性结果。

致谢 :clap:

本仓库基于SpConv、DyCo3D、SSTNet和SoftGroup构建。

联系方式 :email:

如果您对本仓库有任何问题或建议，请随时联系我（ductuan.ngo99@gmail.com）。