English | <a href="docs/README_CN.md">简体中文</a> <img src="https://yellow-cdn.veclightyear.com/835a84d5/f3c773b7-56df-47b1-9a7e-3585126ed2ba.png" align="center" width="44%"> <h3 align="center">通过蒸馏视觉基础模型来分割任意点云序列</h3> <a href="https://github.com/youquanl">刘友全</a>1,*    <a href="https://ldkong.com">孔令东</a>1,2,*    <a href="http://cen-jun.com">岑俊</a>3    <a href="https://scholar.google.com/citations?user=Uq2DuzkAAAAJ">陈润楠</a>4    <a href="http://zhangwenwei.cn">张文蔚</a>1,5 <a href="https://scholar.google.com/citations?user=lSDISOcAAAAJ">潘亮</a>5    <a href="http://chenkai.site">陈恺</a>1    <a href="https://liuziwei7.github.io">刘子畏</a>5 1上海人工智能实验室    2新加坡国立大学    3香港科技大学    4香港大学    5南洋理工大学S-Lab <a href="https://arxiv.org/abs/2306.09347" target='_blank'> <img src="https://img.shields.io/badge/论文-%F0%9F%93%83-purple"> </a> <a href="https://ldkong.com/Seal" target='_blank'> <img src="https://img.shields.io/badge/项目-%F0%9F%94%97-violet"> </a> <a href="https://youtu.be/S0q2-nQdwSs" target='_blank'> <img src="https://img.shields.io/badge/演示-%F0%9F%8E%AC-purple"> </a> <a href="" target='_blank'> <img src="https://img.shields.io/badge/中文版-%F0%9F%90%BC-violet"> </a> <a href="" target='_blank'> <img src="https://visitor-badge.laobi.icu/badge?page_id=youquanl.Segment-Any-Point-Cloud&left_color=gray&right_color=purple"> </a>

Seal :seal:

Seal是一个多功能的自监督学习框架，能够通过利用现成的视觉基础模型（VFMs）知识，并在表示学习阶段鼓励这些知识的空间和时间一致性，来分割任何汽车点云。

:sparkles: 亮点

:rocket: 可扩展性： Seal直接将VFMs的知识蒸馏到点云中，在预训练过程中无需2D或3D的注释。
:balance_scale: 一致性： Seal在相机到LiDAR和点到分割阶段都强制执行空间和时间关系，促进跨模态表示学习。
:rainbow: 泛化性： Seal能以现成的方式将知识转移到涉及各种点云的下游任务中，包括真实/合成、低/高分辨率、大/小规模和干净/受损的数据集。

:oncoming_automobile: 2D-3D对应关系

:movie_camera: 视频演示

演示1	演示2	演示3
<img width="100%" src="https://yellow-cdn.veclightyear.com/835a84d5/72a6128e-1dc8-4cf1-9285-d54c27e4d468.jpg">	<img width="100%" src="https://yellow-cdn.veclightyear.com/835a84d5/1c55139c-05dc-48a3-8e5b-987f2784c499.jpg">	<img width="100%" src="https://yellow-cdn.veclightyear.com/835a84d5/90d2b11f-801b-4270-bdd2-00171a6d65ad.jpg">
链接 <sup>:arrow_heading_up:</sup>	链接 <sup>:arrow_heading_up:</sup>	链接 <sup>:arrow_heading_up:</sup>

更新

[2023.12] - 我们正在ICRA 2024上举办The RoboDrive Challenge。:blue_car:
[2023.09] - Seal被选为NeurIPS 2023的:sparkles:聚焦论文:sparkles:。
[2023.09] - Seal被接收到NeurIPS 2023！:tada:
[2023.07] - 我们发布了使用SLIC、SAM和SEEM生成语义超像素和超点的代码。更多VFMs正在开发中！
[2023.06] - 我们的论文已在arXiv上发布，点击这里查看。代码将稍后发布！

安装

请参阅INSTALL.md了解安装详情。

数据准备

nuScenes	SemanticKITTI	Waymo Open	ScribbleKITTI
<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/d98650d8-d076-4b72-bb15-9a97faa4757e.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/ec19007d-e42f-4df0-b6e0-f7aff4e17977.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/00b86c34-ce2f-4243-8795-0f2e7fa4999f.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/d6411504-cf12-485b-bf6b-a5eddcbd4c1b.png">
RELLIS-3D	SemanticPOSS	SemanticSTF	DAPS-3D
<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/f90b77c6-6ed6-4858-a902-cfe3f5f7673b.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/3f724da6-e58d-4fff-9680-9beccb8d77ad.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/b95f7c66-e1e0-4cf9-ac18-04d175a5800e.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/ac988581-6e0a-4bc3-9acd-f352d9c587a0.png">
SynLiDAR	Synth4D	nuScenes-C
<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/5669b8c9-0cce-4334-a627-594703ad2002.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/2a8bdecf-5e87-43a8-b621-214d17d76b5e.png">	<img width="115" src="https://yellow-cdn.veclightyear.com/835a84d5/03596e9f-004d-4fc3-904c-3d0bb39ca10d.png">

请参阅DATA_PREPARE.md了解准备这些数据集的详细信息。

超点生成

原始点云	语义超点	真实标注
<img src="https://yellow-cdn.veclightyear.com/835a84d5/c42a951e-5648-453e-a740-f4d5fec66377.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/48597bac-f6e4-4e44-9e8d-1f2b924c208d.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/973285cb-187c-42bd-ada3-225d03df555c.gif" align="center" width="240">

<img src="https://yellow-cdn.veclightyear.com/835a84d5/5a9ce7a2-a27d-4c08-ae58-0dbf80d8b05e.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/88ad1a3f-1979-4878-9b43-c1e3223815de.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/76e26073-1aa8-4b6b-8301-96da3cb69f12.gif" align="center" width="240">

<img src="https://yellow-cdn.veclightyear.com/835a84d5/7d4bf6c1-e626-42e6-809f-4355a3b6dd3a.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/a83b7973-b713-4ad9-b0d5-c6d078832963.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/95b6c36c-70c1-4832-b7b7-45c16a8c3e28.gif" align="center" width="240">

<img src="https://yellow-cdn.veclightyear.com/835a84d5/2e3024a3-303f-47fd-be1e-dd87a56b5992.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/6b5c48cf-90b0-4a8a-94c6-267458ca0830.gif" align="center" width="240">	<img src="https://yellow-cdn.veclightyear.com/835a84d5/4c042947-5957-4977-920b-4cbd74171e58.gif" align="center" width="240">

请参阅SUPERPOINT.md了解使用视觉基础模型生成语义超像素和超点的详细信息。

入门指南

请参阅GET_STARTED.md了解如何使用此代码库的更多信息。

主要结果

:unicorn: 框架概述

<img src="https://yellow-cdn.veclightyear.com/835a84d5/330f7787-4eb1-43d4-8164-35d81660a8b0.jpg" align="center" width="99%">
Seal :seal: 框架概览。我们为每个时间戳 t 的{LiDAR，相机}对和时间戳 t + n 的另一个 LiDAR 帧生成语义超像素和超点，通过 VFMs 实现。然后形成两个相关目标，包括配对 LiDAR 和相机特征之间的空间对比学习以及不同时间戳段之间的时间一致性正则化。

:car: 余弦相似度

<img src="https://yellow-cdn.veclightyear.com/835a84d5/68096023-1b34-4f7a-9c53-f1da224bc34c.jpg" align="center" width="99%">
在我们的 Seal :seal: 框架中，查询点（红点）与使用 SLIC 和不同 VFMs 学习的特征之间的余弦相似度。从上到下示例中查询的语义类别分别是："汽车"、"人造物"和"卡车"。颜色从紫色到黄色表示低到高的相似度分数。

:blue_car: 基准测试

<table class="center"> <tr> <th rowspan="2">方法</th> <th colspan="6">nuScenes</th> <th colspan="1">KITTI</th> <th colspan="1">Waymo</th> <th colspan="1">Synth4D</th> </tr> <tr> <td>LP</td> <td>1%</td> <td>5%</td> <td>10%</td> <td>25%</td> <td>全部</td> <td>1%</td> <td>1%</td> <td>1%</td> </tr> <tr> <td>随机</td> <td>8.10</td> <td>30.30</td> <td>47.84</td> <td>56.15</td> <td>65.48</td> <td>74.66</td> <td>39.50</td> <td>39.41</td> <td>20.22</td> </tr> <tr> <td>PointContrast</td> <td>21.90</td> <td>32.50</td> <td >-</td> <td>-</td> <td>-</td> <td>-</td> <td>41.10</td> <td>-</td> <td>-</td> </tr> <tr> <td>DepthContrast</td> <td>22.10</td> <td>31.70</td> <td>-</td> <td>-</td> <td>-</td> <td>-</td> <td>41.50</td> <td>-</td> <td>-</td> </tr> <tr> <td>PPKT</td> <td>35.90</td> <td>37.80</td> <td>53.74</td> <td>60.25</td> <td>67.14</td> <td>74.52</td> <td>44.00</td> <td>47.60</td> <td>61.10</td> </tr> <tr> <td>SLidR</td> <td>38.80</td> <td>38.30</td> <td>52.49</td> <td>59.84</td> <td>66.91</td> <td>74.79</td> <td>44.60</td> <td>47.12</td> <td>63.10</td> </tr> <tr> <td>ST-SLidR</td> <td>40.48</td> <td>40.75</td> <td>54.69</td> <td>60.75</td> <td>67.70</td> <td>75.14</td> <td>44.72</td> <td>44.93</td> <td>-</td> </tr> <tr> <td>Seal :seal:</td> <td>44.95</td> <td>45.84</td> <td>55.64</td> <td>62.97</td> <td>68.41</td> <td>75.60</td> <td>46.63</td> <td>49.34</td> <td>64.50</td> </tr> </table>

:bus: 线性探测

<img src="https://yellow-cdn.veclightyear.com/835a84d5/a84162d7-df28-4458-ab10-93fef47598af.gif" align="center" width="99%">
我们的 Seal :seal: 框架在 nuScenes 上预训练（不使用真实标签）并通过冻结骨干网络和线性分类头进行线性探测的定性结果。为突出差异，正确/错误的预测分别以灰色/红色显示。

:articulated_lorry: 下游泛化

<table class="center"> <tr> <th rowspan="2">方法</th> <th colspan="2">ScribbleKITTI</th> <th colspan="2">RELLIS-3D</th> <th colspan="2">SemanticPOSS</th> <th colspan="2">SemanticSTF</th> <th colspan="2">SynLiDAR</th> <th colspan="2">DAPS-3D</th> </tr> <tr> <td>1%</td> <td>10%</td> <td>1%</td> <td>10%</td> <td>半数</td> <td>全部</td> <td>半数</td> <td>全部</td> <td>1%</td> <td>10%</td> <td>半数</td> <td>全部</td> </tr> <tr> <td>随机</td> <td>23.81</td> <td>47.60</td> <td>38.46</td> <td>53.60</td> <td>46.26</td> <td>54.12</td> <td>48.03</td> <td>48.15</td> <td>19.89</td> <td>44.74</td> <td>74.32</td> <td>79.38</td> </tr> <tr> <td>PPKT</td> <td>36.50</td> <td>51.67</td> <td>49.71</td> <td>54.33</td> <td>50.18</td> <td>56.00</td> <td>50.92</td> <td>54.69</td> <td>37.57</td> <td>46.48</td> <td>78.90</td> <td>84.00</td> </tr> <tr> <td>SLidR</td> <td>39.60</td> <td>50.45</td> <td>49.75</td> <td>54.57</td> <td>51.56</td> <td>55.36</td> <td>52.01</td> <td>54.35</td> <td>42.05</td> <td>47.84</td> <td>81.00</td> <td>85.40</td> </tr> <tr> <td>Seal :seal:</td> <td>40.64</td> <td>52.77</td> <td>51.09</td> <td>55.03</td> <td>53.26</td> <td>56.89</td> <td>53.46</td> <td>55.36</td> <td>43.58</td> <td>49.26</td> <td>81.88</td> <td>85.90</td> </tr> </table>

:truck: 鲁棒性测试

初始化	骨干网络	mCE	mRR	雾	湿	雪	运动	光束	交叉	回声	传感器
随机	PolarNet	115.09	76.34	58.23	69.91	64.82	44.60	61.91	40.77	53.64	42.01
随机	CENet	112.79	76.04	67.01	69.87	61.64	58.31	49.97	60.89	53.31	24.78
随机	WaffleIron	106.73	72.78	56.07	73.93	49.59	59.46	65.19	33.12	61.51	44.01
随机	Cylinder3D	105.56	78.08	61.42	71.02	58.40	56.02	64.15	45.36	59.97	43.03
随机	SPVCNN	106.65	74.70	59.01	72.46	41.08	58.36	65.36	36.83	62.29	49.21
随机	MinkUNet	112.20	72.57	62.96	70.65	55.48	51.71	62.01	31.56	59.64	39.41
PPKT	MinkUNet	105.64	76.06	64.01	72.18	59.08	57.17	63.88	36.34	60.59	39.57
SLidR	MinkUNet	106.08	75.99	65.41	72.31	56.01	56.07	62.87	41.94	61.16	38.90
Seal :seal:	MinkUNet	92.63	83.08	72.66	74.31	66.22	66.14	65.96	57.44	59.87	39.85

:tractor: 定性评估

<img src="https://yellow-cdn.veclightyear.com/835a84d5/ce3a0b0f-e406-4fcf-b605-77324f7c7e41.jpg" align="center" width="99%">
Seal :seal: 和先前方法在 nuScenes 上预训练（不使用真实标签）并用 1% 标记数据微调后的定性结果。为突出差异，正确/错误的预测分别用灰色/红色表示。

待办事项

引用

如果您觉得这项工作有帮助，请考虑引用我们的论文：

@inproceedings{liu2023segment,
  title = {通过蒸馏视觉基础模型来分割任意点云序列},
  author = {刘友全 and 孔令东 and 岑骏 and 陈润楠 and 张文伟 and 潘亮 and 陈凯 and 刘子为},
  booktitle = {神经信息处理系统进展},
  year = {2023},
}

@misc{liu2023segment_any_point_cloud,
  title = {分割任意点云代码库},
  author = {刘友全 and 孔令东 and 岑骏 and 陈润楠 and 张文伟 and 潘亮 and 陈凯 and 刘子为},
  howpublished = {\url{https://github.com/youquanl/Segment-Any-Point-Cloud}},
  year = {2023},
}

许可证

<a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/"><img alt="知识共享许可协议" style="border-width:0" src="https://yellow-cdn.veclightyear.com/835a84d5/c4db4d59-04bb-4be3-a9d1-6986aa96107d.png" /></a> 本作品采用<a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/">知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议</a>进行许可。

致谢

本工作基于MMDetection3D代码库开发。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/357e6788-74c1-4f23-8db3-42179f835868.png" width="30%"/> MMDetection3D是一个基于PyTorch的开源目标检测工具箱，面向下一代通用3D检测平台。它是由MMLab开发的OpenMMLab项目的一部分。

本代码库的部分内容改编自SLidR、Segment Anything、X-Decoder、OpenSeeD、Segment Everything Everywhere All at Once、LaserMix和Robo3D。

:heart: 我们感谢上述开源仓库的卓越贡献！