LaserMix

<br /> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/c57db414-8346-4919-8159-d1699f424c30.png" align="center" width="30%"> <h3 align="center"><strong>LaserMix：用于半监督激光雷达语义分割的方法</strong></h3> <p align="center"> <a href="https://scholar.google.com/citations?user=-j1j7TkAAAAJ" target='_blank'>孔令栋</a>，&nbsp; <a href="https://scholar.google.com/citations?user=YUKPVCoAAAAJ" target='_blank'>任嘉伟</a>，&nbsp; <a href="https://scholar.google.com/citations?user=lSDISOcAAAAJ" target='_blank'>潘亮</a>，&nbsp; <a href="https://scholar.google.com/citations?user=lc45xlcAAAAJ" target='_blank'>刘子伟</a> <br> 南洋理工大学 S-Lab </p> </p> <p align="center"> <a href="https://arxiv.org/abs/2207.00026" target='_blank'> <img src="https://img.shields.io/badge/论文-%F0%9F%93%83-yellow"> </a> <a href="https://ldkong.com/LaserMix" target='_blank'> <img src="https://img.shields.io/badge/项目-%F0%9F%94%97-lightblue"> </a> <a href="https://youtu.be/Xkwa5-dT0g4" target='_blank'> <img src="https://img.shields.io/badge/演示-%F0%9F%8E%AC-yellow"> </a> <a href="" target='_blank'> <img src="https://img.shields.io/badge/海报-%F0%9F%93%83-lightblue"> </a> <a href="https://zhuanlan.zhihu.com/p/528689803" target='_blank'> <img src="https://img.shields.io/badge/中译版-%F0%9F%90%BC-yellow"> </a> <a href="" target='_blank'> <img src="https://visitor-badge.laobi.icu/badge?page_id=ldkong1205.LaserMix&left_color=gray&right_color=lightblue"> </a> </p>

简介

<strong>LaserMix</strong>是一个为激光雷达语义分割设计的半监督学习（SSL）框架。它利用驾驶场景的强<strong>空间先验</strong>，通过<strong>激光束混合</strong>构建<strong>低变化区域</strong>，并鼓励分割模型在混合前后做出<strong>自信</strong>和<strong>一致</strong>的预测。

<br> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ea2a1ad0-f1fd-4ba9-b46b-abc02dc34902.png" align="center" width="50%"> <br> 图. 基于倾角&phi;的激光束分区示意图。 </p> <br>

访问我们的<a href="https://ldkong.com/LaserMix" target='_blank'>项目页面</a>了解更多详情。:red_car:

更新

• [2024.05] - 我们改进的框架 LaserMix++ :rocket: 已在 arXiv 上发布。
• [2024.01] - 为 RoboDrive 挑战赛 定制的工具包已经发布。:hammer_and_wrench:
• [2023.12] - 我们正在 ICRA 2024 上举办 RoboDrive 挑战赛。:blue_car:
• [2023.12] - 推出 FRNet，这是一个高效且有效的实时 LiDAR 分割模型，在 SemanticKITTI 和 nuScenes 上取得了promising的半监督学习结果。代码和检查点可供下载。
• [2023.03] - 想测试你的 LiDAR 语义分割模型的鲁棒性吗？查看我们最新的工作 :robot: Robo3D，这是一个综合套件，能够在我们新建立的数据集 SemanticKITTI-C、nuScenes-C 和 WOD-C 上评估 3D 分割器的分布外鲁棒性。
• [2023.03] - LaserMix 被选为 CVPR 2023 的 :sparkles: 亮点论文 :sparkles:（被接收论文的前 10%）。
• [2023.02] - LaserMix 被 CVPR 2023 接收！:tada:
• [2023.02] - LaserMix 已集成到 MMDetection3D 代码库中！查看 dev-1.x 分支中的这个 PR 了解更多详情。:beers:
• [2023.01] - 根据建议，我们将在半监督 LiDAR 语义分割基准中建立一个序列轨道，考虑 LiDAR 数据收集的本质。结果将逐步更新在 RESULT.md 中。
• [2022.12] - 我们支持更广泛的 LiDAR 分割骨干网络，包括 RangeNet++、SalsaNext、FIDNet、CENet、MinkowskiUNet、Cylinder3D 和 SPVCNN，支持全监督和半监督设置。检查点将很快提供！
• [2022.12] - 基于空间先验的 SSL 推导可在此处获得。快来看看！:memo:
• [2022.08] - 根据 Paper-with-Code，LaserMix 在 nuScenes、SemanticKITTI 和 ScribbleKITTI 的半监督语义分割排行榜上均获得第一名。:bar_chart:
• [2022.08] - 我们提供了一个 视频演示，展示了在 SemanticKITTI 验证集上的视觉比较。快来看看！
• [2022.07] - 我们的论文已在 arXiv 上发布，点击<a href="https://arxiv.org/abs/2207.00026" target='_blank'>这里</a>查看。代码将很快提供！

大纲

• 安装
• 数据准备
• 入门指南
• 视频演示
• 主要结果
• 待办事项
• 许可证
• 致谢
• 引用

安装

请参考 INSTALL.md 了解安装详情。

数据准备

请参考 DATA_PREPARE.md 了解准备 ¹nuScenes、²SemanticKITTI 和 ³ScribbleKITTI 数据集的详细信息。

入门指南

请参考 GET_STARTED.md 了解更多关于这个代码库的使用方法。

视频演示

演示 1	演示 2	演示 3
<img width="100%" src="https://yellow-cdn.veclightyear.com/0a4dffa0/4004b01f-9653-4f7e-8fbf-3aea29e658f0.png">	<img width="100%" src="https://yellow-cdn.veclightyear.com/0a4dffa0/f0993f8c-b772-4c5f-8fc0-58f35d3bc9b8.png">	<img width="100%" src="https://yellow-cdn.veclightyear.com/0a4dffa0/82e56981-d537-4626-9784-d0075fc3090e.png">
链接 <sup>:arrow_heading_up:</sup>	链接 <sup>:arrow_heading_up:</sup>	链接 <sup>:arrow_heading_up:</sup>

主要结果

框架概述

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/67b2a591-d26e-4361-aa9c-3bbd5b260816.png" align="center" width="99.9%"> </p>

范围视图

<table> <tr> <th rowspan="2">方法</th> <th colspan="4">nuScenes</th> <th colspan="4">SemanticKITTI</th> <th colspan="4">ScribbleKITTI</th> </tr> <tr> <td>1%</td> <td>10%</td> <td>20%</td> <td>50%</td> <td>1%</td> <td>10%</td> <td>20%</td> <td>50%</td> <td>1%</td> <td>10%</td> <td>20%</td> <td>50%</td> </tr> <tr> <td>仅监督</td> <td>38.3</td> <td>57.5</td> <td>62.7</td> <td>67.6</td> <td>36.2</td> <td>52.2</td> <td>55.9</td> <td>57.2</td> <td>33.1</td> <td>47.7</td> <td>49.9</td> <td>52.5</td> </tr> <tr> <td><strong>LaserMix</strong></td> <td>49.5</td><td>68.2</td><td>70.6</td><td>73.0</td> <td>43.4</td><td>58.8</td><td>59.4</td><td>61.4</td> <td>38.3</td><td>54.4</td><td>55.6</td><td>58.7</td> </tr> <tr> <td><i>提升</i> &#8593</td> <td>⁺11.2</td> <td>⁺10.7</td> <td>⁺7.9</td> <td>⁺5.4</td> <td>⁺7.2</td> <td>⁺6.6</td> <td>⁺3.5</td> <td>⁺4.2</td> <td>⁺5.2</td> <td>⁺6.7</td> <td>⁺5.7</td> <td>⁺6.2</td> </tr> <tr> <td><strong>LaserMix++</strong></td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td><i>提升</i> &#8593</td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> </table>

体素

<table> <tr> <th rowspan="2">方法</th> <th colspan="4">nuScenes</th> <th colspan="4">SemanticKITTI</th> <th colspan="4">ScribbleKITTI</th> </tr> <tr> <td>1%</td> <td>10%</td> <td>20%</td> <td>50%</td> <td>1%</td> <td>10%</td> <td>20%</td> <td>50%</td> <td>1%</td> <td>10%</td> <td>20%</td> <td>50%</td> </tr> <tr> <td>仅监督</td> <td>50.9</td> <td>65.9</td> <td>66.6</td> <td>71.2</td> <td>45.4</td> <td>56.1</td> <td>57.8</td> <td>58.7</td> <td>39.2</td> <td>48.0</td> <td>52.1</td> <td>53.8</td> </tr> <tr> <td><strong>LaserMix</strong></td> <td>55.3</td> <td>69.9</td> <td>71.8</td> <td>73.2</td> <td>50.6</td> <td>60.0</td> <td>61.9</td> <td>62.3</td> <td>44.2</td> <td>53.7</td> <td>55.1</td> <td>56.8</td> </tr> <tr> <td><i>提升</i> &#8593</td> <td>⁺<small>4.4</small></td> <td>⁺<small>4.0</small></td> <td>⁺<small>5.2</small></td> <td>⁺<small>2.0</small></td> <td>⁺<small>5.2</small></td> <td>⁺<small>3.9</small></td> <td>⁺<small>4.1</small></td> <td>⁺<small>3.6</small></td> <td>⁺<small>5.0</small></td> <td>⁺<small>5.7</small></td> <td>⁺<small>3.0</small></td> <td>⁺<small>3.0</small></td> </tr> <tr> <td><strong>LaserMix++</strong></td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td><i>提升</i> &#8593</td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> </table>

消融研究

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e2a5a634-a376-4b02-a0ce-5c33e72994d6.png" align="center" width="99.9%"> </p>

定性示例

检查点和更多结果

有关更多实验结果和预训练权重，请参阅 RESULT.md。

待办事项

• 初始发布。:rocket:
• 添加许可证。详情请参阅此处。
• 添加视频演示 :movie_camera:
• 添加安装详情。
• 添加数据准备详情。
• 添加评估详情。
• 添加训练详情。

引用

如果您觉得这项工作有帮助，请考虑引用我们的论文：

@inproceedings{kong2023lasermix,
  title = {LaserMix for Semi-Supervised LiDAR Semantic Segmentation},
  author = {Kong, Lingdong and Ren, Jiawei and Pan, Liang and Liu, Ziwei},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages = {21705--21715},
  year = {2023},
}

许可证

<a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/"><img alt="知识共享许可协议" style="border-width:0" src="https://yellow-cdn.veclightyear.com/0a4dffa0/4a3ffd7f-7ce6-4196-b1c2-58f6fcd14562.png" /></a> <br /> 本作品采用<a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/">知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议</a>进行许可。

致谢

本工作基于 MMDetection3D 代码库开发。

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/978e7740-fbb5-4aea-a6f1-e2528764537e.png" width="30%"/><br> MMDetection3D是一个基于PyTorch的开源工具箱，旨在成为下一代通用3D感知平台。它是由MMLab开发的OpenMMLab项目的一部分。

在本工作过程中，我们感谢使用了以下公共资源：¹nuScenes、²nuScenes-devkit、³SemanticKITTI、⁴SemanticKITTI-API、⁵ScribbleKITTI、⁶FIDNet、⁷CENet、⁸SPVNAS、⁹Cylinder3D、¹⁰TorchSemiSeg、¹¹MixUp、¹²CutMix、¹³CutMix-Seg、¹⁴CBST、¹⁵MeanTeacher和¹⁶Cityscapes。

我们要特别感谢<a href="https://hongfz16.github.io/" target='_blank'>洪方舟</a>富有洞察力的讨论和反馈。❤️