LSD (激光雷达SLAM与检测)

LSD是一个用于自动驾驶车辆和机器人的开源感知架构。

LSD目前支持多项功能：

支持多个激光雷达、相机、雷达和INS/IMU传感器。
支持用户友好的激光雷达和相机等校准。
支持软件时间同步、数据记录和回放。
支持基于体素3D-CNN的点云目标检测、跟踪和预测。
支持基于GICP、FLOAM和FastLIO的前端里程计和基于G2O的位姿图优化。
支持基于Web的交互式地图校正工具（编辑器）。
支持与ROS的通信。

概览

更新日志

[2023-10-08] 更好的3DMOT（GIOU，两阶段关联）。

性能 (WOD val)	AMOTA ↑	AMOTP ↓	IDs(%) ↓
AB3DMOT	47.84	0.2584	0.67
GIOU + 两阶段	54.79	0.2492	0.19

[2023-07-06] 新的检测模型（CenterPoint-VoxelNet）支持实时运行（30FPS以上）。

性能 (WOD val)	车辆_L1	车辆_L2	行人_L1	行人_L2	自行车_L1	自行车_L2
PointPillar	73.71/73.12	65.71/65.17	71.70/60.90	63.52/53.78	65.30/63.77	63.12/61.64
CenterPoint-VoxelNet (1帧)	74.75/74.24	66.09/65.63	77.66/71.54	68.57/63.02	72.03/70.93	69.63/68.57
CenterPoint-VoxelNet (4帧)	77.55/77.03	69.65/69.17	80.72/77.80	72.91/70.15	72.63/71.72	70.55/69.67

注意：CenterPoint-VoxelNet基于libspconv构建，需要SM80+的GPU。

[2023-06-01] Web UI（预览、tviz和地图编辑器的JS代码）已上传。

基本环境

Ubuntu20.04, Python3.8, Eigen 3.3.7, Ceres 1.14.0, Protobuf 3.8.0, NLOPT 2.4.2, G2O, OpenCV 4.5.5, PCL 1.9.1, GTSAM 4.0

入门指南

首先需要安装NVIDIA Container Toolkit 安装指南。

提供了一个x86_64的docker镜像用于测试。

sudo docker pull 15liangwang/lsd-cuda118 # 如果没有GPU，请使用 sudo docker pull 15liangwang/auto-ipu
sudo docker run --gpus all -it -d --net=host --privileged --shm-size=4g --name="LSD" -v /media:/root/exchange 15liangwang/lsd-cuda118
sudo docker exec -it LSD /bin/bash

克隆此仓库并构建源代码

cd /home/znqc/work/
git clone https://github.com/w111liang222/lidar-slam-detection.git
cd lidar-slam-detection/
unzip slam/data/ORBvoc.zip -d slam/data/
python setup.py install
bash sensor_inference/pytorch_model/export/generate_trt.sh

运行LSD

tools/scripts/start_system.sh

在浏览器中打开http://localhost（或http://localhost:1234），例如Chrome，您将看到这个界面。

示例数据

从Google Drive或百度网盘(密码sk5h)下载演示数据并解压。（其他数据集可在百度网盘, 提取码：36ly找到）

unzip demo_data.zip -d /home/znqc/work/
tools/scripts/start_system.sh # 重新运行LSD

更多用法可以在这里找到。

ROS

LSD并非基于机器人操作系统（ROS）构建，但我们提供了一些工具来桥接与ROS的通信。

rosbag转pickle：将rosbag转换为pickle文件，然后LSD可以读取和运行。
pickle转rosbag：一个便捷工具，用于将LSD记录的pickle文件转换为rosbag。
rosbag代理：一个将ros话题数据发送到LSD的工具。

许可证

LSD在Apache 2.0许可证下发布。

致谢

在LSD的开发过程中，我们站在以下仓库的肩膀上：

lidar_align：一种简单的方法，用于找到3D激光雷达和6自由度姿态传感器之间的外部校准。
lidar_imu_calib：3D激光雷达和IMU的自动外部校准。
OpenPCDet：基于激光雷达的3D目标检测OpenPCDet工具箱。
AB3DMOT：3D多目标跟踪：基线和新的评估指标。
FAST-LIO：一个计算高效且稳健的激光雷达-惯性里程计包。
R3LIVE：一个稳健、实时、RGB彩色的激光雷达-惯性-视觉紧耦合状态估计和映射包。
FLOAM：用于室内/室外定位的快速优化激光雷达里程计和映射。
hdl_graph_slam：一个开源ROS包，用于使用3D激光雷达进行实时6自由度SLAM。
hdl_localization：使用（Velodyne）3D激光雷达的实时3D定位。
ORB_SLAM2：单目、双目和RGB-D相机的实时SLAM，具有回环检测和重定位功能。
scancontext：用于场所识别和长期定位的全局激光雷达描述符。

引用

如果您在研究中发现这个项目有用，请考虑引用并为这个项目加星：

@misc{LiDAR-SLAM-Detection,
    title={LiDAR SLAM & Detection: an open source perception architecture for autonomous vehicle and robotics},
    author={LiangWang},
    howpublished = {\url{https://github.com/w111liang222/lidar-slam-detection}},
    year={2023}
}