3D-LiDAR和相机外参标定 [论文][arxiv]

引用

如果您觉得我们的代码和方法对您的工作有用，请考虑引用本文：

@Article{WANG2017Lidar_camera_cali,
AUTHOR = {Wang, Weimin and Sakurada, Ken and Kawaguchi, Nobuo},
TITLE = {Reflectance Intensity Assisted Automatic and Accurate Extrinsic Calibration of 3D LiDAR and Panoramic Camera Using a Printed Chessboard},
JOURNAL = {Remote Sensing},
VOLUME = {9},
YEAR = {2017},
NUMBER = {8},
ARTICLE-NUMBER = {851},
ISSN = {2072-4292},
DOI = {10.3390/rs9080851}
}

简介

这是一个基于激光反射强度的3D-LiDAR和相机全自动精确外参标定的Python实现。<br> 论文可在此处获取。<br> 此实现的主要特点是：<br>

自动分割Velodyne 3D LiDAR采集的点云
自动检测棋盘格
自动从棋盘格点云中检测角点
外参标定参数优化
使用VTK Python封装实现各种3D点云可视化<br> 这些功能适用于VLP-16、HDL-32e和HDL-64e。然而，它们仅在HDL-32e上进行了测试。如果有人能提供其他类型的数据进行测试，我们将不胜感激。 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/b6f36523-3e85-401b-85af-82b5f1b92d1c.gif" />

更新

2018-06-05 添加在Ubuntu上安装依赖项的说明。
2018-04-16（0.2版本发布）
- 实现单目相机标定。
- 为透视相机标定添加样本数据和结果。
- 添加一项功能，可以在将点云投影到图像时隐藏被棋盘格遮挡的部分。
- 其他一些小的更改。

依赖项（在macOS sierra和Ubuntu 14.04/16.04上测试通过）

Python >= 2.7.9

OpenCV（如果使用pyenv安装的Python，请记住启用Python共享库）

对于macOS：<br>

brew install opencv3
echo /usr/local/opt/opencv3/lib/python2.7/site-packages >> /usr/local/lib/python2.7/site-packages/opencv3.pth

对于Ubuntu：<br>

git clone https://github.com/opencv/opencv.git
cd opencv && mkdir build && cd build && cmake .. && make -j4 && make install

OpenGV

对于macOS和Ubuntu：<br>

git clone https://github.com/mfxox/opengv
cd opengv
mkdir build && cd build && cmake .. && make && make install

点云库（PCL）
- 对于macOS：<br>
```
brew install pcl
```
- 对于Ubuntu：<br>
```
sudo apt-get install libpcl-1.7-all
```
或从源码构建
[PCL Python绑定](https://github.com/mfxox/ILCC/blob/master/https://github.com/mfxox/python-pcl
- 对于macOS和Ubuntu：<br>
```
git clone https://github.com/mfxox/python-pcl
cd python-pcl
python setup.py install
```
MATLAB引擎for Python：
- 对于macOS和Linux：<br>
```
cd "matlabroot/extern/engines/python"
python setup.py install
```
- MATLAB Python用于全景图像的角点检测。OpenCV后端也可用，可以通过config.yaml中的__backend__参数设置，但OpenCV可能无法检测到角点。您也可以使用样本数据中的示例文件（output/img_corners）中检测到的角点来尝试标定。

可选

VTK =7.1.1：3D可视化
- 对于macOS：<br>
```
brew install vtk
```

使用方法

安装

git clone --recurse-submodules https://github.com/mfxox/ILCC
cd ILCC
python setup.py install

文件说明

config.py：参数设置 <br> img_corners_est.py：使用OpenCV或MATLAB从图像估计棋盘格角点<br> pcd_corners_est.py：从点云估计棋盘格角点<br> LM_opt.py：加载对应的2D-3D角点，使用PnP方法计算初始值，用LM方法优化结果<br> utility.py：用于各种可视化的实用函数

处理数据

创建一个文件夹，例如命名为__DATA__，并创建图像和点云文件夹__DATA/img__和__DATA/pcd__。
将全景图像放入__DATA/img__，点云文件放入__DATA/pcd__。文件应该命名为00XX.png或00XX.csv。
cd DATA 并将config.yaml复制到__DATA__，然后根据您的情况修改config.yaml。
从图像中检测角点。<br>

from ILCC import img_corners_est
img_corners_est.detect_img_corners()

图像中角点的坐标保存在 DATA/output/img_corners 文件夹中，文件名为 00XX_img_corners.txt。如果在 config.yaml 中将 'output_img_with_dectected_corners' 设置为 True，则标记了角点的图像也会保存在同一文件夹中，文件名为 00XX_detected_corners.jpg，如下图所示。

从点云中检测角点。<br>

from ILCC import pcd_corners_est
pcd_corners_est.detect_pcd_corners()

点云中角点的坐标保存在 output/pcd_seg 文件夹中，文件名为 00XX_pcd_result.pkl。每个点云的分割结果输出到 /DATA/output/pcd_seg/00XX 文件夹中。

最终外部参数的非线性优化。<br>

from ILCC import LM_opt
LM_opt.cal_ext_paras()

外部标定结果在处理结束时输出，并以文件名 YYYYMMDD_HHMMSS_calir_result.txt 保存。如果将 'back_proj_corners' 设置为 True，使用计算得到的参数反投影3D角点的图像会保存到 DATA/output 文件夹中，如下图所示。

完成上述过程后，可以导入实用模块来可视化各种结果。<br>

from ILCC import utility
utility.vis_back_proj(ind=1, img_style="orig", pcd_style="dis", hide_occlussion_by_marker=False)
utility.vis_back_proj(ind=1, img_style="orig", pcd_style="dis", hide_occlussion_by_marker=True)
utility.vis_back_proj(ind=1, img_style="edge", pcd_style="intens", hide_occlussion_by_marker=True)

使用计算得到的外部参数反投影点云的图像（见下图）将会显示，按"s"键保存。img_style 可以是 "edge"（边缘提取）或 "orig"（原始图像），pcd_style 可以是 "dis"（按距离着色）或 "intens"（按强度着色）。

<div style="text-align: center"> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/fd022de8-47d2-4fc8-9b54-0e83edbb7471.jpg" width = "80%" /><br> <em>将点投影到原始图像上，按距离着色。棋盘格遮挡的部分未隐藏。</em> <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/fc215d7e-f3c5-4606-8dd1-ea5a57d33517.jpg" width = "80%" /><br> <em>棋盘格遮挡的部分已隐藏。通过将参数 hide_occlussion_by_marker 设置为 True 来隐藏棋盘格遮挡的部分。</em> <br> 对比上面两张图像中棋盘格的上部。 </em> <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ea8a74ec-2997-4439-9eb9-619217a19f9d.jpg" width = "80%" /><br> <em>将点投影到边缘图像上，按强度着色。棋盘格遮挡的点已隐藏。</em> </p> </div> <div style="text-align: center"> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/cbc5b968-8cbf-4e82-a79a-a2bfd9086801.png" width = "20%" /> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/84575d60-bcb9-4d6a-90f7-3e26d6539938.png" width = "20%" /> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f01677cb-bb0d-4187-8f72-c1546e7f4808.png" width = "20%" /> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7c8de693-4479-4ffd-99dd-b8b71cec6949.png" width = "20%" /> <br> <em>透视图像的结果。从左到右：[颜色：距离，原始图像]，[颜色：距离，原始图像，隐藏遮挡]，[颜色：强度，边缘图像]，[颜色：强度，边缘图像，隐藏遮挡]。</em> </p> </div>

对于3D可视化，需要 [VTK](https:// clhub.com/Kitware/VTK) >=7.0。以下是使用示例。

示例

样本数据

全景图像的样本数据和检测到的角点处理结果可以从这里（181M）下载，透视图像的数据可以从这里（29M）下载。<br> 这些数据是使用棋盘格文件采集的，该文件包含6*8个图案，如果按A0尺寸打印，每个格子的长度为7.5厘米。

处理过程

对于全景相机

wget https://www.dropbox.com/s/m0ogerftqav0fyx/ILCC_sample_data_and_result.zip
unzip ILCC_sample_data_and_result.zip
cd ILCC_sample_data_and_result

将 config.yaml 复制到 ILCC_sample_data_and_result 文件夹。

对于透视相机

wget https://www.dropbox.com/s/et0o4k2sp485nz1/ILCC_sample_perspective_data.zip
unzip ILCC_sample_perspective_data.zip
cd ILCC_sample_perspective_data

将 config.yaml 复制到 ILCC_sample_data_and_result 文件夹。<br/> 通过修改 config.yaml，将 camera_type 设置为 'perpsective'，并将内部参数输入到 instrinsic_para 中。

可视化（需要 VTK >=7.0）

从 .csv 文件可视化点云

    from ILCC import utility
    utility.vis_csv_pcd(ind=1)

可视化分割结果

    from ILCC import utility
    utility.vis_segments(ind=1)

可视化检测到的棋盘格点云分割

    from ILCC import utility
    utility.vis_segments_only_chessboard_color(ind=1)

可视化检测到的棋盘格点云分割和估计的棋盘格模型

    from ILCC import utility
    utility.vis_ested_pcd_corners(ind=1)

可视化所有检测到的棋盘格

    import utility
    import numpy as np
    utility.vis_all_markers(utility.vis_all_markers(np.arange(1, 21).tolist()))

故障排除

棋盘格没有被正确分割。

确保 csv 文件中的所有点都按时间顺序排列。
检查 config.yaml 中的 LiDAR_type 和 laser_beams_num 是否与您的设置相同。
如果棋盘格过度分割，尝试增加 config.yaml 中的 jdc_thre_ratio 和 agglomerative_cluster_th_ratio。如果棋盘格分割不足，则减小这些值。

通过使用 utility.vis_segments 可视化分割结果时，棋盘格似乎被正确分割，但"未找到标记"或找到了错误的分割。

检查 config.yaml 中的 pattern_size 和 grid_length 是否设置正确。
检查棋盘格的近似距离是否小于 config.yaml 中的 marker_range_limit。
如果棋盘格点云在法向量方向上非常嘈杂，尝试增加 config.yaml 中的 chessboard_detect_planar_PCA_ratio 值。
如果棋盘格距离很远，尝试减小 config.yaml 中的 least_marker_points_num 值。