描述

该代码在ROS项目中将Velodyne VLP16 3D-Lidar传感器获得的点云投影到RGB相机的图像上。该示例使用ROS包来校准相机和LiDAR，源自lidar_camera_calibration。为了获得更密集的点云，我们通过将点云转换为距离图像，并使用armadillo库进行双线性插值来插值点云数据。

插值点云

白色点是Velodyne VLP-16激光雷达的原始点云。彩色点是插值后的点云。

激光雷达和相机融合

要求

ROS Melodic 或 Noetic

Velodyne 仓库

  cd ~/(your_work_space)/src
  git clone https://github.com/ros-drivers/velodyne.git -b melodic-devel
  cd ..
  catkin_make --only-pkg-with-deps velodyne

PCL (点云库) (已测试pcl 1.8)

Armadillo (11.0.1或更高版本)

  tar -xvf armadillo-11.1.1.tar.xz
  cd armadillo-11.1.1
  mkdir build
  cd build
  cmake ..
  make
  sudo make install

话题

订阅话题

~/pointcloudTopic 输入点云消息。(sensor_msgs/PointCloud2)

~/imageTopic 输入图像消息。(sensor_msgs/Image)

发布话题

激光雷达和相机融合

~/points2 输出插值后的点云。(sensor_msgs/PointCloud2) ~/pcOnImage_image 激光雷达点云投影到输入图像上。(sensor_msgs/Image)

插值点云

~/pc_interpoled 输出插值后的点云。(sensor_msgs/PointCloud2)

克隆仓库

    cd ~/catkin_ws/src
    git clone https://github.com/EPVelasco/lidar_camera_fusion.git
    cd ..
    catkin_make --only-pkg-with-deps lidar_camera_fusion

ROS启动

你可以使用这个rosbag来测试该仓库。请注意，相机-LiDAR的齐次矩阵存在不准确性。我们正在重新校准相机和LiDAR以减少这个误差。但是，你可以了解该包的工作原理以及它如何融合Realsense D435相机和Velodyne VLP16 LiDAR。

Rosbag播放

  rosbag play ~/{your_rosbag path}/cam_lidar00.bag

使用rosbag进行激光雷达和相机融合

  roslaunch lidar_camera_fusion vlp16OnImg_offline.launch

使用真实传感器进行激光雷达和相机融合

  roslaunch lidar_camera_fusion vlp16OnImg.launch

插值点云

  roslaunch lidar_camera_fusion interpolated_vlp16.launch

测试包

激光雷达里程计

已经使用原始点云和插值点云进行了激光雷达里程计实验。你需要安装FLOAM包，建议使用以下分支。我们准备了一个rosbag用于测试激光雷达里程计和激光雷达插值包。该rosbag是在户外环境中使用Velodyne VLP16生成的闭环。需要修改launch文件中的话题名称。因此，要使用原始点云运行FLOAM，你需要将话题设为*/velodyne_points*，要使用插值后的激光雷达启动FLOAM，你需要将话题设为*/pc_interpoled*。

启动FLOAM、interpolated_vlp16和rosbag

roslaunch floam floam_experimets.launch
roslaunch lidar_camera_fusion interpolated_vlp16.launch
rosbag play {your/rosbag/file/address}/loop_8.bag

结果

图像显示了使用FLOAM包的里程计结果，其中路径A和B分别由未插值和插值的点云生成。测试是在连续运行rosbag 4次后进行的。

应用

通过传感器融合实现户外环境中家庭垃圾的检测和深度估计。预印本

引用

通过球面距离图像插值进行LiDAR数据增强

@inproceedings{velasco2023lidar,
  title={LiDAR data augmentation by interpolation on spherical range image},
  author={Velasco-S{\'a}nchez, Edison and de Loyola P{\'a}ez-Ubieta, Ignacio and Candelas, Francisco A and Puente, Santiago T},
  booktitle={2023 IEEE 28th International Conference on Emerging Technologies and Factory Automation (ETFA)},
  pages={1--4},
  year={2023},
  organization={IEEE}
}

该方法在深度估计中的应用

@article{paez2022detection,
  title={Detection and depth estimation for domestic waste in outdoor environments by sensors fusion},
  author={P{\'a}ez-Ubieta, Ignacio de L and Velasco-S{\'a}nchez, Edison and Puente, Santiago T and Candelas, Francisco A},
  journal={arXiv preprint arXiv:2211.04085},
  year={2022}
}