ArUco标记检测与姿态估计: OpenCV和C++实现教程

ArUco标记简介

ArUco标记是一种广泛应用于计算机视觉和增强现实领域的二维码标记系统。它由一个黑色边框和内部的二进制矩阵组成,可以编码唯一的标识符。ArUco标记的优势在于其简单的结构和快速的检测速度,使其成为定位、跟踪和姿态估计等任务的理想选择。

本教程将介绍如何使用OpenCV和C++实现ArUco标记的生成、检测和姿态估计。我们将涵盖从OpenCV的安装到最终绘制3D立方体的完整流程。无论你是计算机视觉的新手还是寻找实用ArUco应用的专业人士,本教程都将为你提供有价值的指导。

OpenCV安装

要开始使用ArUco标记,首先需要安装OpenCV库。本教程推荐使用OpenCV 4.5.3版本,因为它提供了稳定的ArUco支持。以下是在Ubuntu 20.04上安装OpenCV 4.5.3的步骤:

1. 安装依赖项:

sudo apt install build-essential cmake git libgtk2.0-dev pkg-config
sudo apt install -y libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev
sudo apt install -y libavcodec-dev libavformat-dev libswscale-dev

2. 克隆ArUco-markers仓库并初始化子模块:

git clone https://github.com/fdcl-gwu/aruco-markers.git
cd aruco-markers
git submodule update --init

3. 编译并安装OpenCV:

cd libraries/opencv
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local -DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules ..
make -j4
sudo make install

对于其他操作系统或者想使用Docker的用户,本教程也提供了相应的安装说明。完成OpenCV的安装后,我们就可以开始ArUco标记的生成和检测了。

生成ArUco标记

ArUco库提供了生成单个标记和标记板的功能。以下是生成单个ArUco标记的示例代码:

cd create_markers
mkdir build && cd build
cmake ../
make
./generate_marker --b=1 -d=16 --id=108 --ms=400 --si marker.jpg

这将生成一个ID为108的16x16 ArUco标记,并保存为marker.jpg。

同样,我们也可以生成ArUco标记板:

./generate_board --bb=1 -h=2 -w=4 -l=200 -s=100 -d=16 --si board.jpg

这将生成一个2x4的ArUco标记板,并保存为board.jpg。

检测ArUco标记

在生成ArUco标记后,下一步是在图像或视频流中检测这些标记。以下是使用OpenCV检测ArUco标记的示例代码:

cd detect_marker
mkdir build && cd build
cmake ../
make
./detect_markers

运行这个程序将打开系统摄像头并检测预定义库中的所有标记。如果你没有打印的标记,可以使用仓库中提供的测试视频:

./detect_markers -v=../../test_data/test_video.mp4 

检测到的标记将被绘制在图像上,如下图所示:

摄像机标定

为了准确地检测标记和获得精确的姿态数据,需要进行摄像机标定。以下是执行摄像机标定的步骤:

cd camera_calibration
mkdir build && cd build
cmake ../
make
./camera_calibration -d=16 -dp=../detector_params.yml -h=2 -w=4 -l=<单个标记的边长(米)> -s=<网格中两个连续标记之间的间隔(米)> ../../calibration_params.yml

在标定过程中,需要将摄像机对准标记板,并在不同的方向和角度拍摄大约30张图像。通过按键"C"保存这些图像。标定完成后,相机参数将被保存到calibration_params.yml文件中。

姿态估计

有了标定后的摄像机参数,我们就可以进行ArUco标记的姿态估计了。以下是估计ArUco标记平移和旋转的代码:

cd pose_estimation
mkdir build && cd build
cmake ../
make
./pose_estimation -l=<单个标记的边长(米)>

这个程序将显示标记的位置和方向。左上角显示的距离以米为单位,坐标轴定义与OpenCV模型相同。标记上绘制的轴代表标记的方向,按红-绿-蓝的顺序排列。

绘制3D立方体

最后,我们可以在ArUco标记上绘制一个3D立方体,这是增强现实应用的一个简单演示。以下是绘制立方体的代码:

cd draw_cube
mkdir build && cd build
cmake ../
make
./draw_cube -l=<单个标记的边长(米)>

这个程序将在检测到的ArUco标记上方绘制一个3D立方体,如下图所示:

结论

本教程详细介绍了使用OpenCV和C++实现ArUco标记检测和姿态估计的完整流程。从OpenCV的安装到标记的生成、检测,再到摄像机标定和3D立方体的绘制,我们涵盖了ArUco应用开发的各个方面。这些技术可以广泛应用于机器人导航、增强现实、物体跟踪等领域。

ArUco标记系统的简单性和效率使其成为许多计算机视觉项目的理想选择。通过本教程中的示例和说明,读者应该能够开始自己的ArUco相关项目,并进一步探索这一强大工具的潜力。

最后,我们鼓励读者尝试不同的ArUco字典、标记大小和检测参数,以优化特定应用场景下的性能。ArUco标记的世界充满了可能性,希望这个教程能为你的计算机视觉之旅提供一个良好的起点。

ArUco-markers GitHub仓库提供了本教程中所有示例的完整源代码。欢迎访问仓库,获取更多详细信息和最新更新。

Happy coding! 🚀📸