ArUco 标记

:bangbang: 重要提示： 本文假设您使用的是OpenCV4。 如果您需要使用OpenCV3，请在安装依赖项之前切换到cv3分支。 由于OpenCV库有一些重大变更，OpenCV4的部分代码与OpenCV3不兼容。

<center> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/b2dfa89d-db95-41a7-aa3c-b33950c3b33b.gif" width="400"/> </center>

本仓库包含可用于增强现实库ArUco的代码。 仓库中的一些程序，包括创建标记和校准相机的代码，是OpenCV库中示例的复制品，只做了微小修改。 这些代码被添加到这里，以便所有内容集中在一处。

目录

1. 安装OpenCV
   1. 安装v4.5.3（推荐）
   2. 安装最新版本
   3. Docker构建
2. 生成标记
3. 检测标记
4. 相机校准
5. 姿态估计
6. 绘制立方体

安装OpenCV

您可以通过下载上述网站中的源文件并构建安装来安装独立的ArUco库。 但强烈建议安装OpenCV库中打包的ArUco库。 以下是安装带ArUco库的OpenCV的说明。 这些说明已在Ubuntu 20.04上验证可用。

如果您使用不同的操作系统，和/或更喜欢使用Docker，本仓库中包含了一个dockerfile。 请跳转到Docker构建部分。

您可以使用OpenCV仓库的主分支安装OpenCV，或者使用添加到本仓库的子模块进行安装。 使用提供的子模块构建和安装OpenCV可以确保本仓库中的其他代码能够正常运行。 因此，建议从子模块安装。

安装v4.5.3（推荐）

sudo apt install build-essential
sudo apt install cmake git libgtk2.0-dev pkg-config

# 图像支持
sudo apt install -y libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev

# 视频支持
sudo apt install -y libavcodec-dev libavformat-dev libswscale-dev

cd <任何您想使用的目录>
git clone https://github.com/fdcl-gwu/aruco-markers.git
cd aruco-markers
git submodule update --init
cd libraries/opencv
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local -DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules ..
make -j4  # 如果您的计算机有更多/更少的核心，请将4替换为核心数量
          # 使用命令"nproc"查找核心数量
sudo make install

安装最新版本

sudo apt install build-essential
sudo apt install cmake git libgtk2.0-dev pkg-config

# 图像支持
sudo apt install -y libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev

# 视频支持
sudo apt install -y libavcodec-dev libavformat-dev libswscale-dev

git clone https://github.com/opencv/opencv.git
git clone https://github.com/opencv/opencv_contrib.git

# 如果您需要特定版本，应在执行以下命令之前
# 在两个仓库中都检出该版本。

mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local -DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules ..
make -j4  # 如果您的计算机有更多/更少的核心，请将4替换为核心数量
          # 使用命令"nproc"查找核心数量
sudo make install

Docker构建

以下说明适用于Linux主机。 虽然Docker应该可以在任何操作系统上运行，但这里使用的GUI设置仅在Linux主机上经过测试。 如果您使用Windows或Mac，您需要安装X服务器，例如Xming，才能使GUI正常工作。

您有两个选择：

1. 从hub拉取Docker镜像 - 简单快速
2. 从头开始创建Docker镜像 - 速度较慢，但透明度更高

拉取Docker镜像

1. 安装Docker
2. 打开终端并运行

   # 拉取Docker镜像
   docker pull kanishgama/aruco-markers:opencv-4.5.3
   
   # 启用xhost - GUI需要
   xhost +
   
   # 将"-it aruco-markers bash"替换为"-it kanishgama/aruco-markers:opencv-4.5.3"，然后启动容器
   bash docker_start.sh

手动创建Docker镜像

1. 安装Docker

2. 打开终端并运行：

   cd <任何您想使用的目录>
   git clone https://github.com/fdcl-gwu/aruco-markers.git
   cd aruco-markers
   
   # 启用xhost - GUI需要
   xhost +
   
   # 构建docker镜像
   bash docker_build.sh
   
   # 运行容器
   bash docker_start.sh
   
   # 启动容器后，您应该在docker内部。
   # 运行OpenCV安装脚本（仅需第一次运行）。
   # 这将构建opencv并安装它。根据您的计算机情况，
   # 这个过程可能需要相当长的时间。
   cd aruco-markers
   bash docker_opencv_setup.sh
   
   # 运行OpenCV安装脚本后，对于任何后续运行，您只需
   # 运行docker运行bash docker_start.sh脚本。

3. 按照以下代码编译说明操作。

生成标记

要使用相机检测标记，首先需要打印标记。 ArUco库提供了一些生成标记的函数，为了方便查找，这些函数已复制到本仓库中。

cd create_markers
mkdir build && cd build
cmake ../
make

# 创建单个标记。
# 有关参数的详细信息，请只运行./generate_marker
./generate_marker --b=1 -d=16 --id=108 --ms=400 --si marker.jpg

# 创建标记板。
# 有关参数的详细信息，请只运行./generate_board
./generate_board --bb=1 -h=2 -w=4 -l=200 -s=100 -d=16 --si board.jpg

生成的标记应该如下所示：

<center> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/08b6a44e-2d08-40e7-aa2e-34e45ff55afc.jpg" width="150"/> </center> 生成的棋盘应该如下所示： <center> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7b0d0bff-502f-4206-97b2-73e265f88a45.jpg" width="350"/> </center>

检测标记

首先，打印生成的标记。 将摄像头连接到电脑并运行以下命令：

cd detect_marker
mkdir build && cd build
cmake ../
make

# 运行以下命令将打开系统摄像头并检测定义库中的所有标记。
./detect_markers

# 如果您只需要测试，手头没有打印好的标记，可以尝试使用此仓库中的测试视频，使用以下命令：
./detect_markers -v=../../test_data/test_video.mp4 

所有检测到的标记都会被绘制在图像上。

<center> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/55507943-951f-481e-8cb9-19bd646af2f4.png" width="350"/> </center>

相机校准

为了准确检测标记或获取准确的姿态数据，需要进行相机校准。

运行以下命令进行相机校准：

cd camera_calibration
mkdir build && cd build
cmake ../
make

# 只有当您生成标记时使用了相同的参数，以下命令才准确。
# 如果您更改了任何参数，请相应地更改以下参数。
./camera_calibration -d=16 -dp=../detector_params.yml -h=2 -w=4 -l=<单个标记的边长（米）> -s=<网格中两个连续标记之间的间隔（米）> ../../calibration_params.yml

# 如果您想用已保存的视频进行校准，使用 `-v` 标志。例如，对于测试视频：
./camera_calibration -v=../../test_data/test_video.mp4 -d=16 -dp=../detector_params.yml -h=2 -w=4 -l=0.3 -s=0.15 ../../calibration_params.yml

然后将摄像头对准标记，以不同的方向和角度拍摄，按"C"键保存这些图像。 屏幕上应该会显示这些指示。 大约30张图像应该就足够了。

姿态估计

要估计ArUco标记的平移和旋转，运行以下代码：

cd pose_estimation

mkdir build && cd build
cmake ../
make

./pose_estimation -l=<单个标记的边长（米）>

# 例如，对于测试视频：
./pose_estimation -l=0.3 -v=../../test_data/test_video.mp4

下图显示了此代码的输出。 左上角显示的距离以米为单位，坐标轴与OpenCV模型中定义的相同，即x轴从图像左侧向右侧增加，y轴从图像顶部向底部增加，z轴指向摄像头外部，原点在图像的左上角。 绘制在标记上的坐标轴表示标记的方向，按红-绿-蓝的轴顺序。

<center> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/bc79477c-c286-4f09-aaa7-c0ee0474b9b9.png" width="300"/> </center>

绘制立方体

要估计姿态并在ArUco标记上绘制立方体，运行以下代码：

cd draw_cube

mkdir build && cd build
cmake ../
make

./draw_cube -l=<单个标记的边长（米）>

例如，对于测试视频：
./draw_cube -l=0.3 -v=../../test_data/test_video.mp4

下面的GIF显示了此代码的输出。

<center> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/b2dfa89d-db95-41a7-aa3c-b33950c3b33b.gif" width="350"/> </center>