OmniNxt

以下是源文本的中文翻译:

一种完全开源且紧凑的具有全向视觉感知的航空机器人 OmniNxt

IROS 2024 口头报告

刘培泽、冯忠泽†、徐扬、宁艳、徐昊†和沈绍杰

香港科技大学航空机器人小组

†通讯作者

[arXiv][项目页面][哔哩哔哩视频]

新闻

• [30/06/2024]: OmniNxt 被接受在 IROS 2024 上发表。
• [15/08/2024] V0.1 版本发布

硬件

您可以使用 Fusion360 访问我们最新的设计。

项目链接: https://a360.co/3vK6dJd

访问码: hkustUAV

零件清单

所有组件均可在淘宝购买

组件	规格	链接
四鱼眼相机套件
OAK-FFC-4P	相机控制板	官方 / 淘宝
B0335 (OV9782)	相机模块 (210 度鱼眼镜头)	官方 / 淘宝
相机线缆	定制	相机线缆原理图
板载计算机
Jetson Orin Nx
Jetson Orin Nx 载板		DM
Jetson Orin Nx 散热器
Jetson Orin 网卡
2230 固态硬盘
Intel AX200
飞行平台 (6S)
Nxt-FC	项目页面	MicoAir / 淘宝
飞行框架	定制	Fusion360
保护装置	定制 / Oddity RC XI35 保护装置	Fusion360 / Oddity RC
电机	2204 1750KV / 1804 2450KV
6S 电池

相机线缆原理图

系统设置

多鱼眼相机组

相机硬件准备和 ROS 驱动程序, 参见 oak_ffc_4p

校准这个相机组, 参见 quater-calib

Jetson Orin

我们的 Jetson 信息: 这是一份英文到中文的翻译，请参考以下中文版本：

我们建议您遵循以下设置以避免冲突(特别是CUDA和tensorRT)。

Nxt-FC

我们开放了一个硬币大小的基于PX4的飞行控制器,请参考NXT-FC

请按照"设置Nxt-FC"部分来配置您的飞行控制器。

运行环境设置

我们的Omni-VINS和Omni-Depth是从D2SLAM开发而来。由于在本地主机(Jetson Orin)上构建Docker镜像通常需要很长时间,我们建议您从Docker Hub拉取这些镜像。

Docker镜像的结构如下:

步骤 1 将仓库克隆到您的本地机器

git clone --branch pr_fix_main https://github.com/HKUST-Aerial-Robotics/D2SLAM.git

步骤 2 按照我们的模板配置您的四相机参数和VINS参数

cd ./D2SLAM/config/quadcam_drone_nxt_tmp

如果您已经校准了您的四个鱼眼相机集,您可以简单地替换同名的文件,包括:

1. stereo_calib_n_m_240_320.yaml(n和m是相机编号;用于Omni-Depth)。
2. fisheye_cams.yaml(用于Omni-VINS)。

步骤 3 使用您的本地环境配置./start_docker.sh脚本

./start_docker.sh文件在**./D2SLAM**目录下。

使用您本地主机环境下的绝对路径修改以下参数:

1. DATA_SET (数据集所在位置)(可选)

然后在D2SLAM目录下运行以下命令(非常重要,这将把您的D2SLAM目录映射到容器中):

./start_docker.sh 1

步骤 4 启动算法模块

同时运行所有算法模块(Omni-VINS和Omni-Depth)

## 您应该在/root/swarm_ws/下
source ./devel/setup.bash
roslaunch d2vins quadcam.laucnh

仅启动Omni-VINS,请移除红框中的节点

然后

source ./devel/setup.bash
roslaunch d2vins quadcam.laucnh

仅启动Omni-Depth

source ./devel/setup.bash
roslaunch quadcam_depth_est depth-node.launch

[注意]如果您第一次运行Omni-VINS和Omni-Depth,这两个模块的初始化时间会比较长,因为它们需要生成推理引擎。

差不多完成了

如果一切正常,您将看到

这意味着Omni-VINS(D2VINS)初始化正常。

以及

对于Omni-Depth。

其他设置

OmniNxt px4参数:

PX4控制器

我们强烈建议您参考Fast-Lab的PX4控制器PX4-Control

我们也提供了Fast-Lab的PX4控制器的无偏航版本PX4-Control。

如果这些模块对您的研究和项目有用,请引用ZJU-Fast-Lab的工作。

飞行规划器

我们修改了一些ego-planner中的策略。我们的版本在这里ego-planner-omni-modify

如果这些模块对您的研究和项目有用,请引用ZJU-Fast-Lab的ego-planner。

故障排查

参考文献