<div align="center"> <h1>BEVBert: 用于语言引导导航的多模态地图预训练</h1> <div> <a href='https://marsaki.github.io/' target='_blank'>安东</a>; <a href='https://sites.google.com/site/yuankiqi/home' target='_blank'>祁元凯</a>; <a href='https://scholar.google.com/citations?user=a7AMvgkAAAAJ&hl=zh-CN'>李阳光</a>; <a href='https://yanrockhuang.github.io/' target='_blank'>黄岩</a>; <a href='http://scholar.google.com/citations?user=8kzzUboAAAAJ&hl=zh-CN' target='_blank'>王亮</a>; <a href='https://scholar.google.com/citations?user=W-FGd_UAAAAJ&hl=en' target='_blank'>谭铁牛</a>; <a href='https://amandajshao.github.io/' target='_blank'>邵婧</a>; </div> <h3><strong>被<a href='https://iccv2023.thecvf.com/' target='_blank'>ICCV 2023</a>接收</strong></h3> <h3 align="center"> <a href="https://arxiv.org/pdf/2212.04385.pdf" target='_blank'>论文</a> </h3> </div>

摘要

大规模预训练在视觉语言导航（VLN）任务中展现了令人瞩目的成果。然而，大多数现有的预训练方法采用离散全景图来学习视觉-文本关联。这要求模型隐式地关联全景图中不完整、重复的观察，可能会损害代理的空间理解能力。因此，我们提出了一种新的基于地图的预训练范式，专为VLN设计，具有空间感知能力。具体而言，我们构建了一个局部度量地图，明确地聚合不完整的观察并去除重复，同时在全局拓扑地图中建模导航依赖关系。这种混合设计可以平衡VLN对短期推理和长期规划的需求。然后，基于这种混合地图，我们设计了一个预训练框架来学习多模态地图表示，增强了空间感知的跨模态推理能力，从而促进语言引导的导航目标。大量实验证明了基于地图的预训练路线对VLN的有效性，所提出的方法在四个VLN基准测试（R2R、R2R-CE、RxR、REVERIE）中达到了最先进水平。

方法

待办事项

发布VLN（R2R、RxR、REVERIE）代码。
发布VLN-CE（R2R-CE）代码。
数据预处理代码。
发布检查点和预处理数据集。

设置

安装

创建虚拟环境。我们使用Python 3.6开发此项目。
```
conda env create -f environment.yaml
```
安装最新版本的Matterport3DSimulator，包括Matterport3D RGBD数据集（用于第6步）。
下载Matterport3D场景网格。必须从Matterport3D项目网页获取download_mp.py。download_mp.py也用于在第2步下载RGBD数据集。

# 使用python 2.7运行
python download_mp.py --task habitat -o data/scene_datasets/mp3d/
# 解压到：./data/scene_datasets/mp3d/{scene}/{scene}.glb

按照Habitat安装指南安装habitat-sim和habitat-lab。我们在实验中使用v0.1.7版本。简而言之：

为具有多个GPU或没有连接显示器的机器（如集群）安装habitat-sim：
```
conda install -c aihabitat -c conda-forge habitat-sim=0.1.7 headless
```

从GitHub仓库克隆habitat-lab并安装。以下命令将安装Habitat Lab的核心以及habitat_baselines。

git clone --branch v0.1.7 git@github.com:facebookresearch/habitat-lab.git
cd habitat-lab
python setup.py develop --all # 安装habitat和habitat_baselines

用于度量地图的网格特征预处理（约100G）。

# 适用于R2R、RxR、REVERIE
python precompute_features/grid_mp3d_clip.py
python precompute_features/grid_mp3d_imagenet.py
python precompute_features/grid_depth.py
python precompute_features/grid_sem.py

R2R-CE 预训练

python precompute_features/grid_habitat_clip.py python precompute_features/save_habitat_img.py --img_type depth python precompute_features/save_depth_feature.py

7. 下载预处理的指令数据集和训练好的权重[[链接]](https://drive.google.com/file/d/1jYg_dMlCDZoOtrkmmq40k-_-m6xerdUI/view?usp=sharing)。目录结构已经整理好。对于R2R-CE实验，按照[ETPNav](https://github.com/MarSaKi/ETPNav)的方法在`bevbert_ce/data`文件夹中配置VLN-CE数据集，并将训练好的CE权重[[链接]](https://drive.google.com/file/d/1-2u1NWmwpX09Rg7uT5mABo-CBTsLthGm/view?usp=sharing)放入`bevbert_ce/ckpt`。

祝你使用BEVBert进行VLN之旅顺利！

## 运行

预训练。下载预计算的图像特征[[链接]](https://drive.google.com/file/d/1S8jD1Mln0mbTsB5I_i2jdQ8xBbnw-Dyr/view?usp=sharing)到`img_features`文件夹。

CUDA_VISIBLE_DEVICES=0,1,2,3 bash scripts/pt_r2r.bash 2333 # R2R CUDA_VISIBLE_DEVICES=0,1,2,3 bash scripts/pt_rxr.bash 2333 # RxR CUDA_VISIBLE_DEVICES=0,1,2,3 bash scripts/pt_rvr.bash 2333 # REVERIE

cd bevbert_ce/pretrain CUDA_VISIBLE_DEVICES=0,1,2,3 bash run_pt/run_r2r.bash 2333 # R2R-CE


微调和测试，训练好的权重可以在步骤7中找到。

CUDA_VISIBLE_DEVICES=0,1,2,3 bash scripts/ft_r2r.bash 2333 # R2R CUDA_VISIBLE_DEVICES=0,1,2,3 bash scripts/ft_rxr.bash 2333 # RxR CUDA_VISIBLE_DEVICES=0,1,2,3 bash scripts/ft_rvr.bash 2333 # REVERIE

cd bevbert_ce CUDA_VISIBLE_DEVICES=0,1,2,3 bash run_r2r/main.bash [train/eval/infer] 2333 # R2R-CE


# 联系方式

* dong DOT an AT cripac DOT ia DOT ac DOT cn, [安东](https://marsaki.github.io/)
* yhuang AT nlpr DOT ia DOT ac DOT cn, [黄岩](https://yanrockhuang.github.io/)

# 致谢

我们的实现部分受到了[DUET](https://github.com/cshizhe/VLN-DUET)、[S-MapNet](https://github.com/vincentcartillier/Semantic-MapNet)和[ETPNav](https://github.com/MarSaKi/ETPNav)的启发。

感谢他们开源了这些出色的工作！

# 引用

如果您觉得这个仓库有用，请考虑引用我们的论文：

@article{an2023bevbert, title={BEVBert: Multimodal Map Pre-training for Language-guided Navigation}, author={An, Dong and Qi, Yuankai and Li, Yangguang and Huang, Yan and Wang, Liang and Tan, Tieniu and Shao, Jing}, journal={Proceedings of the IEEE/CVF International Conference on Computer Vision}, year={2023} }