地理聊天 <img src="https://yellow-cdn.veclightyear.com/ab5030c0/1ef07bc5-9765-439b-8a08-71a301de92fa.png" height="40">: 遥感领域的大型视觉语言模型 [CVPR-2024]

Kartik Kuckreja, Muhammad Sohail Danish, Muzammal Naseer, Abhijit Das, Salman Khan 和 Fahad Khan

* 同等贡献的第一作者

Mohamed bin Zayed 人工智能大学、Birla 理工学院 & 科学大学、澳大利亚国立大学、林雪平大学

📢 最新动态

2024年2月28日: 我们开源了代码、模型、数据集和评估脚本。
2024年2月27日: GeoChat 已被接收到 CVPR-24 🎉。
2023年11月28日: GeoChat 论文已发布 arxiv 链接。🔥🔥

<img src="https://yellow-cdn.veclightyear.com/ab5030c0/1ef07bc5-9765-439b-8a08-71a301de92fa.png" height="40">概述

GeoChat 是首个针对遥感(RS)场景专门设计的大型视觉语言模型。与通用领域的模型不同, GeoChat 擅长处理高分辨率的遥感图像,采用区域级推理进行全面的场景理解。利用新创建的 RS 多模态数据集,GeoChat 采用 LLaVA-1.5 架构进行微调。这使得 GeoChat 在各种 RS 任务上都具有强大的零shot性能,包括图像和区域字幕生成、视觉问答、场景分类、视觉语言交互和指涉物体检测。

内容

安装

克隆此存储库并导航到 GeoChat 文件夹

git clone https://github.com/mbzuai-oryx/GeoChat.git
cd GeoChat

安装软件包

conda create -n geochat python=3.10 -y
conda activate geochat
pip install --upgrade pip  # enable PEP 660 support
pip install -e .

安装训练所需的其他软件包

pip install ninja
pip install flash-attn --no-build-isolation

更新到最新代码库

git pull
pip uninstall transformers
pip install -e .

GeoChat 权重和演示

请查看我们的模型库获取所有公开的 GeoChat 检查点,并查看 LoRA.md了解如何运行演示和训练。

训练

GeoChat 的训练包括使用 GeoChat_Instruct 数据集进行视觉指令调优: 318k 个 Vicuna 生成的多模态指令跟踪数据,在 LlaVA-v1.5 的预训练权重上进行微调。

我们在 3 台 A100 GPU 上训练 GeoChat,每个 GPU 有 40GB 内存。如果要在较少的 GPU 上训练,可以减小 per_device_train_batch_size 并相应地增加 gradient_accumulation_steps。保持全局批量大小不变: per_device_train_batch_size x gradient_accumulation_steps x num_gpus。

超参数

我们在微调过程中使用了与 Vicuna 类似的一组超参数。以下提供了预训练和微调中使用的超参数。

超参数	全局批量大小	学习率	训练轮数	最大长度	权重衰减
GeoChat-7B	144	2e-5	1	2048	0

预训练(特征对齐)

我们使用 LLaVAv1.5 的预训练投影器,该投影器在 558K 个 LAION-CC-SBU 数据集子集上进行了训练,使用 BLIP 字幕。对于 LLaVA-v1.5-7B,这需要大约 3.5 小时。

--mm_projector_type mlp2x_gelu: 两层 MLP 视觉语言连接器。
--vision_tower openai/clip-vit-large-patch14-336: CLIP ViT-L/14 336px。

视觉指令调优

准备数据

请下载我们最终混合指令调优数据 GeoChat_Instruct.json 的注释,并从 hugging face 下载拆分的图像 zip 文件。将多个图像 zip 文件保存在单个文件夹中,并运行以下命令将它们合并:

cat images_parta* > images.zip

解压 images.zip 文件到一个文件夹,并在 finetune_lora.sh 中给出该文件夹的路径。

开始训练!

由于 CLIP 的分辨率增加到 504X504,视觉指令调优需要更多时间。在 3 台 A100 (40G) 上微调 GeoChat-7B 大约需要 ~25 小时。

使用 DeepSpeed ZeRO-3 的训练脚本: finetune_lora.sh。

需要注意的选项:

--mm_projector_type mlp2x_gelu: 两层 MLP 视觉语言连接器。
--vision_tower openai/clip-vit-large-patch14-336: CLIP ViT-L/14 336px。
--image_aspect_ratio pad: 这将 non-square 图像填充为正方形,而不是裁剪它们;它略微减少了幻觉。
--group_by_modality_length True: 仅当您的指令调优数据集同时包含语言(如 ShareGPT)和多模态(如 LLaVA-Instruct)时,才应使用此选项。

评估

我们在 7 个基准上评估 GeoChat。为了确保可重复性,我们使用贪婪解码评估模型。我们不使用beam search,而是使用与实时聊天演示一致的推理过程。请参见 Evaluation.md。

🏆 贡献

RS 多模态指令跟踪数据集。 我们提出了一个新的数据生成管道,利用现有的目标检测数据集创建图像的简短描述,然后使用 Vicuna-v1.5 创建仅使用生成文本的对话。此外,我们还添加了视觉问答和场景分类能力,使用相应的数据集。这共产生了 318k 个指令对。
GeoChat。 利用我们的数据集,我们微调 LLaVA-1.5 创建了遥感领域的视觉语言模型 - GeoChat。我们的 LoRA 微调是高效的,避免了完全微调 LLaVA 模型所必需的上下文所需的遗忘,其 MLP 投影被训练成将图像对准 LLM(Vicuna-v1.5)的词嵌入空间。这使得 GeoChat 能够保留 LLaVA 的对话和指令跟踪能力,并将其领域知识扩展到遥感任务。
评估基准。 我们还解决了现有 VLM 在遥感对话评估方面的缺失。为此,我们设置了评估遥感中的对话接地的协议,并建立了一套任务,以便与未来在这个方向的努力进行比较。我们展示了不同的监督和零shot评估,包括图像字幕生成、视觉问答和场景分类,以证明 GeoChat 对话 VLM 的广泛性。

👁️💬 GeoChat : 遥感领域的大型视觉语言模型

GeoChat 可以在一个统一的框架中完成多个遥感(RS)图像理解任务。给定合适的任务标记和用户查询,该模型可以生成视觉接地响应(带有相应对象位置的文本-显示在顶部)、图像和区域的视觉问答(左上和右下)以及场景分类(右上)和自然语言对话(底部)。这使其成为首个具有接地能力的 RS VLM。

🛰️ GeoChat : 架构

GeoChat - 第一个面向遥感的大型视觉语言模型概述。给定图像输入和用户查询,首先使用视觉主干对高分辨率的帧级tokens进行编码,通过插值位置编码实现。使用多层感知机(MLP)将视觉tokens转换为与大型语言模型(Vicuna 1.5)输入相匹配的语言空间。除了视觉输入,模型还可以接受区域位置信息和用户指定的任务提示。基于这些上下文信息,大型语言模型可以生成自然语言响应,并同时给出对应的目标区域。GeoChat可以执行多种任务,如场景分类、图像/区域描述、视觉问答和基于位置的对话。

在遥感多模态指令数据集中,我们获取了物体属性、关系信息、指称表达式和区域说明,以及对应的区域注释,用于构建丰富的指令数据集,包含318,000个图像-指令对。

GeoChat的定性结果展示了其在位置感知、指称对象检测以及灾害/损坏检测等任务上的能力。用户可以提供任务特定的标记(如[grounding])来调整模型的响应行为。模型可以生成文本响应、只有视觉感知结果,或者文本和目标位置信息的交互输出。它还能识别对象类型、数量、属性和关系。

GeoChat在视觉问答任务上也表现出色,能够基于不同类型的问题进行多轮对话,包括存在性、计数、复杂比较等。即使面对低分辨率图像,它也能够检测物体并进行相应的对话。

在场景分类任务中,我们给模型所有的数据集类别,要求其选择一个。在图像描述任务中,当使用特殊标记[grounding]时,GeoChat不仅输出图像描述,还给出所有检测到物体的边界框。在指称表达式任务中,GeoChat能够定位并用旋转边界框标注相应的物体。在区域说明任务中,给定一个边界框,GeoChat能够提供简要的区域或物体描述。