遥感多模态大语言模型精选资源

🔥🔥🔥 遥感多模态大语言模型综述 [项目主页]本页面 |

西北工业大学人工智能、光学与电子学院（iOPEN）

<div align='center'> :sparkles: 首个遥感多模态大语言模型（RS-MLLMs）综述。 </div>

✨✨✨ 精心策划的RS-MLLMs资源宝库！！！

🎉🚀💡 本网站将实时更新，追踪RS-MLLMs的最新发展状况！！！

📑📚🔍 汇集了模型架构、训练流程、数据集、综合评估基准、遥感智能代理、指令微调技术等丰富资源。

🌟🔥📢 聚焦视觉-语言领域的遥感多模态大语言模型论文集锦。

<font size=7><div align='center'> :apple: 遥感多模态大语言模型 </div></font>

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/54bd240c-937e-476d-aa1e-2b515d99e453.jpg" width="70%" height="100%"> </p> <font size=7><div align='center'> :apple: 遥感智能代理 </div></font>

如果本项目对您有帮助，请给予一个<font color='orange'>STAR ⭐</font>

📢 最新更新

在本仓库中，我们将收集并记录与遥感多模态大语言模型（视觉-语言）相关的研究人员及其杰出工作。

列表将持续更新 🔥🔥
📦 敬请期待！ 🚀
2024年5月22日：首篇RS-MLLMs综述论文已提交审稿。 🔥🔥

精选论文
精选数据集
- 对齐预训练数据集
- 多模态指令微调数据集
遥感视觉-语言任务最新评估基准

精选论文

遥感大型多模态语言模型

标题	发表场所	日期	代码	备注
<br> SkySenseGPT: 用于遥感视觉语言理解的细粒度指令调整数据集和模型 <br>J. Luo等 <br>	arXiv	2024-06-14	Github	-
<br> RS-LLaVA: 用于遥感图像联合描述和问答的大型视觉语言模型 <br>Y. Bazi, L. Bashmal, M. M. Al Rahhal, R. Ricci, 和 F. Melgani. <br>	Remote Sensing	2024-04-23	Github	-
<br> H2RSVLM: 面向有帮助和诚实的遥感大型视觉语言模型 <br> C. Pang, W. Jiang, L. Jiayu, L. Yi, S. Jiaxing, L. Weijia, W. Xingxing, W. Shuai, F. Litong, X. Guisong, H.Conghui. <br>	arXiv	2024-03-29	Github	-
Popeye: 用于多源遥感图像船舶检测的统一视觉语言模型 <br>W. Zhang, M. Cai, T. Zhang, G. Lei, Y. Zhuang, 和 X. Mao.<br>	arXiv	2024-03-06	-	-
用于遥感图像描述和检索的大型语言模型 <br>J. D. Silva, J. Magalhaes, 和 D. Tuia.<br>	arXiv	2024-02-09	-	-
<br> LHRS-Bot: 利用VGI增强的大型多模态语言模型赋能遥感 <br>D. Muhtar, Z. Li, F. Gu, X. Zhang, 和 P. Xiao. <br>	arXiv	2024-02-04	Github	-
<br> EarthGPT: 遥感领域多传感器图像理解的通用多模态大型语言模型 <br>W. Zhang, M. Cai, T. Zhang, Y. Zhuang, 和 X. Mao. <br>	arXiv	2024-01-30	Github	-
<br> SkyEyeGPT: 通过大型语言模型的指令调优统一遥感视觉语言任务 <br>Y. Zhan, Z. Xiong, 和 Y. Yuan. <br>	arXiv	2024-01-18	Github	数据集
<br> GeoChat: 遥感领域的接地大型视觉语言模型 <br>K. Kuckreja, M. S. Danish, M. Naseer, A. Das, S. Khan, 和 F. S. Khan. <br>	arXiv	2023-11-24	Github	被CVPR-24接收
<br> RSGPT: 遥感视觉语言模型和基准 <br>Y. Hu, J. Yuan, 和 C. Wen. <br>	arXiv	2023-07-28	Github	-

遥感智能代理

标题	发表地点	日期	代码	备注
RS-Agent: 通过智能代理实现遥感任务自动化 <br>W. Xu, Z. Yu, Y. Wang, J. Wang, 和 M. Peng.<br>	arXiv	2024-06-11	-	-
GeoLLM-Engine: 构建地理空间副驾驶的现实环境 <br>S. Singh, M. Fore, D. Stamoulis, 和 D. Group.<br>	arXiv	2024-04-23	-	-
评估遥感平台中的工具增强型代理 <br>S. Singh, M. Fore, 和 D. Stamoulis.<br>	arXiv	2024-04-23	-	-
<br> Change-Agent: 面向交互式全面遥感变化解释和分析 <br>C. Liu, K. Chen, H. Zhang, Z. Qi, Z. Zou, 和 Z. Shi.<br>	arXiv	2024-04-01	Github	-
<br> 遥感ChatGPT: 用ChatGPT和视觉模型解决遥感任务 <br>H. Guo, X. Su, C. Wu, B. Du, L. Zhang, 和 D. Li.<br>	arXiv	2024-01-17	Github	-
Tree-GPT: 用于森林遥感图像理解和交互式分析的模块化大型语言模型专家系统 <br>S. Du, S. Tang, W. Wang, X. Li, 和 R. Guo.<br>	arXiv	2023-10-07	-	-

遥感视觉语言预训练模型

标题	发表地点	日期	代码	备注
<br> RS5M和GeoRSCLIP: 一个大规模遥感视觉语言数据集和一个大型遥感视觉语言模型 <br>Z. Zhang, T. Zhao, Y. Guo, 和 J. Yin.<br>	arXiv	2024-01-02	Github	-
<br> RemoteCLIP: 遥感视觉语言基础模型 <br>F. Liu, D. Chen, Z. Guan, X. Zhou, J. Zhu, 和 J. Zhou.<br>	T-GRS	2024-04-18	Github	arXiv
无需注释的遥感视觉语言基础模型：通过地面遥感对齐 <br>U. Mall, C. P. Phoo, M. K. Liu, C. Vondrick, B. Hariharan, 和 K. Bala.<br>	ICLR	2024-01-16	项目	arXiv
<br> RS-CLIP: 通过对比视觉语言监督实现零样本遥感场景分类 <br>X. Li, C. Wen, Y. Hu, 和 N. Zhou.<br>	JAG	2023-09-18	Github	-
<br> 遥感图像-文本检索的参数高效迁移学习 <br>Y. Yuan, Y. Zhan, 和 Z. Xiong.<br>	T-GRS	2023-08-28	Github	arXiv

遥感视觉语言任务调查论文

标题	会议/期刊	日期	代码	备注
<br>迈向视觉语言地理基础模型：一项综述 <br>Y. Zhou, L. Feng, Y. Ke, X. Jiang, J. Yan, 和 W. Zhang.<br>	arXiv	2024-06-13	Github	arXiv
遥感中的视觉语言模型：当前进展和未来趋势 <br>X. Li, C. Wen, Y. Hu, Z. Yuan, 和 X. X. Zhu.<br>	MGRS	2024-04-22	-	-
遥感中的语言集成：任务、数据集和未来方向 <br>L. Bashmal, Y. Bazi, F. Melgani, M. M. Al Rahhal, 和 M. A. Al Zuair.<br>	MGRS	2023-10-11	-	-
脑启发遥感基础模型和开放问题：一项全面调查 <br>L. Jiao 等人.<br>	JSTARS	2023-09-18	-	-

其他

标题	会议/期刊	日期	代码	备注
地球和气候基础模型的基础 <br>X. X. Zhu 等人.<br>	arXiv	2024-05-07	Github	-
多模态基础模型在地理、环境、农业和城市规划应用中的前景与挑战 <br>C. Tan 等人.<br>	arXiv	2023-12-23	-	-
<br> 开拓新领域：探索多模态大语言模型的地理和地理空间能力 <br>J. Roberts, T. Lüddecke, R. Sheikh, K. Han, 和 S. Albanie. <br>	arXiv	2023-11-24	Github	-
Visual ChatGPT在遥感中的潜力 <br>L. P. Osco, E. L. de Lemos, W. N. Gonçalves, A. P. M. Ramos, 和 J. Marcato Junior.<br>	Remote Sensing	2023-06-22	-	-

优秀数据集

对齐预训练数据集

标题	会议/期刊	日期	代码	备注
<be> ChatEarthNet：一个全球规模、高质量的遥感图像-文本数据集 <br>Z. Yuan, Z. Xiong, L. Mou, 和 X. X. Zhu.<br>	arXiv	2024-02-17	Github	链接
<br> RS5M和GeoRSCLIP：一个大规模遥感视觉语言数据集和一个大型视觉语言模型 <br>Z. Zhang, T. Zhao, Y. Guo, 和 J. Yin.<br>	arXiv	2024-01-02	Github	-
<br> SkyScript：一个大型且语义多样的遥感视觉语言数据集 <br>Z. Wang, R. Prabha, T. Huang, J. Wu, 和 R. Rajagopal.<br>	AAAI	2024-03-24	Github	arXiv

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/50ecc2b5-5fda-49e4-b1ce-d1c34865310d.jpg" width="80%" height="100%"> </p> ## 多模态指令微调数据集 | 名称 | 论文 | 链接 | 备注 | |:-----|:-----:|:----:|:-----:| | **FIT-RS** | [SkySenseGPT：用于遥感视觉语言理解的细粒度指令微调数据集和模型](http://arxiv.org/abs/2406.10100) | [链接](https://huggingface.co/datasets/ll-13/FIT-RS) | 1800.8k | | **RS-GPT4V** | [RS-GPT4V：用于遥感图像理解的统一多模态指令跟随数据集](https://arxiv.org/abs/2406.09385) | [链接](https://github.com/GeoX-Lab/RS-GPT4V) | 991k | | **RS-instructions** | [RS-LLaVA：用于遥感图像联合描述和问答的大型视觉语言模型](https://www.mdpi.com/2072-4292/16/9/1477) | [链接](https://github.com/BigData-KSU/RS-LLaVA) | 7,058 | | **SkyEye-968k** | [SkyEyeGPT：通过大型语言模型指令微调统一遥感视觉语言任务](https://arxiv.org/abs/2401.09712.pdf) | [链接](https://huggingface.co/datasets/ZhanYang-nwpu/SkyEye-968k) | 968k | | **Multi-task Instruction** | [LHRS-Bot：利用VGI增强的大型多模态语言模型赋能遥感](https://arxiv.org/abs/2402.02544v2.pdf) | [链接](https://github.com/NJU-LHRS/LHRS-Bot) | 42,322 | | **MMRS-1M** | [EarthGPT：遥感领域多传感器图像理解的通用多模态大型语言模型](https://arxiv.org/abs/2401.16822.pdf) | [链接](https://github.com/wivizhang/EarthGPT) | >1M | | **RS-ClsQaGrd-Instruct** | [H2RSVLM：迈向有帮助和诚实的遥感大型视觉语言模型](https://arxiv.org/abs/2403.20213.pdf) | [链接](https://github.com/opendatalab/H2RSVLM) | 78k | | **MMShip** | [Popeye：用于遥感图像多源船舶检测的统一视觉语言模型](https://arxiv.org/abs/2403.03790.pdf) | [链接]() | 81k | | **RS-Specialized-Instruct** |[H2RSVLM：迈向有帮助和诚实的遥感大型视觉语言模型](https://arxiv.org/abs/2403.20213.pdf) | [链接](https://github.com/opendatalab/H2RSVLM) | 29.8k | | **RS multimodal instruction** | [GeoChat：用于遥感的基于地理信息的大型视觉语言模型](http://arxiv.org/abs/2311.15826.pdf) | [链接](https://github.com/mbzuai-oryx/geochat) | 318k | | **LHRS-Instruct** | [LHRS-Bot：利用VGI增强的大型多模态语言模型赋能遥感](https://arxiv.org/abs/2402.02544v2.pdf) | [链接](https://github.com/NJU-LHRS/LHRS-Bot) | 39.8k | | **HqDC-Instruct** | [H2RSVLM：迈向有帮助和诚实的遥感大型视觉语言模型](https://arxiv.org/abs/2403.20213.pdf) | [链接](https://github.com/opendatalab/H2RSVLM) | 30k | <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/c8700e43-2384-499e-aeba-6d23fbc848f3.jpg" width="80%" height="100%"> </p>