GPT4RoI

GPT4RoI 项目简介

项目背景

GPT4RoI 是一个创新项目，旨在通过“兴趣区域（Region-of-Interest）”进行大语言模型的指令微调。这一项目的主旨是在对特定图像区域的理解和生成方面提升人工智能的能力。项目由张士龙、孙佩泽、陈寿发等研究人员共同贡献。

项目亮点

• 图像区域理解：利用对单一以及多重区域的理解，GPT4RoI可以在复杂的视觉任务中识别和解释特定图像区域。
• 优质数据集：使用了如RefCOCO、RefCOCO+ 等多个知名数据集，确保模型接受多样且具有挑战性的数据学习。
• 灵活的项目实现：支持用户通过合适的环境配置和数据准备，以最优化的方式在本地运行和测试该系统。

更新与版本

• 版本发布：最新的GPT4RoI-7B-delta-V0已经发布，提供了结合原始LLaMA权重以获得最终模型的指引。
• 代码开放：项目的训练和推理代码已全面开放，用户可以在演示网站上体验模型的效果。

数据准备

项目涉及使用的主要数据集包括RefCOCO、RefCOCO+、RefCOCOg、Visual Genome、Flickr30K以及VCR数据集。研究团队致力于整理并统一这些数据格式，以便将来为模型带来更强的性能。用户可以在指定的目录下组织数据集文件，并通过配置文件选择使用的特定数据集。

模型权重

由于LLaMA的许可限制，用户需要将GPT4RoI的delta权重与原始LLaMA权重结合使用，以获得完整的模型。

1. 下载LLaMA-7B权重：从Hugging Face平台获取。
2. 下载GPT4RoI的delta权重：也通过Hugging Face平台获取。
3. 应用权重：利用提供的脚本，将delta应用到原始权重上。

训练流程

GPT4RoI的训练过程分为两个阶段：

• 阶段1：基于指令微调的聊天机器人Vicuna做为初始模型，结合相应的投影权重文件。
• 阶段2：以阶段1的结果为基础进行进一步训练和优化。

用户体验

项目提供了Gradio界面，用户可以在Gradio Box环境中运行项目，通过简单的Python命令启动应用程序进行交互体验。

致谢

项目的成功离不开以下开源项目的支持：

• LLaVA：项目的基础代码库。
• Vicuna：使用的语言模型。
• VCR数据集：关键的兴趣区域推理数据集。

如果在研究中应用了GPT4RoI项目，请按照文末的BibTeX格式引用相关文献，以表达对项目团队的感谢。