cogagent-chat-hf

项目介绍：cogagent-chat-hf

项目概览

CogAgent是一个开源的视觉语言模型，基于CogVLM进行改进和升级。该项目的主要目的是增强图形用户界面（GUI）代理和视觉对话的功能。在CogAgent内，特别提到cogagent-chat版本，它在图形用户界面代理、视觉多轮对话、视觉定位等方面具备强大的能力，非常适合需要这些功能或需要与给定图像进行多轮对话的用户使用。

模型版本

在CogAgent项目中，有两个主要版本的模型可供选择：

• cogagent-chat：该版本在GUI代理和视觉定位以及多轮对话方面表现突出，是需要这些功能的首选。
• cogagent-vqa：针对单轮视觉问答（VQA）任务而设计，适合用于VQA基准测试，比如MMVET和VQAv2。

模型能力

CogAgent-18B是CogAgent的重要版本，具有极其强大的视觉和语言处理能力，其视觉参数达到110亿，语言参数则为70亿。该模型在图像理解和GUI代理方面表现出色，具体包括：

1. 在9个跨模态基准测试上实现了最先进的综合性能，例如VQAv2、MM-Vet、POPE等。
2. 在GUI操作数据集上大幅超越已有模型，包括AITW和Mind2Web等数据集。

除了CogVLM已经具备的功能（例如视觉多轮对话和视觉定位），CogAgent还提供了以下增强功能：

• 支持更高分辨率的视觉输入和对话问答，能够处理高达1120x1120分辨率的图像输入。
• 拥有视觉代理的能力，能够为任何GUI截图生成动作计划及操作步骤，并返回具体操作坐标。
• 增强GUI相关问答能力，能够处理任意GUI截图下的问题，如网页、PC应用程序及移动应用程序等。
• 通过改进的预训练和微调，提升了与OCR相关任务的能力。

快速开始

要快速上手CogAgent-chat，可以使用项目提供的Python代码。在命令行中运行以下命令：

python cli_demo_hf.py --bf16

这将加载并运行一个CLI交互式Demo，用户可以通过该Demo与模型进行对话并体验其视觉对话及GUI代理的功能。

许可证

CogAgent的代码以Apache-2.0许可证开源，用户如需用于商业用途，必须在相关的平台注册。注册用户可以免费使用模型进行商业活动，但需遵守许可证的所有条款和条件。

引用与致谢

如果项目对您的研究或应用有帮助，请考虑引用相关论文。在CogVLM的指令微调阶段，使用了一些来自MiniGPT-4、LLAVA、LRV-Instruction、LLaVAR和Shikra项目的英文图文数据，还使用了许多经典的跨模态工作数据集，在此表示诚挚感谢。

这个项目面向研究和实用应用提供了一套强大而灵活的工具，有助于推进在视觉语言模型领域的技术进步。