VisualGLM-6B 学习资料汇总 - 开源多模态中英双语对话模型

VisualGLM-6B简介

VisualGLM-6B是由清华大学开源的一个支持图像、中文和英文的多模态对话语言模型。它基于ChatGLM-6B语言模型,通过训练BLIP2-Qformer构建起视觉模型与语言模型的桥梁,整体模型共78亿参数。

VisualGLM-6B具有以下特点:

• 支持图像、中文和英文的多模态对话
• 基于ChatGLM-6B,具有62亿参数
• 通过BLIP2-Qformer连接视觉模型和语言模型
• 在30M中文和300M英文图文对上进行预训练
• 支持低资源设备部署,INT4量化后最低只需6.3G显存

官方资源

• GitHub仓库: https://github.com/THUDM/VisualGLM-6B
• Hugging Face模型: https://huggingface.co/THUDM/visualglm-6b
• 技术报告: https://arxiv.org/abs/2103.10360

使用教程

1. 安装依赖:

pip install -r requirements.txt

2. 使用Transformers加载模型:

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True).half().cuda()

image_path = "your_image_path"
response, history = model.chat(tokenizer, image_path, "描述这张图片。", history=[])
print(response)

3. 运行Demo:

python web_demo.py  # 网页版Demo
python cli_demo.py  # 命令行Demo 

模型微调

VisualGLM-6B支持以下几种微调方式:

• LoRA
• QLoRA
• P-tuning

微调示例代码:

bash finetune/finetune_visualglm.sh

部署

• 命令行部署: python cli_demo.py
• 网页部署: python web_demo.py
• API部署: python api.py

模型量化

model = AutoModel.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True).quantize(8).half().cuda()

相关项目

• XrayGLM: 基于VisualGLM-6B的X光诊断问答模型
• StarGLM: 基于VisualGLM-6B的天文图像问答模型

总结

VisualGLM-6B作为一个开源的多模态对话模型,为研究者和开发者提供了丰富的学习和应用资源。通过本文的介绍和资源汇总,相信读者可以快速上手使用VisualGLM-6B,并根据自己的需求进行进一步的开发和优化。