Visual-Chinese-LLaMA-Alpaca 学习资料汇总 - 多模态中文大语言模型

Visual-Chinese-LLaMA-Alpaca: 多模态中文大语言模型

Visual-Chinese-LLaMA-Alpaca(简称VisualCLA)是一个支持图像和文本输入的中文多模态大语言模型。本文汇总了该项目的相关学习资源,帮助读者快速了解和使用这个模型。

项目简介

VisualCLA在中文Alpaca模型的基础上,添加了图像编码模块,使模型能够理解视觉信息。其主要特点包括:

• 基于Chinese-LLaMA-Alpaca开发,具备多模态指令理解和对话能力
• 模型结构包含Vision Encoder、Resampler和LLM三部分
• 采用LoRA方法进行高效训练
• 开源了7B参数量的测试版模型

模型下载

VisualCLA-7B-v0.1模型下载链接:

• 百度网盘
• Google Drive

也可以在🤗Model Hub下载模型。

使用教程

1. 安装依赖:

git clone https://github.com/airaria/Visual-Chinese-LLaMA-Alpaca
cd Visual-Chinese-LLaMA-Alpaca
pip install -e .

2. 模型加载与推理:

import torch
import visualcla

model, tokenizer, _ = visualcla.get_model_and_tokenizer_and_processor(
    visualcla_model="/path/to/visualcla/model",
    torch_dtype=torch.float16,
    load_in_8bit=True
)
model.to(0)
history = []
visualcla.chat(model=model, image="image.jpg", text="描述这张图片", history=history)

3. 命令行推理:

python scripts/inference/inference.py \
    --visualcla_model /path/to/visualcla/model \
    --image_file image.jpg \
    --load_in_8bit

4. 启动Gradio demo:

python scripts/inference/gradio_demo.py --visualcla_model /path/to/visualcla/model --load_in_8bit

效果展示

以下是VisualCLA-7B-v0.1模型的一些示例效果:

更多资源

• 项目GitHub仓库
• Colab notebook
• 中文测试集

VisualCLA作为一个开源的中文多模态大语言模型,为研究人员提供了宝贵的学习资源。欢迎大家尝试使用并为项目做出贡献!