VILA: 视觉语言模型的预训练

VILA arxiv / VILA 演示 / VILA Huggingface

💡 简介

VILA是一个通过大规模交错图像-文本数据预训练的视觉语言模型（VLM），具备视频理解和多图像理解能力。VILA可通过AWQ 4位量化和TinyChat框架在边缘设备上部署。我们发现：(1)图像-文本对不足以实现这些能力，交错图像-文本数据至关重要；(2)在交错图像-文本预训练期间解冻LLM可实现上下文学习；(3)重新混合纯文本指令数据对提升VLM和纯文本性能至关重要；(4)令牌压缩可以扩展视频帧数。VILA展现了令人兴奋的能力，包括：视频推理、上下文学习、视觉思维链和更好的世界知识。

💡 新闻

[2024/07] VILA1.5在MLVU测试排行榜上也获得第一名（开源模型）。
[2024/06] VILA1.5现在是MMMU排行榜和Video-MME排行榜上表现最佳的开源VLM！
[2024/05] 我们发布了VILA-1.5，它提供视频理解能力。VILA-1.5有四种模型规模：3B/8B/13B/40B。
[2024/05] 我们发布了AWQ量化的4位VILA-1.5模型。VILA-1.5可通过TinyChat和TensorRT-LLM后端在各种NVIDIA GPU（A100、4090、4070笔记本、Orin、Orin Nano）上高效部署。
[2024/03] VILA已被CVPR 2024接收！
[2024/02] 我们发布了AWQ量化的4位VILA模型，可通过TinyChat和TinyChatEngine在Jetson Orin和笔记本电脑上部署。
[2024/02] VILA发布。我们提出了交错图像-文本预训练，使多图像VLM成为可能。VILA具有令人印象深刻的上下文学习能力。我们开源了所有内容：包括训练代码、评估代码、数据集和模型检查点。
[2023/12] 论文已在Arxiv上发布！

性能

图像问答基准

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$	精度	VQAv2	GQA	VizWiz	SQA-I	VQA-T	POPE	MME	MMB	MMB-CN	SEED	SEED-I	MMMU (验证)	MMMU (测试)	llava-bench	MM-Vet	平均值
VILA1.5-3B	fp16	80.4	61.5	53.5	69.0	60.4	85.9	1442.44	63.4	52.7	60.9	67.9	33.3	30.8	75.9	35.4	60.2
VILA1.5-3B-AWQ	int4	80.0	61.1	53.8	67.8	60.4	85.9	1437.34	63.3	51.4	59.8	66.6	32.7	31.1	75.0	37.3	59.9
VILA1.5-3B-S2	fp16	79.8	61.4	61.3	69.6	63.4	85.3	1431.65	62.8	52.2	60.0	66.4	32.8	31.3	76.7	38.6	60.9
VILA1.5-3B-S2-AWQ	int4	79.4	61.3	62.3	69.2	63.0	85.8	1417.06	61.6	51.5	59.1	65.7	33.4	30.4	77.1	36.7	60.5
Llama-3-VILA1.5-8B	fp16	80.9	61.9	58.7	79.9	66.3	84.4	1577.01	72.3	66.2	64.2	71.4	36.9	36.0	80.0	38.3	65.1
Llama-3-VILA1.5-8B-AWQ	int4	80.3	61.7	59.3	79.0	65.4	82.9	1593.65	71.0	64.9	64.0	71.1	36.0	36.1	79.0	37.2	64.5
VILA1.5-13B	fp16	82.8	64.3	62.6	80.1	65.0	86.3	1569.55	74.9	66.3	65.1	72.6	37.9	33.6	80.8	44.3	66.3
VILA1.5-13B-AWQ	int4	82.7	64.5	63.3	79.7	64.7	86.7	1531.35	74.7	66.7	65.1	72.6	37.8	34.0	81.9	46.4	66.5
VILA1.5-40B	fp16	84.3	64.6	62.2	87.2	73.6	87.3	1726.82	82.4	80.2	69.1	75.8	51.9	46.9	81.3	53.0	72.4
VILA1.5-40B-AWQ	int4	84.1	64.4	61.3	86.7	73.2	88.2	1714.79	83.2	79.6	68.9	75.6	49.3	46.2	83.0	51.4	72.1

<sup>注：VQAV2和VizWiz为测试开发集结果，平均准确率是在所有数据集上计算得出的，MME的数值除以20。</sup>

视频问答基准测试

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$	精度	感知测试	ActivityNet	MSVD	MSRVTT	TGIF
VILA1.5-3B	fp16	47	50.2	76.6	57.5	51.7
VILA1.5-3B-S2	fp16	49.7	50.7	76.9	57.6	51.7
Llama-3-VILA1.5-8B	fp16	54.1	54.3	78.3	60.1	54.1
VILA1.5-13B	fp16	53.6	54.7	77.9	60.2	56
VILA1.5-40B	fp16	54	58	80.1	63	58.2

推理速度（令牌/秒）

$~~~~~~$	精度	A100	4090	Orin
VILA1.5-3B	fp16	104.6	137.6	25.4
VILA1.5-3B-AWQ	int4	182.8	215.5	42.5
VILA1.5-3B-S2	fp16	104.3	137.2	24.6
VILA1.5-3B-S2-AWQ	int4	180.2	219.3	40.1
Llama-3-VILA1.5-8B	fp16	74.9	57.4	10.2
Llama-3-VILA1.5-8B-AWQ	int4	168.9	150.2	28.7
VILA1.5-13B	fp16	50.9	OOM	6.1
VILA1.5-13B-AWQ	int4	115.9	105.7	20.6
VILA1.5-40B	fp16	OOM	OOM	--
VILA1.5-40B-AWQ	int4	57.0	OOM	--
<sup>注：使用 TinyChat 后端在批处理大小 = 1 的情况下测量。</sup>

VILA 示例

视频字幕

https://github.com/Efficient-Large-Model/VILA/assets/156256291/c9520943-2478-4f97-bc95-121d625018a6

提示：详细阐述视频中的视觉和叙事元素。

字幕：视频显示一个人的双手在一个白色表面上工作。他们正在折叠一块蓝白格子图案的布料。布料被折叠成更小、更紧凑的形状。这个人的指甲涂成红色，穿着黑色和红色的衣服。表面上还有一把尺子和一支铅笔，表明这个过程涉及测量和精确性。

上下文学习

多图像推理

Jetson Orin 上的 VILA

https://github.com/Efficient-Large-Model/VILA/assets/7783214/6079374c-0787-4bc4-b9c6-e1524b4c9dc4

RTX 4090 上的 VILA

https://github.com/Efficient-Large-Model/VILA/assets/7783214/80c47742-e873-4080-ad7d-d17c4700539f

</details>

安装

./environment_setup.sh

或按顺序遵循以下说明。

conda create -n vila python=3.10 -y # 确保安装 Python 3.10
conda activate vila

pip install --upgrade pip  # 启用 PEP 660 支持
# 如果您更喜欢使用系统内置的 nvcc，这一步是可选的。
conda install -c nvidia cuda-toolkit -y
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.4.2/flash_attn-2.4.2+cu118torch2.0cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
pip install flash_attn-2.4.2+cu118torch2.0cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
pip install -e .
pip install -e ".[train]"

pip install git+https://github.com/huggingface/transformers@v4.36.2
site_pkg_path=$(python -c 'import site; print(site.getsitepackages()[0])')
cp -rv ./llava/train/transformers_replace/* $site_pkg_path/transformers/

训练

VILA 训练包含三个步骤，具体超参数请查看 scripts/v1_5 文件夹：

步骤 1：对齐

我们利用 LLaVA-CC3M-Pretrain-595K 数据集来对齐文本和视觉模态。

第一阶段脚本接受两个参数，可以在单个 8xA100 节点上运行。BASE_MODEL_PATH 指向在线或本地的 huggingface 仓库，例如 NousResearch/Llama-2-7b-hf。OUTPUT_NAME 指向 checkpoints 下的目标目录，之后将保存训练好的多模态投影器。

bash scripts/v1_5/paper/1_mm_align.sh [BASE_MODEL_PATH] [OUTPUT_NAME]

步骤 2：预训练

我们使用 MMC4 和 Coyo 数据集，以交错的图像-文本对来训练 VLM。

bash scripts/v1_5/paper/2_pretrain_mmc4_coyo.sh [CODE_PATH] [BASE_MODEL_PATH] [STAGE1_PATH] [OUTPUT_NAME]

第二阶段脚本接受四个参数。CODE_PATH 是 VILA 代码库的绝对路径，BASE_MODEL_PATH 的含义与第一阶段脚本中相似。STAGE1_PATH 指向第一阶段的 OUTPUT_NAME（即第一阶段检查点的存储位置）。OUTPUT_NAME 是 checkpoints 下保存预训练检查点的所需文件夹名称。我们提供的这个阶段的脚本在 slurm 上执行，我们期望它在 16 个节点（128 个 GPU）上执行。

步骤 3：监督微调

这是 VILA 训练的最后阶段，我们在 M3IT、FLAN 和 ShareGPT4V 的子集上微调模型以遵循多模态指令。这个阶段在 8xA100 节点上运行。

bash scripts/v1_5/paper/3_sft.sh [STAGE2_PATH] [OUTPUT_NAME]

第三阶段脚本接受两个参数。STAGE2_PATH 指向第二阶段脚本的 OUTPUT_NAME（即第二阶段检查点的存储位置）。OUTPUT_NAME 是 checkpoints 下存储最终检查点的所需文件夹名称。

评估

图像基准

您可以按照 Llava1.5 eval 下载所有数据集。下载所有数据集后，请将它们放在 playground/data/eval 下。

请对 MME 评估脚本进行以下更改。请搜索：

data_path='MME_Benchmark_release_version'

并将其替换为：

data_path=os.path.join(script_dir, 'MME_Benchmark_release_version')

我们提供了一个一键式脚本来对不需要 GPT 辅助评估的所有 10 个数据集进行评估：

./scripts/v1_5/eval/eval_all.sh [CHECKPOINT_PATH] [MODEL_NAME] [CONV_MODE]

这个脚本接受两个参数，CHECKPOINT_PATH 指向第三阶段模型检查点，MODEL_NAME 将是评估结果的名称。

VQAv2 和 Vizwiz 评估托管在 eval.ai 上。您需要注册一个账户并创建一个团队才能提交评估。

MMBench 和 MMBench_CN 评估托管在另一个评估服务器上。确保在提交之前更改文件名，否则服务器会缓存结果并总是向您返回错误的结果。

我们提供了一个快速脚本来自动组织需要提交到服务器的预测文件：

python scripts/v1_5/eval/copy_predictions.py [MODEL_NAME]

执行此脚本后，您将能够在 playground/data/predictions_upload/[MODEL_NAME] 下找到预测结果。

视频基准

请按照 Video-LLaVA 中的评估步骤准备数据集。

./scripts/v1_5/eval/video_chatgpt/run_all.sh [CHECKPOINT_PATH] [MODEL_NAME] [CONV_MODE]
./scripts/v1_5/eval/video_chatgpt/eval_all.sh [MODEL_NAME]

推理

我们提供了用户提示和图像的快速推理代码片段。

Llama-3-VILA1.5-8B 推理：

python -W ignore llava/eval/run_vila.py \
    --model-path Efficient-Large-Model/Llama-3-VILA1.5-8b \
    --conv-mode llama_3 \
    --query "<image>\n 请描述交通状况。" \
    --image-file "av.png"

VILA1.5-40B 推理：

python -W ignore llava/eval/run_vila.py \
    --model-path Efficient-Large-Model/VILA1.5-40b \
    --conv-mode hermes-2 \
    --query "<image>\n 请描述交通状况。" \
    --image-file "av.png"

VILA1.5-3B 视频推理：

python -W ignore llava/eval/run_vila.py \
    --model-path Efficient-Large-Model/VILA1.5-3b \
    --conv-mode vicuna_v1 \
    --query "<video>\n 请描述这段视频。" \
    --video-file "demo.mp4"

量化和部署

我们的VILA模型通过AWQ量化为4位以实现边缘设备上的高效推理。我们提供了一个一键式脚本来使用AWQ对VILA进行量化。

在GPU和边缘GPU（Jetson Orin）上运行VILA

我们通过TinyChat支持在GPU平台上运行AWQ量化的4位VILA。我们提供了一个教程，指导如何在AWQ量化后使用TinyChat运行模型。我们还提供了说明，介绍如何启动Gradio服务器（由TinyChat和AWQ提供支持）来部署4位量化的VILA模型。

在笔记本电脑上运行VILA

我们进一步通过TinyChatEngine支持在各种CPU平台（包括x86和ARM架构）上运行我们的AWQ量化4位VILA模型。我们还提供了详细的教程，帮助用户在不同的CPU上部署VILA。

检查点

我们发布了VILA1.5-3B、VILA1.5-3B-S2、Llama-3-VILA1.5-8B、VILA1.5-13B、VILA1.5-40B以及4位AWQ量化模型VILA1.5-3B-AWQ、VILA1.5-3B-S2-AWQ、Llama-3-VILA1.5-8B-AWQ、VILA1.5-13B-AWQ、VILA1.5-40B-AWQ。

🔒 许可证

代码根据LICENSE文件中的Apache 2.0许可证发布。
预训练权重根据CC-BY-NC-SA-4.0许可证发布。
该服务是仅供非商业用途的研究预览版，受以下许可和条款约束：
- LLaMA的模型许可证。对于LLAMA3-VILA检查点使用条款，请参阅LLAMA3许可证以了解更多详情。
- OpenAI生成数据的使用条款
- 训练期间使用的每个数据集许可证。

团队


*陆瑶：英伟达	*尹鸿旭：英伟达	*林记：OpenAI（在英伟达和麻省理工学院完成的工作）
魏平：英伟达	帕夫洛·莫尔恰诺夫：英伟达	陶振华：英伟达
唐浩天：麻省理工学院	杨尚：麻省理工学院	朱立庚：英伟达，麻省理工学院
王伟晨：麻省理工学院	薛福照：英伟达，新加坡国立大学	方运昊：英伟达，加州大学圣地亚哥分校
陈宇康：英伟达，香港中文大学	张卓阳：英伟达，清华大学	申悦：英伟达
陈维明：英伟达	毛辉子：英伟达	石白枫：英伟达，加州大学伯克利分校
扬·考茨：英伟达	穆罕默德·舒艾比：英伟达	韩松：英伟达，麻省理工学院

引用

@misc{lin2023vila,
      title={VILA: On Pre-training for Visual Language Models},
      author={Ji Lin and Hongxu Yin and Wei Ping and Yao Lu and Pavlo Molchanov and Andrew Tao and Huizi Mao and Jan Kautz and Mohammad Shoeybi and Song Han},
      year={2023},
      eprint={2312.07533},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

致谢

LLaVA：我们基于此代码库进行开发。感谢他们出色的工作。
InternVL：开源了InternViT（用于VILA1.5-40b）和InternVL-SFT数据集合（受LLaVA-1.6启发），用于所有VILA1.5模型。
Vicuna：令人惊叹的开源大型语言模型！
Video-ChatGPT：我们借鉴了该仓库的视频评估脚本。
MMC4、COYO-700M、M3IT、OpenORCA/FLAN、ShareGPT4V、WIT、GSM8K-ScRel、VisualGenome、VCR、ScienceQA、Shot2Story、Youcook2、Vatex、ShareGPT-Video：为本研究提供了数据集。