[ECCV 2024接收]Goldfish：任意长度视频的视觉-语言理解

[CVPR2024W]MiniGPT4-Video：通过交错的视觉-文本标记推进多模态LLM的视频理解

本仓库包含用于短视频理解的MiniGPT4-video和长视频理解的Goldfish的代码。

<h3 style="text-align: center;">在线演示</h3> <div style="display: flex; justify-content: center; gap: 40px;"> <div style="text-align: center;"> <a href='https://goldfish.loophole.site'> <img src='https://yellow-cdn.veclightyear.com/835a84d5/83697b83-7221-4448-8a61-259e99fbbd98.png' width=200 height=200> </a> <div> <font size=3> <div> <img src="https://yellow-cdn.veclightyear.com/835a84d5/83697b83-7221-4448-8a61-259e99fbbd98.png" width=18> <a href="https://vision-cair.github.io/Goldfish_website/">项目主页</a> <a href="https://arxiv.org/abs/2407.12679">📝 arXiv论文</a> <a href="https://huggingface.co/datasets/Vision-CAIR/TVQA-Long/tree/main">🤗 TVQA-Long数据集</a> </div> </font> </div> </div> <div style="text-align: center;"> <a href='https://huggingface.co/spaces/Vision-CAIR/MiniGPT4-video'> <img src='https://yellow-cdn.veclightyear.com/835a84d5/371a6768-fa8a-42f2-9dbf-5a24ea0ce50c.png' width=200 height=200> </a> <div> <font size=3> <div> <a href="https://vision-cair.github.io/MiniGPT4-video/">🎞️ 项目主页</a> <a href="https://arxiv.org/abs/2404.03413">📝 arXiv论文</a> </div> </font> </div> </div> </div>

概述

目前大多数基于LLM的视频理解模型可以处理几分钟内的视频，但在处理长视频时面临"噪声和冗余挑战"以及"内存和计算"挑战。在本文中，我们提出了Goldfish，一种专门用于理解任意长度视频的方法。我们还引入了TVQA-long基准，专门用于评估模型在理解长视频中视觉和文本内容问题的能力。Goldfish通过一种高效的检索机制来应对这些挑战，该机制首先收集与指令相关的前k个视频片段，然后再提供所需的响应。这种检索机制的设计使Goldfish能够高效处理任意长度的视频序列，方便其在电影或电视剧等场景中的应用。为了促进检索过程，我们开发了MiniGPT4-Video，用于为视频片段生成详细描述。为解决长视频评估基准的稀缺问题，我们通过汇总整个剧集的问题，将TVQA短视频基准调整为扩展内容分析，从而将评估从部分理解转变为完整剧集理解。我们在TVQA-long基准上达到了41.78%的准确率，比之前的方法高出14.94%。我们的MiniGPT4-Video在短视频理解方面也表现出色，在MSVD、MSRVTT、TGIF和TVQA短视频基准上分别超过现有最先进方法3.23%、2.03%、16.5%和23.59%。这些结果表明，我们的模型在长视频和短视频理解方面都有显著改进。

Goldfish框架（长视频）

<br>

MiniGPT4-Video（短视频）

:rocket: 演示

1. 克隆仓库

git clone https://github.com/Vision-CAIR/MiniGPT4-video.git
cd MiniGPT4-video

2. 设置环境

conda env create -f environment.yml

3. 下载检查点

MiniGPT4-Video (Llama2 Chat 7B)	MiniGPT4-Video (Mistral 7B)
下载	下载

4. 运行演示 金鱼演示

# 为获得推荐性能，在下面的命令中添加参数 --use_openai_embedding True，并在环境变量 OPENAI_API_KEY 中设置 API 密钥，否则模型将使用默认嵌入。
export OPENAI_API_KEY="你的_openai_密钥"
# Llama2
python goldfish_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/llama2_test_config.yaml
# Mistral
python goldfish_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/mistral_test_config.yaml

MiniGPT4-Video 演示

# Llama2
python minigpt4_video_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/llama2_test_config.yaml
# Mistral
python minigpt4_video_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/mistral_test_config.yaml

推理

执行之前的步骤，并用此步骤替换步骤 4 金鱼推理

# 为获得推荐性能，在下面的命令中添加参数 --use_openai_embedding True，并在环境变量 OPENAI_API_KEY 中设置 API 密钥，否则模型将使用默认嵌入。
export OPENAI_API_KEY="你的_openai_密钥"
# Llama2
python goldfish_inference.py --ckpt llama2检查点路径 --cfg-path test_configs/llama2_test_config.yaml --video_path 视频路径 --question "你的问题"
# Mistral
python goldfish_inference.py --ckpt mistral检查点路径 --cfg-path test_configs/mistral_test_config.yaml --video_path 视频路径 --question "你的问题"

MiniGPT4-Video 推理

# Llama2
python minigpt4_video_inference.py --ckpt llama2检查点路径 --cfg-path test_configs/llama2_test_config.yaml --video_path 视频路径 --question "你的问题"
# Mistral
python minigpt4_video_inference.py --ckpt mistral检查点路径 --cfg-path test_configs/mistral_test_config.yaml --video_path 视频路径 --question "你的问题"

:fire: 训练

对于金鱼和 MiniGPT4-Video，唯一的训练部分是 MiniGPT4-Video 模型。

为您自己的视频-文本数据集自定义 MiniGPT4-Video

您可以在 Custom_training.md 中找到为您自己的视频-文本数据集自定义 MiniGPT4-Video 的步骤。

训练数据集

下载以下数据集后，您应该前往数据集配置文件夹 minigpt4/configs/datasets，在那里为每个数据集设置路径。

图像文本训练 您可以在 MiniGPT4 中找到下载数据集的步骤

• LAION
• Conceptual Captions
• SBU

视频文本训练：

• CMD
• Webvid
• Video Instructional Dataset 100K

您可以在这里找到视频文本数据集的注释文件 下载

模型训练：

您可以在下面的每个 script.sh 中编辑 GPU 数量

阶段 1（图像文本预训练）

您可以直接下载与 Llama2 对齐的预训练 MiniGPT4 检查点。

或者自行训练：

# 预训练
# Llama2
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_llama2_image.yaml
# Mistral
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_mistral_image.yaml

# 对齐
# 要启动第二阶段对齐，首先指定预训练阶段训练的检查点文件路径。
# Llama2
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_llama2_image_align.yaml
# Mistral
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_mistral_image_align.yaml

您可以从这里下载我们为此阶段训练的权重 Llama2 Mistral

阶段 2（视频字幕预训练）

对于 Llama2 在脚本中将 cfg-path 设置为 train_configs/224_v2_llama2_video_stage_2.yaml 在这里将模型名称设置为 llama2：minigpt4/configs/datasets/cmd_video/default.yaml 和 minigpt4/configs/datasets/webvid/default.yaml

对于 Mistral 在脚本中将 cfg-path 设置为 train_configs/224_v2_mistral_video_stage_2.yaml 在这里将模型名称设置为 mistral：minigpt4/configs/datasets/cmd_video/default.yaml 和 minigpt4/configs/datasets/webvid/default.yaml

bash training_scripts/stage_2.sh

您可以从这里下载我们为此阶段训练的权重 Llama2 Mistral

阶段 3（视频指令微调）

对于 Llama2 在脚本中将 cfg-path 设置为 train_configs/224_v2_llama2_video_stage_3.yaml 在这里将模型名称设置为 llama2：minigpt4/configs/datasets/video_chatgpt/default.yaml

对于 Mistral 在脚本中将 cfg-path 设置为 train_configs/224_v2_mistral_video_stage_3.yaml 在这里将模型名称设置为 mistral：minigpt4/configs/datasets/video_chatgpt/default.yaml

bash training_scripts/stage_3.sh

您可以从这里下载我们为此阶段训练的权重 Llama2 Mistral

:zap: MiniGPT4-Video 评估

要重现结果，请使用每个模型的最佳检查点 Llama2 Mistral 我们使用与 Video-ChatGPT 相同的评估方法

方法	使用字幕	信息正确性	细节导向性	上下文理解	时间理解	一致性
LLaMA Adapter	:x:	2.03	2.32	2.30	1.98	2.15
Video LLaMA	:x:	1.96	2.18	2.16	1.82	1.79
Video Chat	:x:	2.23	2.50	2.53	1.94	2.24
Video-ChatGPT	:x:	2.40	2.52	2.62	1.98	2.37
BT-Adapter-7B	:x:	2.68	2.69	3.27	2.34	2.46
LLaMA-VID-7B	:x:	2.96	3.00	3.53	2.46	2.51
我们的7B Llama2	:x:	2.93	2.97	3.45	2.47	2.60
我们的7B Llama2	:white_check_mark:	3.08	3.02	3.57	2.65	2.67
我们的7B Mistral	:x:	2.83	2.52	3.01	2.32	2.40
我们的7B Mistral	:white_check_mark:	2.91	2.57	3.11	2.33	2.39

方法	使用字幕	MSVD 准确率↑	MSVD 得分↑	MSRVTT 准确率↑	MSRVTT 得分↑	TGIF 准确率↑	TGIF 得分↑	ActivityNet 准确率↑	ActivityNet 得分↑	TVQA 准确率↑
FrozenBiLM	:x:	32.2	--	16.8	--	41	--	24.7	--	29.7
LLaMA Adapter	:x:	54.9	3.1	43.8	2.7	--	--	34.2	2.7	--
Video LLaMA	:x:	51.6	2.5	29	1.8	--	--	12.4	1.1	--
Video Chat	:x:	56.3	2.8	45	2.5	34.4	2.3	26.5	2.2	--
Video-ChatGPT	:x:	64.9	3.3	49.3	2.8	51.4	3.0	35.2	2.7	23.35
BT-Adapter-7B	:x:	67.7	3.7	57	3.2	--	--	45.7	3.2	--
LLaMA-VID-7B	:x:	69.7	3.7	57.7	3.2	--	--	47.4	3.3	--
我们的7B LLama2	:x:	72.93	3.84	58.83	3.29	67.9	3.71	45.85	3.23	36.45
我们的7B Llama2	:white_check_mark:	72.93	3.84	59.73	3.3	67.9	3.71	46.3	3.4	46.94
我们的7B Mistral	:x:	73.92	4.06	58.26	3.52	72.22	4.08	44.25	3.35	33.90
我们的7B Mistral	:white_check_mark:	73.92	4.06	58.68	3.53	72.22	4.08	44.38	3.36	54.21

下载评估数据集

• MSVD <br>
• MSRVTT <br>
• TGIF <br>
• ActivityNet <br>
• TVQA <br>
• Video-ChatGPT 基准 <br>

您可以在此处找到评估数据集注释文件 下载 <br>

MSR-VTT 和 ActivityNet 的字幕可在此处获取 下载 注意：这些字幕是使用 <a href="https://github.com/openai/whisper">whisper 模型</a> 生成的<br> TVQA 字幕可以从这里下载

运行评估脚本

在脚本中设置每个评估脚本的参数 <br>

NAME="" # 实验名称
BATCH_SIZE=8 # 批次大小 
CKPT_PATH="" # 检查点路径
DATASET="msvd" # 数据集名称，可用数据集：tvqa, msrvtt, msvd, activitynet, tgif, video_chatgpt_generic, video_chatgpt_temporal, video_chatgpt_consistency
# 设置数据集文件的路径
videos_path="" # 视频文件路径
subtitles_path="" # 如果数据集是 msrvtt、activitynet 或 tvqa，则为字幕文件路径，否则设置为 ""
ann_path="" # 注释文件路径
cfg_path="" # 配置文件路径

<br>

bash evaluation/minigpt4_video_eval/minigpt4_video_evalualtion.sh

然后使用 GPT3.5 turbo 将预测结果与真实值进行比较，并生成准确率和得分 <br> 在 evaluate_benchmark.sh 和 evaluate_zeroshot.sh 中设置这些变量 <br>

PRED="预测结果路径"
OUTPUT_DIR="输出目录路径"
API_KEY="openAI_密钥"
NUM_TASKS=128

然后要评估 [Video-ChatGPT 基准]，运行以下脚本 <br>

bash GPT_evaluation/evaluate_benchmark.sh

要评估开放式问题，运行以下脚本 <br>

bash GPT_evaluation/evaluate_zeroshot.py

:zap: 金鱼评估

四个基准测试的长视频基准测试结果：LLama-Vid、MovieChat、Movie QA 和我们提出的 TVQA-Long。"V"模态表示仅使用视频帧，而"V+T"表示同时使用视频帧和字幕

方法	模态	LLama-Vid 准确率↑	LLama-Vid 得分↑	MovieChat 准确率↑	MovieChat 得分↑	Movie QA 准确率↑	Movie QA 得分↑	TVQA-Long 准确率↑	TVQA-Long 得分↑
LLAMA-VID	V	20.68	2.41	53.2	3.81	24.42	2.19	24.63	2.16
MovieChat	V	11.71	1.45	NA	NA	16.18	1.68	5.0	0.86
我们的	V	23.09	2.19	67.6	4.23	28.49	2.8	28.61	2.78
LLAMA-VID	V+T	41.4†	3.07†	NA	NA	37.65†	3.03†	26.86	2.21
我们的	V+T	31.49	2.48	NA	NA	35.24	3.1	41.78	3.21
注意：符号†表示该方法在训练过程中使用了基准数据集，这意味着比较不公平。

要复现结果，请使用 checkpoints/video_llama_checkpoint_last.pth 并使用 OpenAI 嵌入 --use_openai_embedding=True

下载评估数据集

对于 Llama-vid 和 MovieQA 从这里下载原始 MovieNet 数据，包括电影和注释 这将是 Llama-vid 和 MovieQA 的源视频

与论文中所述相同的经过筛选的注释，用于评估

Llama-vid MovieQA 对于 Moviechat，在实现此工作时唯一可用的视频是训练数据的 10%，这就是我们用于评估的内容，可以在这里找到 完整数据集可以在这里找到 对于 TVQA-Long 如果你想将 TVQA-Long 用于另一个模型（llama-vid），视频和注释都可以在这里找到 TVQA-Long。 对于 Goldfish 评估，我们将使用来自原始 TVQA 数据集的分离片段

运行评估脚本

# Llama-vid 评估
# 在脚本中设置这些参数
videos_path="视频路径"
subtitle_path="字幕路径"
video_clips_saving_path="保存视频片段的路径"
annotation_file="注释文件路径"
movienet_annotations_dir="movienet 注释目录路径"
NEIGHBOURS=3
use_openai_embedding="是否使用 openai 嵌入"
# 然后运行脚本
bash evaluation/Goldfish_eval/movies/eval_model_summary_llama_vid.sh

# MovieQA 评估
# 与上面相同，但在脚本中设置参数为 MovieQA 路径
bash evaluation/Goldfish_eval/movies/eval_model_summary_movie_qa.sh

# MovieChat 评估
# 在脚本中设置这些参数
dataset_path="电影文件夹路径"
annotation_json_folder="json 文件夹路径"
# 然后运行脚本
bash evaluation/Goldfish_eval/movies/eval_model_summary_movie_chat.sh

TVQA-Long

对于 Goldfish 评估，我们可以使用来自原始 TVQA 数据集的原始分离片段 从这里下载原始 TVQA 视频和短视频的片段字幕 tvqa_long_annotation 在这里 tvqa_json_subtitles 在这里

# 在脚本中设置这些参数
tvqa_json_subtitles="tvqa json 字幕文件路径"
tvqa_clips_subtitles="tvqa 片段字幕路径"
videos_frames="视频帧路径"
tvqa_long_annotation="TVQA-Long 注释文件路径"
NEIGHBOURS=3
use_openai_embedding="是否使用 openai 嵌入"
# 然后运行脚本
bash evaluation/Goldfish_eval/tvqa_eval/eval_model_summary.sh

然后使用 GPT3.5 turbo 将预测与真实值进行比较，并生成准确度和分数 在 evaluate_zeroshot.sh 中设置这些变量

PRED="预测路径"
OUTPUT_DIR="输出目录路径"
API_KEY="openAI_密钥"
NUM_TASKS=128

要评估开放式问题，请运行以下脚本

bash GPT_evaluation/evaluate_zeroshot.sh

引用

如果您在研究或应用中使用 MiniGPT4-Video 或 Goldfish，请使用以下 BibTeX 进行引用：

@misc{ataallah2024goldfishvisionlanguageunderstandingarbitrarily,
      title={Goldfish: Vision-Language Understanding of Arbitrarily Long Videos}, 
      author={Kirolos Ataallah and Xiaoqian Shen and Eslam Abdelrahman and Essam Sleiman and Mingchen Zhuge and Jian Ding and Deyao Zhu and Jürgen Schmidhuber and Mohamed Elhoseiny},
      year={2024},
      eprint={2407.12679},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.12679}, 
}
@article{ataallah2024minigpt4,
  title={MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens},
  author={Ataallah, Kirolos and Shen, Xiaoqian and Abdelrahman, Eslam and Sleiman, Essam and Zhu, Deyao and Ding, Jian and Elhoseiny, Mohamed},
  journal={arXiv preprint arXiv:2404.03413},
  year={2024}
}

致谢

MiniGPT4 Video-ChatGPT

许可

本仓库使用 BSD 3-Clause License。 许多代码基于 MiniGPT4。