ShareGPT4Video

项目介绍：ShareGPT4Video

项目概述

ShareGPT4Video 是一个创新项目，旨在通过改进视频的字幕生成来提高视频理解和生成的能力。这个项目由多位来自中国科学技术大学、香港中文大学、北京大学和上海人工智能实验室的研究人员共同开发。

项目的主要特点

• 大规模视频文本数据集：ShareGPT4Video 提供了一个包含 4 万个 GPT4-Vision 生成的视频字幕的数据集，并且还附有大约 40 万个隐式视频分割字幕，这些字幕具有高度的描述性和详尽的信息。

• 通用视频字幕生成器：该项目开发了一个能够适应不同视频时长、分辨率和长宽比的通用字幕生成器，其字幕生成能力接近于 GPT4-Vision，具有分别针对质量和效率的两种推理模式。

• 优异的大视频语言模型：ShareGPT4Video-8B 是该项目中的一个重要模型，其训练在 8 个 A100 GPU 上需耗时 5 小时，展示了其卓越的性能。

• 增强文本到视频的表现：通过 ShareCaptioner-Video 生成的高质量视频字幕，能够有效提升文本到视频的转化表现。

最近动态

• 2024 年 10 月 1 日：ShareGPT4Video 已被 NeurIPS 2024 D&B 轨道接受。
• 2024 年 7 月 1 日：ShareCaptioner-Video 的批量推理代码已经公开。
• 2024 年 6 月 11 日：ShareGPT4Video-8B 和 ShareCaptioner-Video 的网络演示和本地演示现已开放。

使用指南

用户可以轻松使用 ShareGPT4Video 模型进行他们自己的视频描述，通过简单的命令行即可实现：

python run.py --model-path Lin-Chen/sharegpt4video-8b --video examples/yoga.mp4 --query Describe this video in detail.

此外，用户也可以构建本地演示来体验 ShareGPT4Video-8B 和 ShareCaptioner-Video 带来的先进字幕生成效果。

安装说明

用户可以通过以下步骤快速安装该项目：

git clone https://github.com/ShareGPT4Omni/ShareGPT4Video
conda create -n share4video python=3.10 -y
conda activate share4video

cd ShareGPT4Video
pip install --upgrade pip
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation

训练方法

为了验证高质量视频字幕在提升大型视频语言模型理解能力方面的有效性，项目中选择了 VideoLLaVA 和 LLaMA-VID 作为基准模型。用户需要根据特定指引准备数据，然后通过下载数据集和配置训练脚本来进行模型微调和结果重现。

致谢

项目特别感谢 LLaVA 和 Open-Sora-Plan 等开源项目的支持和贡献，这些项目为 ShareGPT4Video 的开发提供了强大的基础。