MPP-LLaVA

MPP-LLaVA 项目介绍

MPP-LLaVA 项目是一个基于 QwenLM 多模态流水线并行化的研究和开发项目，旨在实现图像和视频对话的一体化处理。它提供了一种高效的多模态处理框架，帮助用户在多卡和单卡环境下轻松进行模型推理和训练。

项目动态

• 2024/6 开源动态：MPP-Qwen-Next 开源了 SFT 权重（15GB），并整合了多轮对话数据，支持图像和视频的多轮对话。
• 2024/5 功能增强：代码现在支持多轮对话 SFT、视频 SFT 和多图 SFT。
• 2024/4 推理优化：支持多卡推理，优化对话模板以获得更佳效果。
• 2024/2 性能拓展：使用 DeepSpeed Pipeline Parallel 实现节省显卡资源的有效训练。

项目框架

MPP-LLaVA 是一个可以在深度学习中实现多模态处理的框架，框架的核心是通过流水线并行和数据并行的结合提高训练和推理效率。以视觉 Transformer（ViT）和 Qwen7B-Chat 模型为基础，支持多模态数据处理。

项目特点

图像-单轮问答与多轮对话

项目支持从简单的图像单轮问答扩展到复杂的多轮对话，使用户可以通过简单的图片获取详细的信息交流。

视频对话

MPP-LLaVA 强调视频内容的对话能力，使得用户可以通过视频输入进行自然流畅的互动。

多图对话

独具的多图对话功能，让此项目在未经特定训练下也具备比较不同图像的能力，这极大地提高了用户体验。

待办事项

项目计划未来集成进 Huggingface-Transformers，以便于更广泛的应用。现阶段，已开源的 SFT 权重和预训练数据集为用户的进一步研究提供了基础。

安装与数据准备

用户可以通过 Conda 环境安装所需的依赖，并按照指定目录结构准备模型权重及数据文件。详细安装步骤确保用户可以快速上手项目。

模型推理

MPP-LLaVA 提供了灵活的推理选项，支持单 GPU、多 GPU 和 CPU 环境。用户可以选择 CLI 或 Gradio WebUI 两种推理接口，以满足不同的使用需求。

训练与权重转换

项目支持流水线并行训练，在多卡模式下高效处理训练任务。提供了从流水线并行权重转为常规 PTH 文件的工具，增强了模型的易用性。

参考与致谢

MPP-LLaVA 借鉴并集成了 Lavis、QwenLM 和 DeepSpeed 等多个开源项目的成果，致力于在多模态学习上实现更多突破，为学术研究和商业应用提供支持。

该项目采用 BSD 3-Clause License，着重支持学术研究和商业用途，保证了项目的开源及应用的广泛性。

总结

MPP-LLaVA 是一个强大的工具，帮助用户在多模态 AI 应用中迎接更复杂的挑战，简化技术攻克步骤，为想象赋能。