Awesome-Multimodal-LLM学习资料汇总 - 多模态大语言模型研究趋势

Awesome-Multimodal-LLM是一个关于多模态大语言模型(Multimodal Large Language Model, MLLM)研究趋势的资源汇总项目。本文将为大家介绍该项目的核心内容和相关学习资料,帮助读者快速了解和深入研究MLLM领域。

项目简介

Awesome-Multimodal-LLM主要关注LLM指导下的多模态学习研究。项目涵盖了以下几个方面:

多模态:包括文本、视觉(图像和视频)、音频等
大语言模型(LLM)主干:如LLaMA、Alpaca、Vicuna、Bloom、GLM、OPT等开源和研究友好的模型
学习技术:全量微调、参数高效微调(Adapter、LoRA等)、上下文学习、指令微调等
LLM指导的多模态模型示例:OpenFlamingo、MiniGPT-4、Otter、InstructBLIP、BLIVA等
多模态LLM评估示例:MultiInstruct、POPE、AttackVLM等

MLLM Architecture

研究论文

项目按时间顺序收集了多模态LLM相关的重要论文,主要包括2021年至今发表的工作。以下列举几篇具有代表性的论文:

BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions (2023.08)
LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day (2023.06)
Otter: A Multi-Modal Model with In-Context Instruction Tuning (2023.05)
Visual Instruction Tuning (2023.04)
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (2023.01)

这些论文涵盖了多模态LLM的各个方面,包括模型架构、训练方法、应用场景等。读者可以通过阅读这些论文深入了解该领域的最新进展。

实用链接

除了研究论文,项目还提供了一些实用的链接资源:

这些资源可以帮助研究者快速找到所需的模型和工具,加速研究进程。

如何贡献

Awesome-Multimodal-LLM欢迎社区贡献。如果您有相关的论文或资源要添加,可以按照以下格式提交Pull Request:

**标题**. arXiv (如果有). 会议/期刊 (如果有).
作者. [[论文]](链接) [[代码]](链接)
`主干模型` 或 `评估`

此外,您还可以在Twitter上@Zi_Yuan_Hu分享有趣的MLLM相关新闻,共同更新和维护这个资源库。

总结

Awesome-Multimodal-LLM为研究多模态大语言模型提供了全面的参考资料。无论您是刚接触这个领域的新手,还是资深的研究者,都可以在这里找到有价值的信息。随着MLLM技术的快速发展,让我们一起期待更多激动人心的进展!

Awesome-Multimodal-LLM学习资料汇总 - 多模态大语言模型研究趋势