awesome-foundation-and-multimodal-models

项目介绍：awesome foundation and multimodal models

什么是基础模型和多模态模型？

基础模型是一种经过预训练的机器学习模型，能够作为多种下游任务的基础。它从庞大的数据集中捕获到通用知识，然后可以根据具体任务进行微调，从而更为高效地执行这些任务。

多模态模型是一种可以同时处理多种模态（例如文本、图像、视频和音频等）的模型。这类模型能够将多种数据源整合到一起，从而提高任务完成的准确性和灵活性。例如，结合视觉和语言的多模态模型可以同时处理图像和文本，理解更复杂的情境。

模型列表

YOLO-World: 实时开放式词汇对象检测

• 发布日期: 2024-01-30
• 模态: 图像和文本
• 任务: 零样本对象检测

该模型在实时对象检测任务中表现出色，特别是对那些未在训练集中明确标注过的对象，具备让机器通过视觉和语言结合实现更高效识别的能力。

Depth Anything

• 发布日期: 2024-01-19
• 模态: 图像
• 任务: 深度估计

这款模型专注于从图像中估计深度信息，它在计算机视觉中是一项重要任务，为机器人视觉、自动驾驶等领域提供支持。

EfficientSAM: 高效分割任意物体

• 发布日期: 2023-12-01
• 模态: 图像
• 任务: 零样本对象分割

该模型通过预训练掩码图像的策略，提升了对象分割的效率和精度。

Qwen-VL-Plus/Max

• 发布日期: 2023-11-28
• 模态: 图像和文本
• 任务: 图像描述、视觉问答、零样本对象检测

这是一个多功能的视觉和语言模型，能够进行图像描述生成、视觉问答等多种任务，并且无需先验知识便可进行对象检测。

CogVLM: 为预训练语言模型提供视觉专家

• 发布日期: 2023-11-06
• 模态: 图像和文本
• 任务: 图像描述、视觉问答

CogVLM通过集成视觉信息提升了语言模型的理解和回答能力，这使得复杂的视觉场景描述和问答变得更加容易。

Fuyu-8B: 面向AI代理的多模态架构

• 发布日期: 2023-10-17
• 模态: 图像和文本
• 任务: 图像分类、图像描述、视觉问答、图像文字识别

该模型以其强大的多模态能力而著称，在图像处理和文本识别任务上均表现突出。

Ferret: 任意粒度引用和定位

• 发布日期: 2023-10-11
• 模态: 图像和文本
• 任务: 图像描述、视觉问答、短语定位、对象检测

通过引入强大的图像和文本处理功能，Ferret能够在多样化的场景下进行精确的对象定位与描述。

MetaCLIP: 解构CLIP数据

• 发布日期: 2023-09-28
• 模态: 图像和文本
• 任务: 零样本分类

该模型通过分析CLIP的基础数据及其训练方法，提高了对新类的快速识别能力。

其他模型

项目中还包括许多其他模型，这些模型在视觉、语言、音频等领域的多模态集合任务中均发挥着重要作用。每个模型都经过精心设计，以处理不同数据模态和任务需求。

请参与

如果您知道有出色的论文没有被列出，或者对该项目有改进建议，非常欢迎通过GitHub提交问题或请求合并。您的参与可以帮助将这个资源库建设得更加完善。