idefics-9b-instruct

idefics-9b-instruct项目简介

项目简介

IDEFICS，英文全称为"Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attentionS"，是一款多模态模型，旨在处理图像和文本的混合输入，并生成文本输出。这个开源的模型是由Hugging Face团队开发而成，灵感来源于DeepMind的Flamingo模型。与最新版的类似多模态模型相媲美，IDEFICS 利用公开获取的数据和模型进行构建，提供了一种无需视觉输入即可单独运行语言模型的解决方案。

功能与用途

IDEFICS能够回答关于图像的问题，描绘视觉内容，基于多张图片创作故事，或是在没有视觉输入的情况下充当纯文本生成的语言模型。该模型在图像文本基准测试中表现优秀，如视觉问题回答、图像描述和图像分类等。为了使模型更适合对话环境，研究团队对基础模型进行了额外的监督和指令微调。细分为idefics-80b-instruct和idefics-9b-instruct两个版本，建议用户优先使用提高性能后的版本。

模型的技术细节

• 开发者：Hugging Face
• 模型类型：多模态模型（图像+文本）
• 语言：英语
• 许可：其他
• 数据集：
  • HuggingFaceM4/OBELICS
  • Wikipedia
  • Facebook/pmd
  • Laion/laion2B-en

IDEFICS基于两个开放访问的单模态预训练模型建立，通过初始化新的Transformer模块连接视觉和语言模型，处理图像文本对和非结构化多模态文档。

使用方法

IDEFICS针对多模态（图像+文本）任务进行推理，支持输入为文本查询或指令，并配合一张或多张图像。在图像生成方面暂不支持，但可以基于自定义数据进一步微调基础模型用于特定应用。指令微调过的模型在遵循用户指令方面表现更佳。

想要快速入门，可查看官方提供的教程，演示如何进行包括4-bit量化推理在内的模型推理过程，以及如何细致调优模型。此外，官方还提供了一些快速启动代码，帮助用户使用基础模型或指令模型。

训练详情

模型遵循了Flamingo模型的训练程序。通过将两个预训练的开放模型（CLIP和Llama）组合，同时添加新的Transformer模块来进行训练。数据集合包括从OBELICS、WikiPedia、LAION和PMD等开源数据中挑选出来的英文数据。

评估与性能

在没有视频文本数据集训练的情况下，该模型未在视频基准上进行评估，但与原始Flamingo和另一开源复刻的OpenFlamingo相比，IDEFICS在图像文本相关任务上的表现与闭源版本相当。

想了解更多技术挑战与训练细节，可以访问训练日志。

最后，用户可以尝试通过演示页面体验模型的实际效果。