CLIP-ViT-B-32-xlm-roberta-base-laion5B-s13B-b90k

CLIP-ViT-B-32-xlm-roberta-base-laion5B-s13B-b90k

具备零样本学习与多语言支持的图像模型

该模型基于LAION-5B数据集和OpenCLIP技术,能够进行零样本图像分类和图像-文本检索。通过结合CLIP ViT-B/32和xlm roberta,这一模型在各种图像任务中显示出较高性能。同时,其多语言能力经验证,可提升imagenet1k等多语言数据集上的表现,尤其在意大利语和日语测试中效果显著。依托于高效的OpenCLIP训练,模型在mscooco和flickr30k数据集上有较大性能提升,是图像生成与分类的可靠选择。

LAION-5B多语言性能零样本学习模型Github开源项目图像分类CLIP ViT-B/32Huggingface

项目介绍:CLIP-ViT-B-32-xlm-roberta-base-laion5B-s13B-b90k

CLIP-ViT-B-32-xlm-roberta-base-laion5B-s13B-b90k是一个将视觉和文本结合的机器学习模型。它是通过OpenCLIP工具,基于LAION-5B大数据集进行训练而成的。这项工作由Romain Beaumont在stability.ai的计算集群上完成。

模型详情

模型描述

这个模型结合了CLIP技术中的视觉模块ViT-B/32和文本模块xlm roberta base。它的训练数据来自于LAION-5B,一个规模庞大的开放图像和文本数据集。模型在视觉方面使用ViT-B/32架构进行初始训练,而在文本方面则继承了预训练的xlm roberta base权重,使得模型在图像和多语言文本处理上具备强大的能力。

用途

直接用途

  • 零样本图像分类:无需事先标记数据便能进行图像分类。
  • 图像与文本检索:可用于从大量图像或文本中找出对方的对应内容。

下游用途

  • 图像分类任务细化:继续训练以提升特定领域图像识别能力。
  • 线性探测图像分类:在固定特征下进行简单线性分类实验。
  • 图像生成引导和条件控制:结合自然语言进行图像生成等。

训练详情

训练数据

该模型的训练完全依托于LAION-5B数据集。训练过程中选取了130亿个样本,并使用90k的批次大小进行多轮迭代。

训练程序

模型在视觉侧采用B/32架构,文本侧则使用预训练权重从xlm roberta base开始初始化。整个训练过程详细信息可参考https://wandb.ai/rom1504/open-clip/reports/xlm-roberta-base-B-32--VmlldzoyOTQ5OTE2。

评估

评估由LAION CLIP Benchmark工具完成,使用VTAB+数据集进行分类测试,以及使用COCO和Flickr进行检索测试。

测试数据及指标

  • ImageNet 1k准确率达到62.33%(基准模型为62.9%)
  • MS COCO准确率为63.4%(基准模型为60.8%)
  • Flickr30k准确率为86.2%(基准模型为85.4%)

初步的多语言评估显示:在ImageNet1k上意大利语达到了43%(相较于英文B/32的21%),日语为37%(相较于英文B/32的1%及B/16的50%),证明模型多语言处理能力有效。未来更大规模的模型能达到更好的表现。

致谢

特别感谢stability.ai提供的计算资源来支持本模型的训练。

如何开始使用该模型

可以通过访问https://github.com/mlfoundations/open_clip来获取更多关于如何运行和使用该模型的信息。

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免��费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

下拉加载更多