m3e-base

以下是对m3e-base项目的详细介绍:

项目概述

m3e-base是一个由MokaAI公司训练并开源的文本嵌入模型。它是M3E(Moka Massive Mixed Embedding)系列模型中的一员,具有以下特点:

• 基于千万级中文句对数据集训练
• 支持中英双语的文本相似度计算和检索
• 采用110M参数,768维向量表示
• 完全兼容sentence-transformers库

模型特性

强大的中文能力

m3e-base基于2200万+的中文句对数据进行训练,涵盖百科、金融、医疗、法律、新闻、学术等多个领域,因此具备出色的中文文本理解和表示能力。

中英双语支持

除了中文,m3e-base还使用了145万英文三元组数据集进行训练,可以同时支持中英文本的嵌入。

指令遵从能力

通过300万+的指令微调数据集训练,m3e-base在编码文本时可以遵从特定指令,增强了模型的灵活性。

多任务支持

m3e-base不仅支持同质文本相似度判断,还支持异质文本检索等任务,是一个"ALL IN ONE"的文本嵌入解决方案。

开源友好

模型完全开源,并且兼容sentence-transformers库,可以轻松集成到各种开源项目中使用。

性能评测

在MTEB-zh基准测试中,m3e-base表现优异:

• 文本分类任务:在6个数据集上平均准确率达到0.6157,超过OpenAI的ada-002模型
• 检索排序任务:在T2Ranking 1W数据集上NDCG@10达到0.8004,同样超过ada-002

使用方法

使用pip安装sentence-transformers库后,可以通过以下代码轻松调用m3e-base:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('moka-ai/m3e-base')

sentences = ['句子1', '句子2', '句子3']
embeddings = model.encode(sentences)

微调支持

m3e-base支持使用uniem库进行简单的微调,只需几行代码即可适配特定任务。

总结

m3e-base是一个功能强大、性能优异的中文文本嵌入模型,可广泛应用于文本相似度、检索、分类等多种任务。其开源友好的特性使其成为构建NLP应用的理想选择。