BCEmbedding: 为RAG优化的双语跨语言嵌入模型

BCEmbedding:为RAG优化的双语跨语言嵌入模型

BCEmbedding是网易有道最近开源的一个专为检索增强生成(RAG)优化的嵌入和重排模型。它在英文和中文的单语、双语和跨语言任务中都表现出色,为RAG应用提供了强大的语义表示能力。本文将详细介绍BCEmbedding的特点、使用方法和性能评估。

🌟 主要特点

BCEmbedding包含两个核心模型:

1. EmbeddingModel:用于生成语义向量,在语义搜索和问答中发挥重要作用。

2. RerankerModel:专门用于优化搜索结果和排序任务。

BCEmbedding的主要特点包括:

• 双语和跨语言能力:得益于有道的翻译引擎,在中英文及跨语言任务中表现优异。
• 为RAG优化:针对翻译、摘要和问答等RAG任务进行了专门优化,能准确理解查询意图。
• 高效精准检索:EmbeddingModel采用双编码器架构实现高效检索,RerankerModel使用交叉编码器进行深度语义分析,提高精准度。
• 广泛领域适应性:在多样化数据集上训练,可适应不同领域。
• 用户友好设计:无需为每个任务指定查询指令,可灵活用于多种场景。
• 有意义的重排分数:RerankerModel提供有意义的相关性分数,有助于提高结果质量。
• 生产环境验证:已在有道的多个产品中成功应用。

🚀 最新更新

• 2024-02-04:发布技术博客《为RAG而生-BCEmbedding技术报告》。
• 2024-01-16:提供LangChain和LlamaIndex集成支持。
• 2024-01-03:发布bce-embedding-base_v1和bce-reranker-base_v1模型。
• 2024-01-03:发布CrosslingualMultiDomainsDataset评估数据集,用于评估RAG性能。
• 2024-01-03:发布跨语言语义表示评估数据集。

💻 模型列表

BCEmbedding目前提供以下模型:

模型名称	模型类型	支持语言	参数量	模型链接
bce-embedding-base_v1	EmbeddingModel	中文, 英文	279M	Huggingface
bce-reranker-base_v1	RerankerModel	中文, 英文, 日文, 韩文	279M	Huggingface

📚 使用指南

安装

推荐从源码安装:

 git clone git@github.com:netease-youdao/BCEmbedding.git
 cd BCEmbedding
 pip install -v -e .

快速上手

使用EmbeddingModel生成嵌入向量:

from BCEmbedding import EmbeddingModel

sentences = ['sentence_0', 'sentence_1']

model = EmbeddingModel(model_name_or_path="maidalun1020/bce-embedding-base_v1")

embeddings = model.encode(sentences)

使用RerankerModel计算相关性分数和重排:

from BCEmbedding import RerankerModel

query = 'input_query'
passages = ['passage_0', 'passage_1']

sentence_pairs = [[query, passage] for passage in passages]

model = RerankerModel(model_name_or_path="maidalun1020/bce-reranker-base_v1")

scores = model.compute_score(sentence_pairs)

rerank_results = model.rerank(query, passages)

BCEmbedding还提供了基于transformers和sentence-transformers的使用方法,以及与LangChain和LlamaIndex的集成示例,详见项目文档。

🔍 性能评估

BCEmbedding在语义表示和RAG任务上都进行了全面的评估。

语义表示评估(MTEB)

在MTEB基准测试中,BCEmbedding在114个数据集的119个评估结果中表现优异:

模型	维度	Pooler	是否需要指令	Retrieval (47)	STS (19)	PairClassification (5)	Classification (21)	Reranking (12)	Clustering (15)	平均 (119)
bce-embedding-base_v1	768	cls	不需要	57.60	65.73	74.96	69.00	57.29	38.95	59.43

bce-embedding-base_v1在检索和重排任务上表现尤为突出,整体性能优于其他开源嵌入模型。

在重排任务上,bce-reranker-base_v1的表现同样出色:

模型	Reranking (12)	平均 (12)
bce-reranker-base_v1	61.29	61.29

RAG评估(LlamaIndex)

BCEmbedding还在LlamaIndex框架下进行了RAG性能评估。评估指标包括:

• Hit Rate:系统在前k个检索结果中找到正确答案的比例。
• Mean Reciprocal Rank (MRR):首个相关文档排名的倒数的平均值。

评估结果显示:

1. 在不使用重排模型的情况下,bce-embedding-base_v1优于所有其他嵌入模型。
2. 在固定嵌入模型的情况下,bce-reranker-base_v1取得最佳性能。
3. bce-embedding-base_v1和bce-reranker-base_v1的组合达到了最先进的水平。

为了评估BCEmbedding在广泛领域的适应性和跨语言能力,研究团队构建了CrosslingualMultiDomainsDataset数据集,涵盖计算机科学、物理学、生物学、经济学、数学和量化金融等多个领域。评估结果进一步证实了BCEmbedding在多语言、多领域RAG任务中的优越性能。

🔧 Youdao BCEmbedding API

网易有道还提供了BCEmbedding的API服务,支持向量检索、重排等功能,方便开发者快速集成到自己的应用中。详细的API文档和使用说明可在项目仓库中查看。

📝 总结

BCEmbedding作为一个专为RAG优化的双语跨语言嵌入模型,在语义表示和检索增强生成任务中都展现出了卓越的性能。它不仅在MTEB等标准基准测试中表现出色,还在实际的RAG应用场景中证明了其有效性。BCEmbedding的开源为NLP和RAG社区提供了一个强大的工具,相信它将在未来的研究和应用中发挥重要作用。

研究者和开发者可以通过GitHub仓库了解更多详情,使用BCEmbedding来增强他们的RAG应用。随着持续的更新和优化,我们期待看到BCEmbedding在更广泛的语言和领域中的应用,以及它对推动多语言NLP技术发展的贡献。

🔗 相关链接

• BCEmbedding GitHub仓库
• BCEmbedding技术报告
• Huggingface模型页面

通过深入了解和使用BCEmbedding,开发者和研究者可以在RAG相关任务中获得更好的性能,特别是在中英文及跨语言场景下。随着更多的更新和社区贡献,BCEmbedding有望成为RAG应用的重要基础设施之一。