bge-large-zh-v1.5

bge-large-zh-v1.5项目介绍

bge-large-zh-v1.5是由BAAI (北京智源人工智能研究院)开发的一个中文通用嵌入模型。这个模型是FlagEmbedding项目的一部分,专注于检索增强的大语言模型。以下是对该项目的详细介绍:

模型概述

• bge-large-zh-v1.5是一个大规模中文嵌入模型
• 它是BGE(BAAI General Embedding)模型系列的最新版本
• 相比之前的版本,v1.5版本具有更合理的相似度分布

主要特点

• 语言支持:专门针对中文进行优化
• 模型规模:大型模型,具有强大的语义表示能力
• 用途:可用于文本检索、语义相似度计算等任务
• 性能:在C-MTEB(中文大规模文本嵌入基准测试)中排名第一

使用方法

该模型可以通过多种方式使用:

1. 使用FlagEmbedding库:

from FlagEmbedding import FlagModel
model = FlagModel('BAAI/bge-large-zh-v1.5')

2. 使用Sentence-Transformers:

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('BAAI/bge-large-zh-v1.5')

3. 使用Hugging Face Transformers:

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('BAAI/bge-large-zh-v1.5')
model = AutoModel.from_pretrained('BAAI/bge-large-zh-v1.5')

检索指令

对于短查询到长文档的检索任务,建议在查询前添加指令: "为这个句子生成表示以用于检索相关文章："

模型微调

该模型支持进一步微调,可以根据特定任务进行优化。项目提供了微调的示例代码和建议。

相似度计算

v1.5版本改善了相似度分布的问题。在使用时,更重要的是相似度分数的相对顺序,而不是绝对值。

开源许可

该项目采用MIT许可证,允许自由使用、修改和分发。

总的来说,bge-large-zh-v1.5是一个强大的中文文本嵌入模型,在各种NLP任务中都有广泛的应用前景。它不仅性能出色,而且使用方便,是构建中文自然语言处理应用的理想选择。