KoE5

KoE5项目介绍

项目概述

KoE5是一个由NLP&AI Lab开发的先进文本检索模型，特别在韩文文本检索方面表现出色。相较于大多数多语言嵌入模型，KoE5在韩文文本的处理上具有显著优势，堪称公开的韩文检索模型中的佼佼者。

模型信息

• 开发者: NLP&AI Lab
• 支持语言: 韩语、英语
• 许可证: MIT
• 基于模型: intfloat/multilingual-e5-large
• 微调数据集: ko-triplet-v1.0

安装与使用

首先，需要安装Sentence Transformers库：

pip install -U sentence-transformers

接着，您可以载入模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载模型
model = SentenceTransformer("nlpai-lab/KoE5")

# 进行推理
sentences = [
    'query: 헌법과 법원조직법은 어떤 방식을 통해 기본권 보장 등의 다양한 법적 모색을 가능하게 했어',
    'passage: 4. 시사점과 개선방향 앞서 살펴본 바와 같이 우리 헌법과 ｢법원조직 법｣은 대법원 구성을 다양화하여 기본권 보장과 민주주의 확립에 있어 다각적인 법적 모색을 가능하게 하는 것을 근본 규범으로 하고 있다. 더욱이 합의체로서의 대법원 원리를 채택하고 있는 것 역시 그 구성의 다양성을 요청하는 것으로 해석된다. 이와 같은 관점에서 볼 때 현직 법원장급 고위법관을 중심으로 대법원을 구성하는 관행은 개선할 필요가 있는 것으로 보인다.',
    'passage: □ 연방헌법재판소는 2001년 1월 24일 5:3의 다수견해로 「법원조직법」 제169조 제2문이 헌법에 합치된다는 판결을 내렸음 ○ 5인의 다수 재판관은 소송관계인의 인격권 보호, 공정한 절차의 보장과 방해받지 않는 법과 진실 발견 등을 근거로 하여 텔레비전 촬영에 대한 절대적인 금지를 헌법에 합치하는 것으로 보았음 ○ 그러나 나머지 3인의 재판관은 행정법원의 소송절차는 특별한 인격권 보호의 이익도 없으며, 텔레비전 공개주의로 인해 법과 진실 발견의 과정이 언제나 위태롭게 되는 것은 아니라면서 반대의견을 제시함 ○ 왜냐하면 행정법원의 소송절차에서는 소송당사자가 개인적으로 직...
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入的相似性分数
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6721, 0.3897],
#        [0.6721, 1.0000, 0.3740],
#        [0.3897, 0.3740, 1.0000]])

培训详情

培训数据

• 使用数据集：ko-triplet-v1.0
• 包含韩文查询与文档的图像数据对，约包含70万对例子

培训过程

• 损失函数: 使用了 CachedMultipleNegativesRankingLoss
• 批处理大小: 512
• 学习率: 1e-05
• 训练轮次: 1

评估

评估标准

• 使用 NDCG@1, F1@1, NDCG@3, F1@3 进行评估

基准数据集

• Ko-strategyQA
• AutoRAG-benchmark
• PublicHealthQA

模型表现

模型在不同数据集上的表现如下图所示：

平均表现如下图所示：

常见问题

• 我需要在输入文本前加上"query: "和"passage: "的前缀吗？

  是的，这是模型训练时的要求，否则可能会导致性能下降。以下是一些指导原则：

  • 对于非对称任务如开放问答中的段落检索，请分别使用"query: "和"passage: "。
  • 对于对称任务如语义相似性、双文本挖掘等，使用"query: "前缀。
  • 如果希望使用嵌入作为特征，例如线性探测分类、聚类等，也请使用"query: "前缀。

限制

长文本将被截断至最多512个标记。