Solon-embeddings-base-0.1

Solon-embeddings-base-0.1 项目介绍

简介

Solon-embeddings-base-0.1 是一个开源的法语嵌入模型，专注于句子相似度的计算。这个模型主要用于段落检索任务，帮助提升查询的检索性能。它是以最新技术构建的法语嵌入模型之一，能够在多种文本相似度任务中实现出色的效果。

模型特点

语言支持：该模型支持法语和英语。
任务类别：主要应用于句子相似度的段落检索（Passage Retrieval）任务。
数据集：模型在一个名为 mMARCO-fr 的数据集上进行了验证，该数据集专注于法语的文本数据。
许可证：采用 MIT 开源许可证，意味着用户可以自由使用、修改和分发。

评价指标

Solon-embeddings-base-0.1 模型在多个评价指标上显示了突出的性能：

Recall@500：90.9
Recall@100：80.6
Recall@10：52.5
MAP@10：27.4
nDCG@10：33.5
MRR@10：27.9

这些指标揭示了模型在较大范围内准确检索相关文段的能力。

实验结果

在以下九种法语基准上，Solon-embeddings-base-0.1 进行了评估，涵盖各种文本相似度任务，如分类、重新排序（reranking）、STS：

AmazonReviewsClassification (MTEB)
MassiveIntentClassification (MTEB)
MassiveScenarioClassification (MTEB)
MTOPDomainClassification (MTEB)
MTOPIntentClassification (MTEB)
STS22 (MTEB)
MiraclFRRerank (Miracl)
OrdalieFRSTS (Ordalie)
OrdalieFRReranking (Ordalie)

为了增强法语STS和重新排序评估的能力，创造了 OrdalieFRSTS 和 OrdalieFRReranking 基准。

性能排名

在法语文本相似度任务中，Solon-embeddings-base-0.1 的平均分为 0.7306，位列上游模型之一，具有较高的竞争力。虽然 OrdalieTech 的大型模型和其他领先模型在某些基准上或许稍显优势，但 Solon-embeddings-base-0.1 具有良好的整体平衡性和实用性。