sentence-camembert-base

sentence-camembert-base项目介绍

项目背景

sentence-camembert-base是一个专注于法语的句子相似性项目。该项目使用了预训练模型camembert-base，并运用了Siamese BERT网络对法语数据集进行微调。其目的是提升法语句子嵌入表示的效果，使文本相似性任务更加精准。

数据集与任务

该模型主要在stsb_multi_mt法语数据集上进行训练和评估。这是一个句子相似性数据集，其中包含多对法语句子及其相似性评分。模型通过句子嵌入技术，将语句转化为可比较的数值向量，用于计算句子间的相似程度。

使用方法

模型的使用非常简单，可以通过Python库sentence-transformers直接加载和使用。如下面的代码所示，可以将一组法语句子转化为嵌入向量：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("dangvantuan/sentence-camembert-base")

sentences = ["Un avion est en train de décoller.",
          "Un homme joue d'une grande flûte.",
          "Un homme étale du fromage râpé sur une pizza.",
          "Une personne jette un chat au plafond.",
          "Une personne est en train de plier un morceau de papier.",
          ]

embeddings = model.encode(sentences)

模型评估

模型通过Pearson相关系数的度量标准进行评估，以判断其在句子相似性任务上的性能。在开发集和测试集上的表现如下：

开发集结果：

模型	Pearson相关系数	Spearman相关系数	参数量
dangvantuan/sentence-camembert-base	86.73	86.54	110M
distiluse-base-multilingual-cased	79.22	79.16	135M

测试集结果：

模型	Pearson相关系数	Spearman相关系数
dangvantuan/sentence-camembert-base	82.36	81.64
distiluse-base-multilingual-cased	78.62	77.48

总结

sentence-camembert-base项目通过对camembert-base的微调，显著提升了法语句子在相似性评估任务上的表现。通过提供一个简单易用的接口，研究者和开发者可以方便地在其应用中使用这一模型。无论是在学术研究还是实际应用中，该模型都展示了其强大的潜力。

引用

对于sentence-camembert-base以及其他相关技术和方法感兴趣的读者，可以参考以下文献：

Reimers, Nils, and Iryna Gurevych. "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." arXiv, 2019.
Martin, Louis, et al. "CamemBERT: a Tasty French Language Mode." Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.