cross-en-de-roberta-sentence-transformer

项目介绍

这是一个名为"cross-en-de-roberta-sentence-transformer"的跨语言句子嵌入模型项目。该模型专门用于计算英语和德语文本的句子（文本）嵌入。这些嵌入可以通过余弦相似度进行比较，以找到具有相似语义含义的句子。

主要特点

1. 跨语言能力：该模型的独特之处在于它可以跨语言工作。无论使用何种语言，句子都会根据其语义被转换为非常相似的向量。这意味着用户可以用德语输入搜索，并同时在德语和英语中找到语义相关的结果。

2. 高性能：通过使用xlm模型和多语言微调与语言交叉技术，该模型的性能甚至超过了目前最好的专用英语大型模型。

3. 广泛应用：这个模型可以用于语义文本相似度、语义搜索或释义挖掘等任务。

技术细节

该模型是基于xlm-roberta-base模型进行微调的。它经过了大规模的50多种语言的释义数据集训练。在此基础上，研究人员针对英语和德语在STSbenchmark数据集上进行了进一步的微调。

研究人员还引入了一种称为"多语言微调与语言交叉"的技术。这种方法不仅使用了德语和英语的训练样本，还生成了英语和德语交叉的样本，从而使训练数据集的规模翻倍，并进一步提高了模型性能。

使用方法

要使用这个模型，用户需要安装sentence-transformers包。然后可以通过以下代码加载模型：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('T-Systems-onsite/cross-en-de-roberta-sentence-transformer')

评估结果

在STSbenchmark测试数据上，该模型在德语、英语以及两种语言交叉的情况下都表现出色。评估指标使用的是句子嵌入的余弦相似度与STSbenchmark标签之间的斯皮尔曼等级相关系数。在德语和跨语言任务中，该模型的表现尤为突出，分别达到了0.8550和0.8525的斯皮尔曼相关系数。

许可证

该项目采用MIT许可证，允许用户在遵守许可证条款的前提下自由使用、修改和分发。