vietnamese-embedding

vietnamese-embedding项目介绍

vietnamese-embedding是一个专门为越南语设计的句子嵌入模型，旨在为越南语自然语言处理任务提供高质量的句子表示。该模型基于PhoBERT预训练语言模型,利用其强大的语言理解能力,将越南语句子编码为768维的向量表示。这些嵌入能够捕捉越南语句子的细微语义,同时反映词汇和上下文层面的语言特征。

模型架构

vietnamese-embedding采用了Sentence-BERT的架构,主要包含两个部分:

1. Transformer编码器:使用PhoBERT作为基础模型,最大序列长度为512。
2. 池化层:采用平均池化方式,将token级别的表示汇总为句子级别的嵌入。

这种设计使得模型能够有效处理各种长度的越南语句子,并生成固定维度的句子表示。

训练过程

模型经历了四个精心设计的训练阶段,每个阶段都针对特定目标进行优化:

1. 初始训练:使用ViNLI-SimCSE-supervised数据集,采用SimCSE方法和Triplet Loss进行监督对比学习。
2. 持续微调:在XNLI-vn数据集上使用多负例排序损失进行微调,提高模型对句子语义差异的识别能力。
3. 语义相似度微调:使用STSB-vn数据集,专门针对语义文本相似性任务进行优化。
4. 高级数据增强微调:结合交叉编码器和双编码器,使用增强的STSB-vn数据集进行微调,进一步提升模型的鲁棒性和准确性。

这种多阶段训练策略确保了模型能够全面理解越南语的语言特性,并在各种下游任务中表现出色。

使用方法

使用vietnamese-embedding非常简单,只需安装sentence-transformers和pyvi库即可。用户可以轻松地加载模型并为越南语句子生成嵌入表示。以下是一个简单的使用示例:

from sentence_transformers import SentenceTransformer
from pyvi.ViTokenizer import tokenize

sentences = ["Hà Nội là thủ đô của Việt Nam", "Đà Nẵng là thành phố du lịch"]
tokenizer_sent = [tokenize(sent) for sent in sentences]

model = SentenceTransformer('dangvantuan/vietnamese-embedding')
embeddings = model.encode(tokenizer_sent)
print(embeddings)

性能评估

在越南语语义文本相似性基准测试中,vietnamese-embedding展现出优异的性能。与其他越南语句子嵌入模型相比,它在Pearson相关系数和Spearman相关系数上都取得了最好的结果。特别是在各种STS数据集上,该模型的平均Pearson相关系数达到84.21%,Spearman相关系数达到82.45%,远超其他模型。

这些出色的评估结果证明了vietnamese-embedding在捕捉越南语句子语义方面的强大能力,使其成为越南语自然语言处理任务的理想选择。

应用场景

vietnamese-embedding可以广泛应用于各种越南语自然语言处理任务,包括但不限于:

1. 语义搜索:提高搜索引擎对越南语查询的理解和匹配精度。
2. 文本聚类:根据语义相似度对大量越南语文本进行自动分类。
3. 问答系统:增强问答系统对越南语问题和答案的语义理解。
4. 情感分析:捕捉越南语文本中的细微情感表达。
5. 文本相似度计算:精确评估越南语句子或文档之间的语义相似程度。

总之,vietnamese-embedding为越南语自然语言处理提供了一个强大而灵活的工具,有望推动越南语相关技术的发展和应用。