GLuCoSE-base-ja

GLuCoSE-base-ja项目介绍

GLuCoSE-base-ja是一个基于LUKE的日语文本嵌入模型。它的全称是General LUke-based COntrastive Sentence Embedding，简称"glucose"。这个项目旨在创建一个通用、用户友好的日语文本嵌入模型。

模型特点

GLuCoSE-base-ja具有以下特点：

• 最大token数量：512
• 输出维度：768
• 池化方法：平均池化
• 支持语言：日语

该模型通过混合网络数据和各种与自然语言推理和搜索相关的数据集进行训练。这使得它不仅适用于句子向量相似性任务，还适用于语义搜索任务。

使用方法

使用GLuCoSE-base-ja非常简单，可以通过sentence-transformers库轻松实现。首先需要安装sentence-transformers库，然后就可以加载模型并将句子转换为密集向量。

由于训练过程中使用的损失函数是余弦相似度，因此建议在下游任务中使用余弦相似度。此外，该文本嵌入模型还可以在LangChain中使用。

训练资源

GLuCoSE-base-ja的训练使用了多种资源，包括预训练模型studio-ousia/luke-japanese-base-lite和多个数据集，如mC4、MQA、JNLI、JSNLI、PAWS-X等。这些多样化的数据集确保了模型在各种自然语言处理任务中的良好表现。

性能评估

在语义相似度计算和零样本搜索任务中，GLuCoSE-base-ja的表现优于其他模型：

• 在JSTS开发集上的语义相似度计算中，GLuCoSE-base-ja的Spearman相关系数达到0.864，Pearson相关系数达到0.818，均高于text-embedding-ada-002和pkshatech/simcse-ja-bert-base-clcmlp模型。

• 在AIO3开发集上的零样本搜索任务中，GLuCoSE-base-ja在Top-1到Top-50的检索准确率上都优于其他模型，显示了其在搜索任务中的卓越性能。

开发团队与许可证

GLuCoSE-base-ja由PKSHA Technology的研究人员Akihiko Fukuchi、Yuichiro Hoshino和Yotarow Watanabe开发。该模型采用Apache License 2.0许可证发布，允许用户在遵守许可证条款的前提下自由使用和修改。

总的来说，GLuCoSE-base-ja为日语自然语言处理任务提供了一个强大而灵活的工具，特别适合于需要高质量文本嵌入的应用场景。

</SOURCE_TEXT>