bert-base-japanese-v3-unsup-simcse-jawiki

bert-base-japanese-v3-unsup-simcse-jawiki项目介绍

项目概述

bert-base-japanese-v3-unsup-simcse-jawiki是一个无监督SimCSE模型，用于特征提取。这个项目在《大规模语言模型入门》一书的第8章中进行了详细介绍。模型是基于cl-tohoku/bert-base-japanese-v3，并使用数据集llm-book/jawiki-sentences进行微调构建的。

模型背景

SimCSE（Simple Contrastive Sentence Embedding）是用于生成句子嵌入的模型，在句子表示的相似性度量中表现出色。这个项目的模型特别适用于日语文本的处理与分析，通过无监督的方法改进了句子间相似性的评估。

使用指南

下面是一个简单的代码示例，展示了如何使用此项目进行日语句子相似性计算：

from torch.nn.functional import cosine_similarity
from transformers import pipeline

sim_enc_pipeline = pipeline(model="llm-book/bert-base-japanese-v3-unsup-simcse-jawiki", task="feature-extraction")

text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"

# 获取text和sim_text的向量表示
text_emb = sim_enc_pipeline(text, return_tensors=True)[0][0]
sim_emb = sim_enc_pipeline(sim_text, return_tensors=True)[0][0]
# 计算text和sim_text的相似度
sim_pair_score = cosine_similarity(text_emb, sim_emb, dim=0)
print(sim_pair_score.item())  # -> 0.8568589687347412