multi-sentence-BERTino

项目介绍：multi-sentence-BERTino

项目简介

multi-sentence-BERTino 是一个基于 sentence-transformers 的模型，用于将句子和段落映射到768维的稠密向量空间。这类模型非常适合于聚类或语义搜索等任务。这个模型借助于 indigo-ai/BERTino 基础上进行训练，选用了两组意大利语数据集：mmarco 意大利语数据集（包含20万条数据）以及 stsb 意大利语数据集。

使用说明

Sentence-Transformers 库

为了使用 multi-sentence-BERTino 模型，首先需要安装 sentence-transformers 库：

pip install -U sentence-transformers

安装完成后，可以通过以下代码来使用模型：

from sentence_transformers import SentenceTransformer

# 示例句子
sentences = ["Una ragazza si acconcia i capelli.", "Una ragazza si sta spazzolando i capelli."]

# 加载模型
model = SentenceTransformer('nickprock/multi-sentence-BERTino')
embeddings = model.encode(sentences)

# 输出嵌入结果
print(embeddings)

HuggingFace Transformers 库

如果不使用 sentence-transformers 库，也可以通过 HuggingFace Transformers 库来使用该模型，下面是使用方法：

from transformers import AutoTokenizer, AutoModel
import torch

# 定义平均池化方法：考虑注意掩码以实现正确的均值计算
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] 
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 示例句子
sentences = ['Una ragazza si acconcia i capelli.', 'Una ragazza si sta spazzolando i capelli.']

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('nickprock/multi-sentence-BERTino')
model = AutoModel.from_pretrained('nickprock/multi-sentence-BERTino')

# 对句子进行编码
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算令牌嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化操作，此例中为平均池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

# 输出句子嵌入
print("Sentence embeddings:")
print(sentence_embeddings)

评估结果

自动评估模型的结果可以在 Sentence Embeddings Benchmark 查看，网址为：Sentence Embeddings Benchmark。

模型训练

multi-sentence-BERTino 模型的训练主要使用了以下参数：

数据加载器： batch size 为16，使用随机采样器。
损失函数：包括 TripletLoss（欧几里得度量，边距为5）、CosineSimilarityLoss 和 CachedMultipleNegativesRankingLoss（缩放20.0，余弦相似度）。
训练参数：训练10个epoch，每500步进行一次评估，优化器为 Adam，学习率为2e-5，权重衰减为0.01。

完整模型架构

该 SentenceTransformer 模型由一个 Transformer 和一个池化层组成：

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_mean_tokens': True})
)