MiniLM-L6-Keyword-Extraction

项目简介

MiniLM-L6-Keyword-Extraction项目是基于句子嵌入模型的一部分，该模型能够将句子和段落映射到384维的致密向量空间中。这一功能主要用于聚类或语义搜索任务。这一项目使用到了名为sentence-transformers的工具，这是一种用于处理句子和段落的强大工具包。

项目使用方法

使用Sentence-Transformers库

在进行使用之前，我们需要确认安装了sentence-transformers库。可以通过以下命令安装：

pip install -U sentence-transformers

然后，我们可以通过以下代码来使用这个模型：

from sentence_transformers import SentenceTransformer

sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
embeddings = model.encode(sentences)
print(embeddings)

使用HuggingFace Transformers库

如果没有sentence-transformers库，也可以通过HuggingFace Transformers库来使用该模型。具体实现包括以下步骤：

通过transformer模型处理输入
使用正确的池化操作应用到上下文化的词嵌入上。

以下是一段示例代码：

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

sentences = ['This is an example sentence', 'Each sentence is converted']
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

with torch.no_grad():
    model_output = model(**encoded_input)

sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("Sentence embeddings:")
print(sentence_embeddings)

项目背景

该项目旨在利用一种自监督对比学习目标，在非常大的句子级数据集上训练句子嵌入模型。具体而言，项目使用了预训练模型nreimers/MiniLM-L6-H384-uncased，并在1亿对的句子对数据集上进行了微调。训练的过程中，模型预测出一系列随机采样的其他句子中，究竟哪一句和给定句子是成对出现过的。

整个项目是在Hugging Face组织的使用JAX/Flax进行NLP和CV的社区周中开发的，我们有机会使用了高效的硬件基础设施来运行该项目，使用了7个TPU v3-8，同时得到了来自谷歌Flax, JAX和Cloud团队成员的支持。