SimCSE

SimCSE 项目介绍

概述

SimCSE，是一种简单对比学习句子嵌入（Sentence Embeddings）的方法。这个项目提供了这个框架的代码和预训练模型，旨在提升句子嵌入的效果。SimCSE 支持使用无监督和有监督的数据进行训练。在无监督模式下，SimCSE 利用对比学习框架，只使用标准的 dropout 作为噪声，预测输入句子自身。而在有监督模式下，SimCSE 引入了从自然语言推理（NLI）数据集中获取的注释对，将推理（entailment）对用作正样本，将矛盾（contradiction）对用作困难负样本。

如何开始

用户可以通过以下步骤快速开始使用 SimCSE：

1. 安装 simcse 包：

   pip install simcse

2. 加载模型进行句子编码：

   from simcse import SimCSE
   model = SimCSE("princeton-nlp/sup-simcse-bert-base-uncased")
   embeddings = model.encode("A woman is reading.")

3. 计算句子组之间的余弦相似度：

   sentences_a = ['A woman is reading.', 'A man is playing a guitar.']
   sentences_b = ['He plays guitar.', 'A woman is making a photo.']
   similarities = model.similarity(sentences_a, sentences_b)

用户还可以使用 faiss 库进行高效的相似性搜索。

模型列表

SimCSE 项目提供了多种模型，包括无监督和有监督两种类型。无监督模型是在 Wikipedia 数据集上训练的，有监督模型则是在 NLI 数据集上训练的。模型的命名规则为：unsup 表示无监督，sup 表示有监督。不同的模型在不同的语义文本相似性（STS）任务上表现略有不同，用户可以根据需求选择合适的模型。

Huggingface 集成

SimCSE 模型可以通过 Huggingface 的 transformers 库轻松加载和使用。用户可以对输入文本进行标记、获取编码，并计算余弦相似度，以衡量文本之间的相似性。

模型训练

为了训练 SimCSE 模型，需要以下步骤：

1. 准备训练数据：无监督模式使用 Wikipedia 语料中的句子，有监督模式使用 SNLI 和 MNLI 数据集。
2. 配置训练参数：包括批次大小、学习率、Pooling 方法等。
3. 运行训练脚本：通过示例脚本 run_unsup_example.sh 和 run_sup_example.sh，进行无监督和有监督模型的训练。

评估与使用

SimCSE 的评估代码基于 SentEval，对句子嵌入在各种STS任务和下游任务上的表现进行评估。用户可以根据自己需要的评估任务，选择相应的评价参数。

其他资源与支持

SimCSE 在 GitHub 上进行了开放源代码，用户可自由下载和使用。项目团队鼓励用户通过邮件或开 issue 提出问题或者报告bug。此外，社区还提供了一些其他语言和框架的扩展版本，以便不同用户群体使用。

请在使用 SimCSE 进行研究时，引用相关的论文，以给予该项目工作的认可。项目的不断更新和社区的贡献使 SimCSE 成为句子表示学习领域的一大利器。