distilbert-base-uncased-finetuned-sst-2-english

项目介绍：distilbert-base-uncased-finetuned-sst-2-english

概述

distilbert-base-uncased-finetuned-sst-2-english 是一个文本分类模型，基于DistilBERT-base-uncased进行微调，主要用于情感分析。它经过SST-2数据集的训练，能够对文本的情感进行分类。该模型由Hugging Face开发，使用Apache-2.0开源许可证。模型在SST-2开发集上的准确率约为91.3%。

如何开始使用模型

要使用这个模型，可以参考如下的Python示例代码：

import torch
from transformers import DistilBertTokenizer, DistilBertForSequenceClassification

tokenizer = DistilBertTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
model = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits

predicted_class_id = logits.argmax().item()
model.config.id2label[predicted_class_id]

该代码展示了如何进行单标签分类，预测输入文本的情感类别。

使用场景

直接用途

模型适用于主题分类，可以用于预测文本的情感标签。尽管原始模型也可以用于掩码语言建模或下一句预测，但主要用途是对下游任务进行微调。可以在模型中心寻找已经微调好的、适用于特定任务的版本。

错误和不当使用

该模型不应该被用来刻意创建敌意或疏离的环境。此外，该模型并不是用于生成关于人或事件的真实或准确的信息，因此将模型用于生成此类内容超出了其能力范围。

风险、限制及偏差

经过一些实验，发现该模型可能产生针对弱势群体的偏颇预测。例如，对于句子“该影片在国家拍摄”，根据不同国家可能会产生不同的积极标签概率。在这种情况下，用户应对模型的各个方面进行彻底的测试，以评估其风险。建议参考相关的偏差评估数据集，如WinoBias, WinoGender, 和 Stereoset。

模型训练

训练数据

模型使用斯坦福情感树库（SST-2）进行训练。

训练过程

微调超参数包括：

• 学习率：1e-5
• 批量大小：32
• 预热步数：600
• 最大序列长度：128
• 训练轮数：3.0