distilbert-base-uncased-emotion

distilbert-base-uncased-emotion项目介绍

这个项目是一个基于DistilBERT模型的情感分类模型，专门用于识别文本中的情感。该模型是在情感数据集上微调的DistilBERT-base-uncased模型。

模型概述

DistilBERT是一种轻量级的BERT模型变体，通过知识蒸馏技术，在保留97%语言理解能力的同时，将模型大小减少了40%。这使得DistilBERT比原始BERT模型更小、更快。

本项目的模型是在Twitter情感数据集上进行微调的。微调过程使用了Hugging Face的Trainer库，采用以下超参数：

• 学习率：2e-5
• 批次大小：64
• 训练轮数：8

模型性能

在Twitter情感数据集上，该模型展现出了优秀的性能：

• 准确率：93.8%
• F1分数：93.79
• 测试样本处理速度：398.69个样本/秒

相比其他基于BERT的模型，如BERT-base-uncased-emotion、RoBERTa-base-emotion和ALBERT-base-v2-emotion，该模型在保持较高准确率的同时，具有更快的处理速度。

使用方法

使用该模型进行情感分类非常简单。以下是一个示例代码：

from transformers import pipeline

classifier = pipeline("text-classification", model='bhadresh-savani/distilbert-base-uncased-emotion', return_all_scores=True)
prediction = classifier("I love using transformers. The best part is wide range of support and its easy to use")
print(prediction)

输出结果将显示文本属于各个情感类别的概率分数。

数据集

该模型使用的是Twitter情感分析数据集，包含了多种情感标签，如喜悦、悲伤、愤怒、恐惧等。

训练过程

训练过程在Colab notebook上完成，感兴趣的用户可以查看GitHub上的相关代码。

评估结果

模型在测试集上的表现如下：

• 测试准确率：93.8%
• 测试F1分数：0.938
• 测试损失：0.147

此外，模型还展示了优秀的处理速度，能够以398.69个样本/秒的速度处理测试样本。

总的来说，distilbert-base-uncased-emotion是一个高效、准确的情感分类模型，适用于需要快速处理大量文本数据的情感分析任务。它在保持高准确率的同时，提供了更快的处理速度，是文本情感分析领域的一个优秀选择。