roberta-base-go_emotions

roberta-base-go_emotions项目介绍

项目概述

roberta-base-go_emotions是一个基于RoBERTa模型在go_emotions数据集上进行微调的多标签文本分类模型。该模型可以对输入的文本进行情感分析,识别出28种不同的情感类别。

模型特点

基于RoBERTa预训练语言模型
支持多标签分类,可以同时识别多种情感
使用Reddit数据构建的go_emotions数据集进行训练
提供了PyTorch和ONNX两种版本

训练过程

模型使用Hugging Face的AutoModelForSequenceClassification进行训练,设置problem_type为"multi_label_classification"。训练过程中使用了以下超参数:

学习率:2e-5
权重衰减:0.01
训练轮数:3轮

使用方法

可以通过Hugging Face的pipeline轻松使用该模型:

from transformers import pipeline

classifier = pipeline(task="text-classification", model="SamLowe/roberta-base-go_emotions", top_k=None)

sentences = ["I am not having a great day"]

model_outputs = classifier(sentences)
print(model_outputs[0])

模型评估

在go_emotions测试集上的整体评估指标:

准确率:0.474
精确率:0.575
召回率:0.396
F1值:0.450

由于数据集的多标签特性,每个标签的评估指标更具参考意义。通过对每个标签优化阈值,可以得到更好的结果:

精确率:0.572
召回率:0.677
F1值:0.611

数据集分析

go_emotions数据集中不同标签的样本数量差异较大,这导致了模型在不同标签上的表现存在较大差异。例如,"gratitude"(感恩)标签的F1值超过0.9,而"relief"(宽慰)标签的表现则较差。

此外,数据集中存在一些标注错误和模糊不清的样本,这在一定程度上限制了模型的性能。通过数据清洗和改进标注质量,有望进一步提升模型的表现。

总结

roberta-base-go_emotions是一个功能强大的多标签情感分类模型,可以识别28种细粒度的情感。尽管在某些情感类别上还有提升空间,但整体表现不俗,为文本情感分析任务提供了一个很好的解决方案。