bert-base-arabic-finetuned-emotion

项目介绍: bert-base-arabic-finetuned-emotion

概述

bert-base-arabic-finetuned-emotion 项目是一个针对阿拉伯语情感检测的模型。该模型在 emotone_ar 数据集上进行了微调训练，其基础模型来自 asafaya/bert-base-arabic。该项目旨在提升阿拉伯语文本的情感识别能力，并在训练集上取得了以下结果：

损失（Loss）：0.8965
准确率（Accuracy）：0.7416
F1 分数：0.7406

背景和引用

此模型得到了 Hatem Noaman 在2023年发表的文章《Improved Emotion Detection Framework for Arabic Text using Transformer Models》的支持，并发表于《Advanced Engineering Technology and Application》期刊。该论文和项目的贡献在于利用转换器模型增强了阿拉伯语文本情感检测的框架。以下为相关引用格式：

@Noaman, H. (2023). Improved Emotion Detection Framework for Arabic Text using Transformer Models. Advanced Engineering Technology and Application, 12(2), 1-11.

预训练模型加载

用户可以使用如下代码加载该预训练模型：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("hatemnoaman/bert-base-arabic-finetuned-emotion")
model = AutoModel.from_pretrained("hatemnoaman/bert-base-arabic-finetuned-emotion")

数据与训练

训练和评估数据

该模型使用 emotone_ar 数据集进行训练。此数据集用于阿拉伯语文本的情感分类任务，并采取90%的训练集进行微调。

训练过程

在训练过程中应用了如下超参数：

学习率：2e-05
训练批次大小：64
评估批次大小：64
随机种子：42
优化器：Adam（参数 beta=(0.9,0.999) 及 epsilon=1e-08）
学习率调度器类型：linear
训练周期：6

以下是各个训练周期的结果概览：

训练损失	周期 (Epoch)	步骤	验证损失	准确率	F1
1.3476	1.0	142	0.8911	0.7008	0.6812
0.8204	2.0	284	0.8175	0.7276	0.7212
0.6227	3.0	426	0.8392	0.7376	0.7302
0.4816	4.0	568	0.8531	0.7435	0.7404
0.378	5.0	710	0.8817	0.7396	0.7388
0.3134	6.0	852	0.8965	0.7416	0.7406