norbert2_sentiment_test1

项目介绍：norbert2_sentiment_test1

项目概述

norbert2_sentiment_test1项目是一个专门用于挪威语评论的情感分析模型。它能够分析输入的挪威语句子，并判断其情感倾向是消极还是积极。该模型主要用于测试和研究，因此对处理数据的准确性和效率都非常关注。

模型描述

该情感分析模型基于挪威语评论语料库（Norwegian Review Corpus）和一个来自Hugging Face的数据集进行训练。通过自拼接的方式，把这两个数据集的内容结合在一起，以提高模型的性能。这个项目是由Simen Aabol和Marcus Dragsten共同开发的，基于norbert2模型进行了微调。

主要用途

norbert2_sentiment_test1的直接应用是对输入的挪威语句子进行情感分析。用户可以输入任何挪威文句子，模型将返回该句子是偏向消极还是积极的情感。

数据训练细节

训练及测试数据

训练数据集来自于marcuskd/reviews_binary_not4_concat，具体的信息包括数据预处理或附加筛选的文档都在网站上可以查到。

数据预处理

为处理数据，模型使用了如下的分词工具：

tokenizer = AutoTokenizer.from_pretrained("ltgoslo/norbert2")

训练参数如下：

training_args = TrainingArguments(
    output_dir='./results',          # 输出目录
    num_train_epochs=10,              # 训练的总轮数
    per_device_train_batch_size=16,  # 每个设备的训练批量大小
    per_device_eval_batch_size=64,   # 每个设备的评估批量大小
    warmup_steps=500,                # 学习率调度的暖步数
    weight_decay=0.01,               # 权重衰减的强度
    logging_dir='./logs',            # 日志存储目录
    logging_steps=10,
)