roberta-base-finetuned-jd-binary-chinese

项目介绍：roberta-base-finetuned-jd-binary-chinese

模型概述

roberta-base-finetuned-jd-binary-chinese是一个经过微调的中文RoBERTa-Base文本分类模型。此模型属于一组由UER-py微调的五个中文RoBERTa-Base分类模型之一。这些模型的相关技术细节在本文中进行了介绍。此外，模型还可以通过TencentPretrain进行微调，这个工具继承了UER-py的功能，支持参数超过十亿的模型，并将其扩展为一个多模态预训练框架。

模型下载

这些模型可以从UER-py的模型库页面下载，也可以通过以下链接从HuggingFace平台获取：

JD full: roberta-base-finetuned-jd-full-chinese
JD binary: roberta-base-finetuned-jd-binary-chinese
Dianping: roberta-base-finetuned-dianping-chinese
Ifeng: roberta-base-finetuned-ifeng-chinese
Chinanews: roberta-base-finetuned-chinanews-chinese

使用方法

用户可以通过以下Python代码示例，直接使用模型进行文本分类：

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline

model = AutoModelForSequenceClassification.from_pretrained('uer/roberta-base-finetuned-chinanews-chinese')
tokenizer = AutoTokenizer.from_pretrained('uer/roberta-base-finetuned-chinanews-chinese')
text_classification = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

text_classification("北京上个月召开了两会")

模组会返回一个包含分类标签及其相应得分的列表。

训练数据

对于此项目，使用了五个中文文本分类数据集。JD full、JD binary和Dianping数据集由不同情感极性的用户评论组成；而Ifeng和Chinanews则由不同主题类别的新闻文章的首段组成。这些数据是由Glyph项目收集的，更多细节可参阅相关论文。

训练过程

模型在Tencent Cloud上使用UER-py进行了微调。在预训练模型chinese_roberta_L-12_H-768的基础上进行了三轮训练，每轮训练使用512的序列长度。在每个周期结束时，模型会在开发集上达到最佳性能时保存。所有模型使用相同的超参数设置。

这里是一个微调的示例代码：

python3 finetune/run_classifier.py --pretrained_model_path models/cluecorpussmall_roberta_base_seq512_model.bin-250000 \
                                   --vocab_path models/google_zh_vocab.txt \
                                   --train_path datasets/glyph/chinanews/train.tsv \
                                   --dev_path datasets/glyph/chinanews/dev.tsv \
                                   --output_model_path models/chinanews_classifier_model.bin \
                                   --learning_rate 3e-5 --epochs_num 3 --batch_size 32 --seq_length 512

最后，模型转换为HuggingFace的格式：

python3 scripts/convert_bert_text_classification_from_uer_to_huggingface.py --input_model_path models/chinanews_classifier_model.bin \
                                                                            --output_model_path pytorch_model.bin \
                                                                            --layers_num 12

通过本文档的详细介绍，希望读者能够对roberta-base-finetuned-jd-binary-chinese项目有一个清晰全面的认识，同时在情感分析或新闻分类任务中有效地应用该模型。