KR-FinBert-SC

KR-FinBert-SC项目介绍

在自然语言处理（NLP）领域，研究人员已经取得了显著进展。众多研究表明，使用小规模语料库进行领域适应和用带标签的数据进行微调对于提升整体性能非常有效。在此背景下，KR-FinBert项目应运而生，这是一种专为金融领域设计的模型，通过在金融语料库上进一步训练，并微调用于情感分析。实验结果表明，通过适应和执行下游任务，性能得到了显著提高。

数据集

KR-FinBert模型的训练数据来源广泛，扩展自**KR-BERT-MEDIUM。包括从韩国维基百科、一般新闻文章、从国家法律信息中心抓取的法律文本以及Korean Comments数据集。为了进行迁移学习，项目还添加了来自72家媒体的公司相关经济新闻文章，如《金融时报》、《韩国经济日报》等，以及来自16家证券公司的分析师报告，如Kiwoom Securities、Samsung Securities等。数据集包含440,067条新闻标题及其内容，以及11,237份分析师报告。总数据量约为13.22GB。 在mlm训练过程中，为了便于处理，数据被一行行地分割，而总行数为6,379,315行。** KR-FinBert模型经过5.5百万步的训练，最大长度为512，训练批次大小为32，学习率为5e-5。使用NVIDIA TITAN XP，该模型的训练耗时67.48小时。

下游任务

情感分类模型

在下游任务中，该项目使用了50,000条标记数据进行测试，取得了以下成绩：

模型名称	准确率
KR-FinBert	0.963
KR-BERT-MEDIUM	0.958
KcBert-large	0.955
KcBert-base	0.953
KoBert	0.817

推断示例

KR-FinBert-SC在分析金融新闻情绪时表现卓越。以下是正向和负向新闻标题的示例：

正向新闻	负向新闻
现代生物，'폴리탁셀'治疗新冠的可能性使股价上涨19%	电影院股"新冠冰河期"何时才结束…CJ CGV今年可能损失4000亿
李秀化学，第三季度营业利润176亿…同比增长80%	C冲击停滞的赢利飞行…大韩航空一季度营业亏损566亿
“GKL, 七年来首次实现两位数销售增长预期”	'1000亿规模的挪用·背信'最新元会长被捕……SK网络“尽最大努力防止管理空白”
Wizwick Studio，首次突破1000亿韩元销售额	零件供应问题…起亚汽车光州工厂全面停产
三星电子，两年来重夺印度智能手机市场份额第一	现代制铁，去年营业利润3,313亿韩元···同比减少67.7%

引用格式

如果需要引用KR-FinBert-SC项目，请使用以下格式：

@misc{kr-FinBert-SC,
  author = {Kim, Eunhee and Hyopil Shin},
  title = {KR-FinBert: Fine-tuning KR-FinBert for Sentiment Analysis},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://huggingface.co/snunlp/KR-FinBert-SC}}
}

KR-FinBert-SC项目的成功展示了通过在特定领域的语料库上进行进一步训练并微调模型，对于处理金融领域的情感分析任务的强大能力。