KoBigBird

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6d10b31c-d797-4a0c-9845-26dc8c95912c.png" width="400px"> <h1>韩语预训练BigBird模型</h1> <p align="center"> <a href="#什么是bigbird">什么是BigBird</a> • <a href="#如何使用">如何使用</a> • <a href="#预训练">预训练</a> • <a href="#评估结果">评估结果</a> • <a href="#文档">文档</a> • <a href="#引用">引用</a> </p> <p> <b>韩语</b> | <a href="README_EN.md">英语</a> </p> <p align="center"> <a href="https://github.com/monologg/KoBigBird/blob/master/LICENSE"> <img alt="Apache 2.0" src="https://yellow-cdn.veclightyear.com/0a4dffa0/d79f1710-c553-4ddf-aec4-83ba21069008.svg"> </a> <a href="https://github.com/monologg/KoBigBird/issues"> <img alt="Issues" src="https://img.shields.io/github/issues/monologg/KoBigBird"> </a> <a href="https://github.com/monologg/KoBigBird/actions/workflows/linter.yml"> <img alt="linter" src="https://yellow-cdn.veclightyear.com/0a4dffa0/2fc761c5-f2a1-4167-b32e-640be43b737c.svg"> </a> <a href="https://doi.org/10.5281/zenodo.5654154"> <img alt="DOI" src="https://img.shields.io/badge/DOI-10.5281%2Fzenodo.5654154-blue"> </a> </p> </div>

什么是BigBird？

BigBird是在BigBird: Transformers for Longer Sequences中介绍的基于稀疏注意力的模型，相比普通的BERT，它能够处理更长的序列。

🦅 更长的序列 - 可以处理最多4096个token，是BERT最大处理512个token的8倍

⏱️ 计算效率 - 使用稀疏注意力而非全注意力，将复杂度从O(n<sup>2</sup>)改善到<b>O(n)</b>

如何使用

可以直接使用上传到🤗 Huggingface Hub的模型 :)
建议使用已解决部分问题的transformers>=4.11.0版本。（MRC问题相关PR）
应使用BertTokenizer而非BigBirdTokenizer。（使用AutoTokenizer时会加载BertTokenizer。）
详细用法请参考BigBird Tranformers documentation。

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("monologg/kobigbird-bert-base")  # BigBirdModel
tokenizer = AutoTokenizer.from_pretrained("monologg/kobigbird-bert-base")  # BertTokenizer

预训练

详细内容请参考[预训练BigBird]

	硬件	最大长度	学习率	批次大小	训练步数	预热步数
KoBigBird-BERT-Base	TPU v3-8	4096	1e-4	32	2M	20k

使用包括Everyone's Corpus、韩语维基百科、Common Crawl、新闻数据等多种数据进行训练
使用ITC (Internal Transformer Construction)模型进行训练（ITC vs ETC）

评估结果

1. 短序列 (<=512)

详细内容请参考[在短序列数据集上微调] | | NSMC<br>(准确率) | KLUE-NLI<br>(准确率) | KLUE-STS<br>(皮尔逊相关系数) | Korquad 1.0<br>(精确匹配/F1) | KLUE MRC<br>(精确匹配/ROUGE-W) | | :---------------------- | :-----------: | :---------------: | :--------------------: | :--------------------: | :----------------------: | | KoELECTRA-Base-v3 | 91.13 | 86.87 | 93.14 | 85.66 / 93.94 | 59.54 / 65.64 | | KLUE-RoBERTa-Base | 91.16 | 86.30 | 92.91 | 85.35 / 94.53 | 69.56 / 74.64 | | KoBigBird-BERT-Base | 91.18 | 87.17 | 92.61 | 87.08 / 94.71 | 70.33 / 75.34 |

2. 长序列 (>=1024)

详细内容请参考 [在长序列数据集上微调]

	TyDi QA<br/>(精确匹配/F1)	Korquad 2.1<br/>(精确匹配/F1)	假新闻<br/>(F1)	Modu 情感分析<br/>(F1-macro)
KLUE-RoBERTa-Base	76.80 / 78.58	55.44 / 73.02	95.20	42.61
KoBigBird-BERT-Base	79.13 / 81.30	67.77 / 82.03	98.85	45.42

文档

引用

如果您使用了 KoBigBird，请按以下方式引用：

@software{jangwon_park_2021_5654154,
  author       = {Jangwon Park and Donggyu Kim},
  title        = {KoBigBird: Pretrained BigBird Model for Korean},
  month        = nov,
  year         = 2021,
  publisher    = {Zenodo},
  version      = {1.0.0},
  doi          = {10.5281/zenodo.5654154},
  url          = {https://doi.org/10.5281/zenodo.5654154}
}