bert-base-japanese-char

BERT base Japanese (character tokenization) 项目介绍

BERT base Japanese (character tokenization) 是一个基于BERT架构的日语预训练模型。该项目由东北大学开发，旨在为日语自然语言处理任务提供强大的基础模型。

模型架构

该模型沿用了原始BERT base模型的架构，包含12层transformer编码器，768维隐藏状态和12个注意力头。这种架构设计使得模型具有强大的语言理解能力和灵活性。

训练数据

模型使用了截至2019年9月1日的日语维基百科数据进行训练。开发团队使用WikiExtractor工具从维基百科转储文件中提取纯文本，最终得到了约17M个句子，总计2.6GB的训练语料。这种大规模、高质量的数据集为模型提供了丰富的语言知识和上下文信息。

分词方法

该模型采用了独特的两步分词方法：

1. 首先使用MeCab形态分析器配合IPA词典进行词级分词
2. 然后将分词结果进一步拆分为字符级别

这种方法既保留了词级信息，又能捕捉到更细粒度的字符级特征，词表大小为4000。

训练过程

模型的训练配置与原始BERT保持一致，每个实例包含512个token，每批次256个实例，总共训练了100万步。这确保了模型能充分学习语言的各种特征和模式。

许可证和致谢

该预训练模型采用Creative Commons Attribution-ShareAlike 3.0许可证发布，允许在遵守相关条款的情况下自由使用和分享。项目团队还特别感谢TensorFlow Research Cloud项目提供的Cloud TPU支持，这极大地加速了模型的训练过程。

应用价值

BERT base Japanese (character tokenization)模型为日语自然语言处理领域提供了一个强大的基础工具。研究人员和开发者可以利用这个预训练模型来处理各种日语NLP任务，如文本分类、命名实体识别、问答系统等。该模型的字符级分词特性使其特别适合处理日语中的未知词和复杂词形变化。

通过这个项目，日语NLP研究和应用将获得更强大的支持，推动相关领域的快速发展。