bert-large-japanese-v2

项目介绍：BERT Large Japanese v2

BERT Large Japanese v2是一个专门针对日语语言预训练的BERT模型，其目的是提高日语文本处理和分析的效率和准确性。这个版本的模型利用了多个日语数据集，并采用了先进的分词和全词掩码技术。

模型架构

该模型基于原始BERT large模型的架构，具有24层网络结构，隐藏层的维度为1024，并配有16个注意力头。这样的架构使得模型能够处理复杂的语言结构和语义理解。

训练数据

BERT Large Japanese v2的训练数据来自于CC-100数据集和日本版的维基百科。对于维基百科部分，数据来源于2023年1月2日的Wikipedia Cirrussearch转储文件。来自CC-100的数据集大约有392百万个句子，总大小为74.3GB，而来自维基百科的数据集有34百万个句子，总大小为4.9GB。为确保文本的清晰划分，我们使用了fugashi软件包以及mecab-ipadic-NEologd字典来分割句子。

分词技术

文本首先通过MeCab使用Unidic 2.1.2词典进行分词，接着使用WordPiece算法进行子词划分。此次模型使用的词汇表大小为32768。为了进行有效的分词处理，我们使用了fugashi和unidic-lite软件包。

训练过程

模型的训练分为两个阶段：首先在CC-100语料库上训练100万步，然后在维基百科语料库上再训练100万步。在训练过程中，我们采用了全词掩码的方法，即对由MeCab分词出的每个完整单词的所有子词进行掩码。这种方法有助于提高模型对词汇语境的理解能力。训练过程中使用了TPU Research Cloud提供的Cloud TPU v3-8实例。