bert-base-japanese-whole-word-masking

项目概述

这是一个基于日语文本预训练的BERT模型。该模型采用了全词掩码(Whole Word Masking)技术,并使用IPA词典进行分词处理。它由东北大学的研究团队开发,旨在为日语自然语言处理任务提供强大的基础模型。

模型架构

该模型沿用了原始BERT base模型的架构,包含12层transformer结构,768维隐藏状态,以及12个注意力头。这种架构设计使得模型具有强大的语言理解和表示能力。

训练数据

模型的训练语料来自2019年9月1日的日语维基百科数据dump。研究人员使用WikiExtractor工具从维基百科文章中提取了纯文本数据。最终用于训练的文本文件大小为2.6GB,包含约1700万个句子,为模型提供了丰富多样的日语语料。

分词方法

该模型采用了两步分词策略。首先使用MeCab形态素分析器配合IPA词典对文本进行分词,然后再使用WordPiece算法将词切分成子词单元。最终的词表大小为32000。这种分词方法能够很好地处理日语的语言特点。

训练细节

模型的训练配置与原始BERT保持一致:每个实例512个token,每批次256个实例,总共训练100万步。在masked language modeling(MLM)任务中,研究人员创新性地引入了全词掩码技术,即同时掩盖属于同一个词(由MeCab分词)的所有子词token。这种方法可以帮助模型更好地学习词级别的语义信息。