japanese-gpt2-small

japanese-gpt2-small项目介绍

japanese-gpt2-small是一个小型的日语GPT-2模型，由rinna株式会社开发并开源。这个项目为自然语言处理研究人员和开发者提供了一个强大的日语语言模型工具。

模型架构

该模型采用了基于Transformer的语言模型架构,具有12层、768维隐藏层大小。这种架构设计使得模型在处理日语文本时具有较强的性能。

训练数据与过程

模型的训练使用了两个大规模日语语料库:

日语CC-100语料库
日语维基百科数据

训练过程在8块V100 GPU上进行,持续了约15天,采用了传统的语言建模目标函数进行优化。在CC-100验证集上,模型达到了约21的困惑度(perplexity)。

分词方法

模型使用基于SentencePiece的分词器。词汇表是使用官方SentencePiece训练脚本,在日语维基百科语料上训练得到的。这种分词方法可以很好地处理日语文本的特点。

使用方法

使用该模型非常简单,只需几行Python代码即可:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt2-small", use_fast=False)
tokenizer.do_lower_case = True  # 由于分词器配置加载的一些bug

model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-small")