polyglot-ko-1.3b

Polyglot-Ko-1.3b项目介绍

Polyglot-Ko-1.3b是由EleutherAI polyglot团队开发的大规模韩语自回归语言模型。作为Polyglot-Ko系列模型中的一员,该模型在韩语自然语言处理领域展现出了强大的能力。

模型架构

Polyglot-Ko-1.3b采用了Transformer架构,具有以下主要特点:

• 参数量达13亿,共24层Transformer结构
• 模型维度为2048,前馈网络维度为8192
• 16个注意力头,每个头的维度为128
• 使用旋转位置编码(RoPE),应用于每个头的64个维度
• 上下文长度为2048,词表大小为30003/30080

训练数据

该模型在863GB的韩语语料上进行训练,数据来源广泛,包括:

• 韩语博客文章(682.3GB)
• 韩语新闻数据集(87GB)
• Modu语料库(26.4GB)
• 韩语专利数据集(19GB)
• 韩语问答数据集(18.1GB)
• 维基百科等其他来源

为保护隐私,训练数据中的敏感信息如银行账号、身份证号等都进行了脱敏处理。

训练过程

模型在256块A100 GPU上训练,使用GPT-NeoX框架,共处理2130亿个token,训练了102000步。训练采用自回归语言模型方式,使用交叉熵损失来最大化预测下一个token的似然。

使用方法

可以通过Hugging Face的AutoModelForCausalLM类轻松加载和使用该模型:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

评估结果

在KOBEST基准测试中,Polyglot-Ko-1.3b在多个下游任务上表现出色,与其他同等规模的模型相比具有竞争力。例如在COPA任务上,该模型在各种少样本设置下均优于1.2B参数的skt/ko-gpt-trinity模型。

局限性

作为一个统计语言模型,Polyglot-Ko-1.3b可能会产生不准确或有偏见的内容。使用时需要人工审核或过滤机制来规避敏感内容。

总的来说,Polyglot-Ko-1.3b为韩语自然语言处理任务提供了一个强大的开源预训练模型,在多个下游任务中展现出了良好的性能。