llm-jp-1.3b-v1.0

项目介绍：llm-jp-1.3b-v1.0

项目背景

llm-jp-1.3b-v1.0是由日本的合作项目LLM-jp开发的大型语言模型。这个项目背后的初衷是推动自然语言处理领域的创新，并提高相关模型生成文本的能力。该项目主要聚焦于日语和英语两种语言，并结合了一些编程语言的数据，用于模型训练。

模型变体

此项目提供了多种模型变体，主要分为预训练模型和指令模型：

• 预训练模型：

  • llm-jp-13b-v1.0
  • llm-jp-1.3b-v1.0

• 指令模型（以下省略具体链接）：

  • llm-jp-13b-instruct-full-jaster-v1.0
  • llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0
  • 其他类似指令模型

需要的库和版本

为了使用该模型，以下Python库是必需的：

• torch >= 2.0.0
• transformers >= 4.34.0
• tokenizers >= 0.14.0
• accelerate == 0.23.0

模型详情

llm-jp-1.3b-v1.0是基于Transformer架构的语言模型，处理过的总文本量为3000亿个token。该模型有两个参数规格：

• 13b模型：40层，隐藏层大小5120，40个注意力头，2038上下文长度。
• 1.3b模型：24层，隐藏层大小2048，16个注意力头，2048上下文长度。

训练过程

预训练

模型使用了96个A100 40GB GPU进行预训练，采用的软件为Megatron-DeepSpeed。数据集包含了日语和英语的Wikipedia、mC4、The Pile，以及编程语言的The Stack。

指令微调

指令微调的硬件为8个A100 40GB GPU，软件工具包括TRL、PEFT和DeepSpeed。这一阶段使用了如jaster和databricks-dolly-15k等数据集进行微调。

标记器

标记器基于huggingface/tokenizers库的Unigram字节后备模型，词汇量为50,570，涵盖日语、英语和代码。

数据集

预训练数据集

包括日语的Wikipedia和mC4、英语的Wikipedia和The Pile，以及代码数据的The Stack。

指令调优数据集

使用的主要数据集有jaster、databricks-dolly-15k和OpenAssistant Conversations Dataset。

项目评估

评估结果可以在相关的排行榜上查看，使用了llm-jp-eval工具进行评估。

风险与限制

当前发布的模型仍处于研发初期，尚未针对与人类意图和安全相关的输出进行充分调优。

联系方式

如有问题，请联系：llm-jp(at)nii.ac.jp

许可

此项目采用Apache License, Version 2.0。

模型卡作者

作者名单按字母顺序列出，包括：Hirokazu Kiyomaru, Hiroshi Matsuda, 等。