build_MiniLLM_from_scratch

项目介绍：build_MiniLLM_from_scratch

介绍

build_MiniLLM_from_scratch 是一个旨在构建小参数量的聊天模型（chat model）的项目。该项目的初衷是通过四个阶段的开发过程 — 即预训练、指令微调、奖励模型和强化学习，以较低的成本开发一个能够执行简单聊天任务的模型。当前阶段，该项目已经完成了预训练和指令微调的步骤。

项目特色

使用 bert4torch 训练框架，代码简洁且高效。
训练得到的检查点能无缝兼容 transformers，方便用户使用 transformers 包进行推理。
优化了训练中的文件读取方式，降低了内存使用。
提供完整的训练日志，以便他人复现和对比。
增加了自我认知数据集，允许自定义机器人名称和作者等属性。
支持聊天模型的多轮对话功能。

声明

项目中训练出的模型由于语料大小和模型规模限制，目前仅具备简单聊天功能，不具备回答复杂问题的能力。

快速开始

环境安装

使用以下命令以设置项目运行环境：

pip install git+https://github.com/Tongjilibo/torch4keras.git
pip install git+https://github.com/Tongjilibo/bert4torch.git@dev

脚本使用说明

预训练

进入 pretrain 目录，并运行：

torchrun --standalone --nproc_per_node=4 pretrain.py

推理（命令行聊天）

进入 pretrain 目录并运行：

python infer.py

指令微调

进入 sft 目录并运行：

python sft.py

推理（命令行聊天）

进入 sft 目录并运行：

python infer.py

更新历史

2024年04月03日 - 增加基于1157万样本训练的 MiniLLM-0.2B-WithWudao-SFT。
2024年03月25日 - 增加1.1B模型。
2024年03月16日 - 初始提交。

预训练

预训练语料

项目使用丰富的中文数据集作为预训练的语料来源，比如Wiki中文百科、百度百科、C4_zh及悟道开源数据。

预训练权重和过程

项目公开了多个预训练模型权重，提供详细的训练设置以及硬件使用信息，以便其他开发者下载和使用这些权重。

指令微调

指令微调语料

项目选择多种高质量的数据集进行指令微调，这些数据集涵盖了日常对话、数学、文化相关任务等内容。

指令微调权重和过程

指令微调过程中的权重下载地址、训练设置及硬件信息均有详细说明，便于开发者使用。

展望

目前项目在预训练和指令微调方面取得了进展，后续将继续深化奖励模型和强化学习阶段的研究和开发。

鸣谢

项目参考并借鉴了许多开源贡献，特别感谢 baby-llama2-chinese 项目的支持。

引用

如果您在您的研究中使用了本项目，请引用以下信息：

@misc{build_MiniLLM_from_scratch,
  title={build_MiniLLM_from_scratch},
  author={Bo Li},
  year={2024},
  howpublished={\url{https://github.com/Tongjilibo/build_MiniLLM_from_scratch}},
}

以上便是关于 build_MiniLLM_from_scratch 项目的详尽介绍。这个项目不但展现了构建语言模型的能力，也提供了详细的操作指南，以便其他研究人员或开发者能够轻松上手和参与。