femtoGPT

femtoGPT 项目介绍

femtoGPT 是一个纯 Rust 实现的最小化生成预训练变换器（GPT）项目。它的设计目标是提供一种简单易用的工具，能够在 CPU 和 GPU 上进行 GPT 风格语言模型的推理和训练。

功能与特点

1. 完全自制：femtoGPT 的每一个组件都是从头开始实现的，其中包括张量处理逻辑以及最小 GPT 架构的训练和推理代码。这种实现方式使得该项目对于那些对大型语言模型（LLM）充满好奇并希望深入理解其工作原理的人来说，是一个绝佳的起点。

2. 广泛的兼容性：femtoGPT 可以在 CPU 和 GPU 上运行，支持利用 GPU 加速训练过程。其中，GPU 实现基于 OpenCL，这意味着它可以在 NVIDIA 和 AMD 显卡上运行，而无需安装庞大的 CUDA 工具包。

3. 简单的依赖：项目主要依赖于随机生成库（rand/rand-distr）、数据序列化库（serde/bincode）以及并行计算库（rayon）。这些库确保了项目能够简单而高效地进行运行。

使用指南

1. 环境准备：首先确保系统已安装 Rust 工具链，这是编译和运行项目的必要条件。如果要在 GPU 上进行训练，则需要确保 GPU 驱动程序正确安装，并且 OpenCL 运行时可用。在 Debian 系统上，可以通过安装 ocl-icd-opencl-dev 包来设置 OpenCL 运行时。

2. 训练模型：将需要用于训练的文本数据放入 dataset.txt 文件中，并保证其字符集相对简洁。随后，通过运行以下命令开始训练：

   cargo run --release

   如果希望利用 GPU 的计算能力，可以添加 --features gpu 参数。

3. 推理：使用以下命令进行模型的推理，对输入进行文本生成：

   cargo run --release -- infer

项目亮点

• 逐步优化：项目始终在进行优化和改进，例如，最近通过实现 GPU 训练器来训练更大规模的模型。
• 开源讨论：femtoGPT 拥有一个 Discord 服务器，用户可在此交流关于项目的讨论和见解。

示例输出

经过对莎士比亚数据库进行长时间训练后，femtoGPT 能够生成如下输出：

LIS:
Tore hend shater sorerds tougeng an herdofed seng he borind,
Ound ourere sthe, a sou so tousthe ashtherd, m se a man stousshan here hat mend serthe fo witownderstesther s ars at atheno sel theas,
thisth t are sorind bour win soutinds mater horengher

随着模型规模和训练时间的增加，生成文本的质量也在逐步提升。

femtoGPT 是一个面向教育与实验的项目，对于那些希望深入理解 GPT 模型机制的人来说，它是一个值得探索的学习工具。在项目网站上，还能找到相关的深化书籍与更多的实用信息。