构建 nanoGPT

本仓库包含了nanoGPT的从零开始的复现。Git提交被特意保持逐步且整洁，以便人们可以轻松浏览Git提交历史，看到它是如何逐步构建的。此外，还有一个配套的YouTube视频讲座，你可以看到我介绍每个提交并解释过程中的各个部分。

我们基本上从一个空文件开始，逐步完成对GPT-2（124M）模型的复现。如果你有更多的耐心或资金，这段代码也可以复现GPT-3模型。虽然GPT-2（124M）模型在当时（2019年，约5年前）可能需要相当长的时间来训练，但如今，复现它只需要约1小时和10美元。如果你没有足够的GPU，你需要一个云GPU服务器，对此我推荐Lambda。

请注意，GPT-2和GPT-3都是简单的语言模型，在互联网文档上训练，它们所做的只是"梦见"互联网文档。因此，这个仓库/视频不涉及聊天微调，你无法像与ChatGPT交谈那样与它交谈。微调过程（从概念上讲相当简单 - SFT只是替换数据集并继续训练）在这部分之后进行，将在以后的时间涵盖。目前，这是124M模型在训练100亿个token后，当你用"Hello, I'm a language model,"提示它时所说的内容：

Hello, I'm a language model, and my goal is to make English as easy and fun as possible for everyone, and to find out the different grammar rules
Hello, I'm a language model, so the next time I go, I'll just say, I like this stuff.
Hello, I'm a language model, and the question is, what should I do if I want to be a teacher?
Hello, I'm a language model, and I'm an English person. In languages, "speak" is really speaking. Because for most people, there's

在训练400亿个token后：

Hello, I'm a language model, a model of computer science, and it's a way (in mathematics) to program computer programs to do things like write
Hello, I'm a language model, not a human. This means that I believe in my language model, as I have no experience with it yet.
Hello, I'm a language model, but I'm talking about data. You've got to create an array of data: you've got to create that.
Hello, I'm a language model, and all of this is about modeling and learning Python. I'm very good in syntax, however I struggle with Python due

哈哈。无论如何，一旦视频发布，这里也将成为FAQ的地方，以及修复和勘误的地方，我相信会有不少:)

对于讨论和问题，请使用Discussions标签，如需更快速的交流，请查看我的Zero To Hero Discord，频道**#nanoGPT**：

视频

让我们复现GPT-2（124M）YouTube讲座

勘误

小清理，我们忘记删除偏置的register_buffer，一旦我们切换到flash attention，这已通过最近的PR修复。

早期版本的PyTorch可能在从uint16转换为long时遇到困难。在load_tokens内，我们添加了npt = npt.astype(np.int32)，使用numpy将uint16转换为int32，然后再转换为torch张量，最后转换为long。

torch.autocast函数接受一个device_type参数，我固执地尝试只传递device希望它能正常工作，但PyTorch实际上真的只想要类型，并在某些版本的PyTorch中创建错误。因此，我们希望例如设备cuda:3被简化为cuda。目前，设备mps（Apple Silicon）会变成device_type CPU，我不是100%确定这是PyTorch预期的方式。

令人困惑的是，model.require_backward_grad_sync实际上被前向和后向传播都使用。将该行上移，使其也应用于前向传播。