nano-llama31

这个仓库对Llama 3.1的意义就像nanoGPT对GPT-2的意义一样。也就是说，它是Llama 3.1架构的一个最小化、无依赖的实现，可以非常简单地进行训练、微调和推理。相比之下，Meta的官方代码发布和huggingface的实现都有更多的依赖和代码（例如fair）。

目前代码主要关注Llama 3.1的8B基础模型。

正在进行中，正在积极开发，尚未准备好投入使用。

参考

让我们从Meta官方发布的Llama 3.1代码开始，它作为我们的参考。这并不简单，因为Meta的官方仓库似乎没有包含关于如何实际使用下载的模型的文档或说明。但让我们尝试一下：

下载官方的llama-models仓库，例如可以放在这个项目的目录下：

git clone https://github.com/meta-llama/llama-models.git

下载一个模型，例如Llama 3.1 8B（基础）模型：

cd llama-models/models/llama3_1
chmod u+x download.sh
./download.sh

你需要输入"邮件中的URL"。为此，你必须在这里请求访问Llama 3.1。当它询问哪个模型时，让我们输入meta-llama-3.1-8b，然后再次输入meta-llama-3.1-8b以指示基础模型而不是指令模型。这将下载约16GB的数据到./Meta-Llama-3.1-8B目录 - 16GB是因为我们有~8B参数，每个参数2字节（bfloat16）。

现在我们设置环境，最好创建一个新的conda环境，例如：

conda create -n llama31 python=3.10
conda activate llama31

不要使用太新的Python版本（例如3.12），因为我认为PyTorch的支持可能还不够完善。现在让我们回到llama-models目录并安装它。这将安装llama-models包，我们可以用它来加载模型：

cd ../../
pip install -r requirements.txt
pip install -e .

现在让我们回到仓库根目录，运行生成脚本，这是对Llama 3仓库中example_text_completion.py的改编和轻微编辑：

cd ../
pip install fire
torchrun --nnodes 1 --nproc_per_node 1 reference.py \
    --ckpt_dir llama-models/models/llama3_1/Meta-Llama-3.1-8B \
    --tokenizer_path llama-models/models/llama3_1/Meta-Llama-3.1-8B/tokenizer.model

使用这段代码感觉有点不太妥当，因为Meta将这段代码标记为"已废弃"。所以我目前对使用这个（已废弃的）Llama 3.0代码来处理Llama 3.1模型的正确性没有完全的信心。

但是使用3.0代码和3.1模型确实能打印出看起来不错的补全结果：

显然，生命的意义在于生活的快乐，爱的快乐，工作的快乐。生命的意义在于克服自我的快乐。生命的意义在于聆听音乐的快乐，绘画的快乐，写作的快乐

==================================

简而言之，相对论指出，对于所有非加速观察者来说，物理定律是相同的，而且在真空中光速对于所有观察者都是相同的，无论光源如何。此外，相对论还指出，在真空中的光速对于所有观察者都是相同的，无论

==================================

GitHub上的llm.c仓库是NYU法学院法律、技术和创业LL.M.课程的代码集合。它包含了各种项目和作业，学生可以在这些项目和作业上工作，以提高他们在法律、技术和创业领域的技能和知识。
该仓库包含各种项目和作业，学生可以

==================================

将英语翻译成法语：

        海獭 => loutre de mer
        薄荷 => menthe poivrée
        毛绒长颈鹿 => girafe peluche
        奶酪 => fromage
        玫瑰 => rose
        大黄蜂 => bourdon
        狐狸 => renard
        鲸鱼 => baleine
        大象 => éléphant
        菠萝 => ananas
        咖啡 => café
        猫 => chat
        狗 => chien
        熊猫 => panda


==================================

顺便说一下，我注意到官方Meta代码example_text_completion.py中存在著名的尾随空格错误（看看提示如何以空格结尾，例如 "Simply put, the theory of relativity states that " 这对分词不利），我在我们的代码中修复了这个问题。

去除torchrun/fairscale

现在我们有了一个我们高度信任的参考推理结果（因为它逐字使用了大量官方Meta代码），我们可以构建我们自己的更小、更清晰、更明确的版本，只要我们确保它的输出与参考相匹配。为此，请参考llama31.py，目前有约700行代码。这个文件包含主要代码，但它是从test_llama31.py文件中测试的，该文件配置为精确复现参考输出。简单运行如下：

python test_llama31.py

特别注意没有使用torchrun。你会看到这打印出与上面参考代码完全相同的结果，这让我们相信这个单一的PyTorch文件是一个无bug的改编版本。

微调

在Tiny Stories数据集上进行微调的早期草稿已经存在，这也是目前llama31.py主入口点配置运行的内容。目前它需要相当多的显存，例如，仅训练RMSNorm仍然占用了我80GB GPU的很大一部分。

待办事项

待办事项：

删除更多冗余内容，使其更加简洁
使微调功能更加完善，更接近nanoGPT（混合精度、DDP、各种功能等）
添加对Chat模型推理和微调的支持，而不仅仅是Base模型
考虑支持大于8B的Llama 3模型
解决关于弃用set_default_tensor_type的打印警告
微调仍然存在问题：我们必须正确地不对BOS标记之前的内容进行注意力计算，因为这是Llama 3的训练方式。我们必须通过仔细设置注意力层中的掩码来实现这一点。这还没有完成。
KV缓存应该只在推理中使用，而不是在训练中使用。我们正在浪费内存初始化它并保留它。