LLaMA Cog 模板 🦙

这是一个用于构建多个 Llama 模型的 Cog 单一代码库：

• llama-2-13b
• llama-2-13b-chat
• llama-2-13b-transformers
• llama-2-70b
• llama-2-70b-chat
• llama-2-7b
• llama-2-7b-chat
• llama-2-7b-transformers
• llama-2-7b-vllm

详见 replicate.com/meta。

---

注意：这是一个依赖 exllama 的实验性分支

目前，你应该：

git clone https://github.com/turboderp/exllama
cd exllama
git checkout e8a544f95b3fd64dfa5549eeeafb85b1ac71a793

我们正在努力进行适当的集成。

此 Cog 模板适用于 LLaMA 1 和 2 版本。

LLaMA 是来自 Meta Research 的新开源语言模型，其性能与闭源模型相当。

这是一份使用 Replicate 在云端运行 LLaMA 的指南。你将使用 Cog 命令行工具打包模型并将其推送到 Replicate，作为 Web 界面和 API。

此模板可用于运行 LLaMA 和 LLaMA2 的 7B、13B 和 70B 版本，也适用于微调后的模型。

注意：请验证 LLaMA 或 LLAMA2 的系统提示并相应更新。

注意：LLaMA 仅供研究使用。不适用于商业用途。请在 Meta Platforms, Inc. 的官方 LLaMA 网站上查看 LLaMA 和 LLaMA2 的许可证。

前提条件

• LLaMA 权重。LLaMA 的权重尚未公开发布。要申请访问权限，请填写 Meta Research 表单以下载权重。
• GPU 机器。你需要一台配有 NVIDIA GPU 的 Linux 机器，并安装 NVIDIA Container Toolkit。如果你还没有 GPU 机器的访问权限，请查看我们的获取 GPU 机器指南。
• Docker。你将使用 Cog 命令行工具构建和推送模型。Cog 使用 Docker 为模型创建容器。

步骤 0：安装 Cog

首先，安装 Cog：

sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog

步骤 1：设置权重

Replicate 目前支持 7B 模型大小。

将下载的权重放在名为 unconverted-weights 的文件夹中。文件夹层次结构应如下所示：

unconverted-weights
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── tokenizer.model
└── tokenizer_checklist.chk

使用以下命令将权重从 PyTorch 检查点转换为与 transformers 兼容的格式：

cog run python -m transformers.models.llama.convert_llama_weights_to_hf --input_dir unconverted-weights --model_size 7B --output_dir weights

最终的目录结构应如下所示：

weights
├── config.json
├── generation_config.json
├── pytorch_model-00001-of-00002.bin
├── pytorch_model-00002-of-00002.bin
├── pytorch_model.bin.index.json
├── special_tokens_map.json
├── tokenizer.model
└── tokenizer_config.json

完成后，你应该取消注释 .dockerignore 文件中的 unconverted-weights。这确保 unconverted-weights 不会被构建到生成的 cog 镜像中。

步骤 2：将与 transformers 兼容/huggingface 格式的权重张量化（这将使冷启动速度大大加快）：

运行 convert_to_tensors.py 将上一步与 transformers 兼容/huggingface 格式的权重张量化：

cog run python convert_to_tensors.py

这将张量化你的权重，如果有 GPU 可用，张量化的权重将写入 ./llama_weights/llama-7b/llama_7b_fp16.tensors，如果没有 GPU，则写入 .../llama_7b_fp32.tensors。 （要加载张量化模型而不是与 transformers 兼容/huggingface 权重，请验证 config.py 中的 DEFAULT_MODEL_NAME 是否设置为张量化权重的路径。）

• 确保 **.tensors 不在你的 .dockerignore 中： 在 .dockerignore 文件中，删除 **.tensors。这一行会忽略所有以 .tensors 结尾的文件，无论它们在目录结构中的位置如何。

步骤 3：运行模型

你可以在本地运行模型进行测试：

cog predict -i prompt="简而言之，相对论理论指出"

LLaMA 并未经过回答问题的微调。你应该构建你的提示，使预期的答案成为你提示的自然延续。

以下是来自 LLaMA FAQ 的几个示例：

• 不要用"生命的意义是什么？请简洁回答，不要重复。"作为提示，而应用"我相信生命的意义是"
• 不要用"解释相对论。"作为提示，而应用"简而言之，相对论理论指出"
• 不要用"构建网站的十个简单步骤..."作为提示，而应用"构建网站可以通过以下 10 个简单步骤完成：\n"

步骤 4：在 Replicate 上创建模型

前往 replicate.com/create 创建一个 Replicate 模型。

确保指定"private"以保持模型的私密性。

步骤 5：配置模型在 A100 GPU 上运行

Replicate 支持在各种 GPU 上运行模型。默认 GPU 类型是 T4，但为了获得最佳性能，你需要将模型配置为在 A100 上运行。

点击模型页面上的"设置"标签，向下滚动到"GPU 硬件"，选择"A100"。然后点击"保存"。

步骤 6：将模型推送到 Replicate

登录 Replicate：

sudo cog login

使用你在步骤 3 中指定的模型名称，将当前目录的内容推送到 Replicate：

sudo cog push r8.im/username/modelname

注意：如果在推送模型时遇到错误，指出你的模型在 Replicate 上不存在（即使它已成功创建在 Replicate 控制面板上），请确保在终端中的"cog login"命令中使用"sudo"。

了解更多关于将模型推送到 Replicate 的信息。

步骤 7：在 Replicate 上运行模型

现在你已经将模型推送到 Replicate，你可以通过网站或 API 运行它。

要在浏览器中使用你的模型，请转到你的模型页面。

要通过 API 使用你的模型，请点击模型页面上的"API"标签。你会看到使用 cURL、Python 等运行模型的命令。

要了解更多关于如何使用 Replicate 的信息，请查看我们的文档。

贡献者 ✨

这个模板由 Marco Mascorro (@mascobot) 生成，对原始 cog LLaMA 模板进行了一些修改，并得到了优秀人们编写的 cog 和 Replicate 文档的帮助。请参见下面列出的所有贡献者。

这个项目遵循 all-contributors 规范。欢迎任何形式的贡献！