code-llama-for-vscode

Code Llama for VSCode 项目介绍

Code Llama for VSCode 是一个 API 项目，它旨在通过模拟 Llama.cpp 来提供对 Code Llama 的支持，从而与 Continue Visual Studio Code 扩展 结合使用。

项目背景

在撰写本文时，根据已有资料，Code Llama for VSCode 被认为是唯一可以本地使用 Code Llama 与 VSCode 的方式，而无需注册或获取服务的 API 密钥。唯一的例外是搭配 Ollama 的 Continue，但 Ollama 并不支持 Windows 或 Linux 系统。相对而言，Code Llama for VSCode 是完全跨平台的，它可以在任何可以运行 Meta 自身的 codellama 代码的地方运行。

设置指南

要开始使用 Code Llama for VSCode，用户需要预先准备以下条件：

• 下载并运行任意一个 Code Llama Instruct 模型，可在这里进行下载。
• 安装 Continue VSCode 扩展，点击这里安装。

当用户能够独立使用上述工具之后，就可以利用 Code Llama for VSCode 将它们整合在一起。

设置步骤

1. 将 llamacpp_mock_api.py 移动到 codellama 文件夹中，并使用命令 pip install flask 为您的环境安装 Flask。
2. 使用 Code Llama Instruct 的 torchrun 命令运行 llamacpp_mock_api.py。例如：

   torchrun --nproc_per_node 1 llamacpp_mock_api.py \
       --ckpt_dir CodeLlama-7b-Instruct/ \
       --tokenizer_path CodeLlama-7b-Instruct/tokenizer.model \
       --max_seq_len 512 --max_batch_size 4

3. 在 VSCode 中，点击 Continue UI 右下角的设置按钮，并更改 config.json，使其配置符合此说明^[archive]。将 MODEL_NAME 替换为 codellama-7b。

完成上述配置后，重启 VSCode 或重新加载 Continue 扩展，用户就可以开始使用 Code Llama for VSCode 了。

小结

Code Llama for VSCode 提供了一个无缝集成 Llama 模型与 Visual Studio Code 的方法，尤其适用于那些希望在本地环境中进行深度学习工具开发的开发者。通过一些简单的设置步骤，用户就能够充分利用包含模型指令功能的强大工具组合，从而提高开发效率。