CodeLlama-7B-Python-GGUF

CodeLlama-7B-Python-GGUF 项目简介

项目概述

CodeLlama-7B-Python-GGUF 是 Meta 公司推出的一个模型，旨在生成符合特定约束的 Python 代码解决方案。这个项目的核心模型是 CodeLlama 7B Python，由 Meta 成立，并使用 GGUF 格式存储。这种格式由 llama.cpp 团队于 2023 年 8 月 21 日推出，取代了不再受支持的 GGML 格式。

GGUF 格式

GGUF 格式较 GGML 具备许多优势，包括更好的分词能力，支持特殊的 Token，支持元数据，并且设计上可以扩展。多个第三方客户端和库支持 GGUF 格式，提升了模型的兼容性和适用性。支持 GGUF 的工具和库包括：

llama.cpp
text-generation-webui
KoboldCpp
LM Studio
LoLLMS Web UI
Faraday.dev
Python 的 ctransformers 库
Python 的 llama-cpp-python 库
Rust 的 candle 框架等

这些工具大多数具备 GPU 加速功能，提升计算效率和速度。

提供的文件

项目提供了多个量化后的模型文件，以适应不同的使用需求和硬件条件。主要的量化方法和文件包括：

名称	量化方法	位数	大小	最大RAM需求	用例说明
codellama-7b-python.Q2_K.gguf	Q2_K	2	2.83GB	5.33GB	最小配置，明显的质量损失
codellama-7b-python.Q4_K_M.gguf	Q4_K_M	4	4.08GB	6.58GB	中等配置，质量平衡，推荐使用
codellama-7b-python.Q5_K_M.gguf	Q5_K_M	5	4.78GB	7.28GB	大配置，非常低的质量损失，推荐使用

更多关于这些文件的信息可以在项目的资源库中找到。

下载与使用

用户可以利用 Hugging Face 的 huggingface-hub 库来快速下载这些模型文件。对于 CLI 用户，可以直接使用 huggingface-cli 命令进行下载，支持模式匹配下载多个文件。

在 `text-generation-webui` 中下载模型

用户可以在其下载模型的选项中输入模型存储库名称 "TheBloke/CodeLlama-7B-Python-GGUF"，以及需要下载的文件名称，例如 "codellama-7b-python.q4_K_M.gguf"，然后点击下载即可。

命令行下载示例

安装必需的库后，可以使用以下命令快速下载到当前目录：

huggingface-cli download TheBloke/CodeLlama-7B-Python-GGUF codellama-7b-python.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

在 `llama.cpp` 中的使用示例

确保你的 llama.cpp 版本符合最新提交的要求，并使用以下命令调用：

./main -ngl 32 -m codellama-7b-python.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "[INST] Write code to solve the following coding problem that obeys the constraints and passes the example test cases. Please wrap your code answer using ```:\n{prompt}\n[/INST]"