DeepSeek-Coder-V2-Lite-Base-GGUF

DeepSeek-Coder-V2-Lite-Base-GGUF 项目介绍

DeepSeek-Coder-V2-Lite-Base-GGUF 是一个面向文本生成任务的项目，通过利用 llama.cpp 平台的量化工具，进一步优化了 DeepSeek-Coder-V2-Lite-Base 模型的性能和体积。

模型量化

该项目通过 imatrix 选项对原始模型进行了量化处理。量化的目的是通过减少模型参数的位数来缩小模型的体积，同时尽量保持模型的性能。这种优化使得模型在低内存环境下也能高效运行，并且提供了多种量化文件供用户选择。

提示格式

DeepSeek-Coder-V2-Lite-Base-GGUF 项目定义了一种标准的提示格式，方便与模型进行互动。提示格式如下所示：

<｜begin▁of▁sentence｜>{system_prompt}

User: {prompt}

Assistant: <｜end▁of▁sentence｜>Assistant:

通过这种格式，用户可以指定系统提示和用户提示，随后模型以“Assistant”的身份生成响应。

文件下载

用户可以从提供的链接中下载所需的量化文件。以下是一些可供下载的文件类型及其简要描述：

Q8_0_L: 实验性量化文件，使用浮点16进行嵌入和输出权重，高质量但通常不需要，文件大小为17.09GB。
Q6_K_L: 高质量近乎完美，推荐使用，文件大小为14.56GB。
Q4_K_M: 质量较好且推荐使用，文件大小为10.36GB。
IQ4_XS: 性能与 Q4_K_S 类似且更小，推荐使用，文件大小为8.57GB。

使用 Huggingface-CLI 下载

下载前需要确保已安装 huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后使用以下命令下载指定的量化文件：

huggingface-cli download bartowski/DeepSeek-Coder-V2-Lite-Base-GGUF --include "DeepSeek-Coder-V2-Lite-Base-Q4_K_M.gguf" --local-dir ./

如何选择合适的量化文件

用户在选择量化文件时，需要根据自己的 RAM 和 VRAM 来决定可以运行多大的模型：

如果希望模型运行速度尽可能快，应选择比 GPU 总 VRAM 小1-2GB的量化文件。
如果追求最高质量，可选择比系统 RAM 和 GPU VRAM 之和小1-2GB的量化文件。

选择时还需考虑是否使用 I-quant 或 K-quant。如果想省事，选择 K-quant；如果关注细节并希望获得更好的性能表现，可以使用 I-quant。

支持和感谢

如果您对该项目感兴趣并希望支持作者的工作，可以访问作者的 ko-fi 页面：访问链接。