Qwen2.5-32B-Instruct-GGUF

项目介绍：Qwen2.5-32B-Instruct-GGUF

项目概述

Qwen2.5-32B-Instruct-GGUF是Qwen系列大语言模型的最新成员。该系列提供多种基础语言模型和指令微调语言模型，参数规模从0.5亿到72亿不等。Qwen2.5在前一代Qwen2的基础上进行了多项改进：

增强了知识储备，并在编程和数学领域的能力显著提高，得益于该领域的专用专家模型。
提升了指令遵循能力，能够生成超过8000个tokens的长文本，更好地理解结构化数据（如表格），并生成特别是JSON的结构化输出。对系统提示的多样性更加适应，提高了角色扮演和聊天机器人条件设置的效果。
长上下文支持：最高支持128K tokens，可以生成最多8K tokens。
多语言支持超过29种语言，包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。

该项目的仓库包含经过指令微调的32B Qwen2.5模型，以GGUF格式保存，具备以下特性：

类型：因果语言模型
训练阶段：预训练和后训练
架构：包含RoPE、SwiGLU、RMSNorm及Attention QKV偏置的transformers
参数数量：32.5亿
非嵌入参数数量：31.0亿
层数：64
注意力头数（GQA）：40个Q和8个KV
上下文长度：完整的32,768个tokens，生成8192个tokens

目前，仅vLLM支持YARN用于长度扩展。如果需要处理到131,072个tokens的序列，请参阅非GGUF模型。量化方式包括q2_K、q3_K_M、q4_0、q4_K_M、q5_0、q5_K_M、q6_K、q8_0。

快速开始

要了解更多使用指南，可以参考我们的llama.cpp文档。

建议用户克隆llama.cpp并按照官方指南进行安装。在以下示例中，假设用户在llama.cpp仓库中运行命令。

由于克隆整个仓库可能效率不高，用户可以手动下载所需的GGUF文件，也可以使用huggingface-cli进行下载：

安装
```
pip install -U huggingface_hub
```

下载：

huggingface-cli download Qwen/Qwen2.5-32B-Instruct-GGUF --include "qwen2.5-32b-instruct-q5_k_m*.gguf" --local-dir . --local-dir-use-symlinks False

对于大文件，由于上传限制，我们将其拆分为多个部分。它们共享前缀，后缀表示其索引。如需合并，请使用以下命令：

./llama-gguf-split --merge qwen2.5-32b-instruct-q5_k_m-00001-of-00006.gguf qwen2.5-32b-instruct-q5_k_m.gguf

对于希望获得聊天机器人体验的用户，建议采用对话模式开始：

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

评估与表现

详尽的评估结果报告在此📑 博文中。

关于量化模型与原始bfloat16模型的基准测试结果可在这里找到。

关于GPU内存要求及相应的吞吐量，可以在这里查看。

引用

如果您觉得我们的工作有帮助，请随意引用我们。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}
@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}