Qwen2.5-1.5B-Instruct-GGUF

项目简介：Qwen2.5-1.5B-Instruct-GGUF

介绍

Qwen2.5是一系列最新的大型语言模型。对于Qwen2.5，团队发布了多个基础语言模型和经过指令微调的语言模型，参数范围从0.5亿到72亿不等。Qwen2.5基于Qwen2带来了以下改进：

显著增加了知识储备，并在编程和数学领域具有极强的能力，这是因为有专门的专家模型支持这些领域。
在指令遵循、生成长文本（支持超过8K个标记）、理解结构化数据（如表格）、生成结构化输出（特别是JSON）等方面有显著提升。对多样化的系统提示更具适应性，从而增强了角色扮演和条件设定功能，特别适合于聊天机器人。
支持长上下文，长度可达到128K个标记，并能生成最多8K个标记的文本。
支持29种以上的多语言，包括中文、英文、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

这个仓库包含了经过指令微调后的1.5B Qwen2.5模型的GGUF格式，其主要特性包括：

类型：因果语言模型
训练阶段：预训练和后训练
架构：采用transformers框架，结合RoPE、SwiGLU、RMSNorm、Attention QKV偏置及绑定词嵌入
参数数量：1.54B
非嵌入参数数量：1.31B
层数：28
注意力头数量(GQA)：Q的头数量为12，KV的头数量为2
上下文长度：完整支持32,768个标记，生成最大可达到8192个标记
量化：q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K, q8_0

更多详情，可以参考我们的博客、GitHub和文档。

快速开始

请查看我们的llama.cpp 文档以获取更多用法指导。

建议用户克隆llama.cpp并按照官方指南进行安装。我们遵循了llama.cpp的最新版本。在下面的示例中，我们假定您在llama.cpp仓库下运行命令。

由于克隆整个仓库可能效率低下，建议手动下载需要的GGUF文件或使用huggingface-cli：

安装
```
pip install -U huggingface_hub
```

下载：

huggingface-cli download Qwen/Qwen2.5-1.5B-Instruct-GGUF qwen2.5-1.5b-instruct-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

如需获得聊天机器人般的体验，建议以会话模式开始：

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

评估与表现

详细的评估结果已在这个📑 博客中报告。

对于量化模型，与原始bfloat16模型的对比基准结果可以在这里找到。

关于GPU内存需求和相应的吞吐量，结果请参见这里。

引用

如果你觉得我们的工作有帮助，请随意引用。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}
@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}