Qwen2.5-0.5B-Instruct-GGUF

Qwen2.5-0.5B-Instruct-GGUF 项目介绍

简介

Qwen2.5-0.5B-Instruct-GGUF 是 Qwen 大型语言模型系列中的最新成员。Qwen2.5 系列提供了从0.5亿到72亿参数的基础语言模型和经过指令优化的语言模型，带来了诸多显著提升：

具备显著提高的 知识储备，在编程和数学方面表现尤为出色，这是得益于其在这些领域的专家模型。
在 指令跟随、长文本生成（超过8000个标记）、结构化数据理解（如表格）以及特别是 JSON 等 生成结构化输出方面，均有显著改进。同时，模型对系统提示的多样性具有更强的适应性，提升了角色扮演和聊天机器人条件设置的能力。
支持 长上下文，最多可达128,000个标记，并且能够生成最多8,000个标记。
支持超过29种语言的 多语言功能，包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。

本项目提供了使用 GGUF 格式的经过指令调优的0.5亿参数的 Qwen2.5 模型，具有以下特征：

类型：因果语言模型
训练阶段：预训练和后训练
架构：使用 RoPE、SwiGLU、RMSNorm、Attention QKV 偏差以及词嵌入绑定的变压器架构
参数数量：4.9 亿
非嵌入参数数量：3.6 亿
层数：24层
注意头数（GQA）：Q 为 14 个，KV 为 2 个
上下文长度：完整32,768个标记，生成8,192个标记
量化方式：q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K, q8_0

快速入门

初学者可以参考我们的 llama.cpp 文档，获取更多使用指南。

建议用户克隆 llama.cpp，并按照官方指南安装。在以下示范中，假设用户在 llama.cpp 仓库下运行命令。

由于克隆整个仓库可能效率不高，用户可以手动下载所需的 GGUF 文件，或使用 huggingface-cli 下载：

安装命令：
```
pip install -U huggingface_hub
```

下载命令：

huggingface-cli download Qwen/Qwen2.5-0.5B-Instruct-GGUF qwen2.5-0.5b-instruct-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

如希望获得类似聊天机器人的体验，建议进入对话模式：

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

评估与性能

详细评估结果已在此 📑 博客中报道。

关于量化模型与原始 bfloat16 模型的基准测试结果，可以在此处查看。

关于 GPU 内存需求和相应的吞吐量，请参见此处的结果。

引用

如觉得我们的工作对您有所帮助，欢迎引用。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}
@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}