Qwen1.5-32B-Chat-GGUF

Qwen1.5-32B-Chat-GGUF项目介绍

项目背景

Qwen1.5-32B-Chat-GGUF是一种基于Transformer架构的语言模型，这是Qwen2的测试版本。这个模型专注于文本生成，并在多个方面相较于先前版本有所改进。它的设计经过精心打磨，包含了丰富的特性，是一款适用于多人聊天、多语言支持的模型。

核心特点

模型规模：Qwen1.5推出了8种不同规模的模型，包括从0.5B到72B不等的密集模型，以及一个激活参数为14B的专家混合（MoE）模型。
性能提升：在聊天模型的人类偏好评估中表现出了显著的性能提升。
多语言支持：无论是基础模型还是聊天模型，均提供多语言支持，能够适应多种语言环境。
上下文长度：模型能够稳定支持32K上下文长度，适用于所有规模的模型。
便捷性：不需要“信任远程代码”，方便用户使用。

模型详情

Qwen1.5系列包括解码器语言模型，以Transformer架构为基础，采用了SwiGLU激活函数、关注QKV偏差、组查询注意力、滑窗注意力与全注意力的混合等技术。同时，改进的标记器适应多种自然语言和代码。尽管目前的测试版本中未包括部分特性，但在32B版本中保留了一些功能。

训练细节

Qwen1.5在大量数据的基础上进行了预训练，并通过监督微调和直接偏好优化进行了后续训练，从而提升了模型的精确度和多样性，使其更符合用户的期待。

使用说明

依赖安装：建议用户按照官方指南克隆并安装llama.cpp工具。
文件下载：用户可通过手动下载GGUF文件，也可以使用huggingface-cli命令行工具便捷地下载文件到本地。以下是一个例子：
```
huggingface-cli download Qwen/Qwen1.5-32B-Chat-GGUF qwen1_5-32b-chat-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False
```

运行示例：用户可以使用llama.cpp来运行Qwen1.5模型，如下所示：

./main -m qwen1_5-32b-chat-q5_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt

参考文献

如果使用该项目并觉得有帮助，欢迎引用以下文献：

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}