Qwen1.5-32B

Qwen1.5-32B项目介绍

项目简介

Qwen1.5-32B是Qwen2的测试版本，是一个基于Transformer架构，仅使用解码器的语言模型，经过大量数据的预训练。在与先前发布的Qwen模型相比，Qwen1.5-32B有以下改进：

• 提供了多种模型尺寸，包括0.5B、1.8B、4B、7B、14B、32B和72B的密集模型，以及一个激活2.7B的14B MoE模型；
• 在聊天模型方面取得了显著性能提升；
• 支持多语言通用的基础和聊天模型；
• 所有模型尺寸均支持32K的上下文长度；
• 不再需要trust_remote_code权限。

欲了解更多详情，请参阅我们的博客文章和GitHub仓库。

模型详情

Qwen1.5是一个语言模型系列，包含各种尺寸的解码器语言模型。对于每个尺寸，发布了基础语言模型和对话模型。模型基于Transformer架构，采用SwiGLU激活、带QKV偏置的注意力机制、组查询注意力，以及滑动窗口注意力和全注意力的混合机制。此外，我们有一个改进的分词器，适应多种自然语言和代码。在该测试版本中，暂时没有包括GQA（32B除外）以及滑动窗口和全注意力的混合机制。

使用要求

Qwen1.5的代码已经集成到最新版Hugging Face的transformers中，我们建议安装transformers>=4.37.0，否则可能遇到以下错误：

KeyError: 'qwen2'.

使用建议

我们不建议使用基础语言模型直接进行文本生成。可以通过后期训练例如SFT、RLHF、继续预训练等方式来应用这一模型。

引用

如果你发现我们的工作对你有帮助，请随时引用。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}