Qwen1.5-72B

项目介绍：Qwen1.5-72B

项目背景

Qwen1.5-72B是Qwen2即将发布的测试版本，是一个基于Transformer架构的仅解码语言模型。该项目从大量数据中进行预训练，与之前发布的Qwen版本相比，Qwen1.5-72B在诸多方面进行了改进。主要包括：

• 提供了8种模型大小：从0.5B到72B的密集模型，以及一个14B的MoE模型，其中2.7B为激活模式。
• 聊天模型的性能得到显著提升。
• 底层模型和聊天模型均支持多语言环境。
• 稳定支持32K上下文长度，适用于所有型号的模型。
• 不再需要“trust_remote_code”许可。

详细内容可参阅他们的博客文章和GitHub仓库。

模型详情

Qwen1.5系列模型包括不同大小的解码语言模型。对于每一种模型大小，发布了基础语言模型和对齐的聊天模型。其基础是Transformer架构，使用了如SwiGLU激活函数、注意力QKV偏置、分组查询注意力、滑动窗口注意力和全量注意力的混合等结构。此外，模型改进了分词器，能够适应多种自然语言和代码。测试版本暂时未包括GQA（32B除外）以及SWA和全量注意力的混合机制。

使用条件

Qwen1.5的代码已纳入最新的Hugging Face Transformers中。建议安装transformers>=4.37.0，否则可能会遇到如下错误：

KeyError: 'qwen2'.

使用建议

我们不建议直接使用基础语言模型进行文本生成。相反，可以基于此模型进行后续训练，例如：SFT（监督微调）、RLHF（人类反馈强化学习）、继续预训练等方法。

引用信息

如果您觉得我们的工作对您有帮助，请随意引用以下内容：

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}