Qwen2.5-Coder-1.5B

Qwen2.5-Coder-1.5B项目介绍

项目概述

Qwen2.5-Coder-1.5B是近期发布的Qwen系列中的最新代码特定大语言模型系列。该系列原名为CodeQwen。此次发布的Qwen2.5-Coder包含1.5B、7B和即将推出的32B参数的基础语言模型和指令调优语言模型。与之前的CodeQwen1.5相比，Qwen2.5-Coder在以下几方面进行了显著提升：

• 在代码生成、代码推理和代码修复能力上有了显著改进。基于强大的Qwen2.5模型，我们将训练数据拓展到5.5万亿个tokens，涵盖源码、文本-代码关联数据和合成数据等。
• 为如代码代理等实际应用提供了更全面的基础。不仅提升了编码能力，同时在数学和普适能力方面也保持了优势。
• 支持长上下文处理，最大可达128K tokens。

Qwen2.5-Coder-1.5B具有以下特点：

• 模型类型：因果语言模型
• 训练阶段：预训练
• 架构：采用transformers架构，包括RoPE、SwiGLU、RMSNorm、Attention QKV偏置及词嵌入绑定
• 参数数量：总参数1.54B（不包括嵌入部分则为1.31B）
• 层数：28层
• 注意力头（GQA）数量：Q为12，KV为2
• 上下文长度：最大支持131,072个tokens

注意：不建议在对话场景中直接使用基础语言模型。使用者可以在此模型基础上执行后续训练，例如SFT、RLHF或持续预训练等。

更多细节可以参考以下链接：项目博客、GitHub、文档、预印本论文。

系统要求

Qwen2.5-Coder的代码已集成在最新版的Hugging Face transformers库中，建议使用该库的最新版本。

若版本低于transformers<4.37.0，可能会出现以下错误：

KeyError: 'qwen2'

处理长文本

当前的config.json配置支持上下文长度可达32,768 tokens。为处理超出32,768 tokens的大量输入，使用了YaRN技术以提升模型的长度外推能力，确保在处理长文本时的最佳性能。

要支持此功能，可以在config.json中添加如下配置：

{
  ...,
  "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
  }
}

推荐使用vLLM进行部署，详细用法可参见文档。目前，vLLM仅支持静态YaRN，这意味着缩放因子在任意输入长度下保持不变，可能影响短文本的性能。仅在处理长上下文时，建议添加rope_scaling配置。

评估与性能

详细的评估结果可在此博客中查阅。

关于对GPU内存的要求及相关吞吐量，可在此处查阅结果。

引用

如果觉得本项目对您有帮助，请给予引用。

@article{hui2024qwen2,
  title={Qwen2. 5-Coder Technical Report},
  author={Hui, Binyuan and Yang, Jian and Cui, Zeyu and Yang, Jiaxi and Liu, Dayiheng and Zhang, Lei and Liu, Tianyu and Zhang, Jiajun and Yu, Bowen and Dang, Kai and others},
  journal={arXiv preprint arXiv:2409.12186},
  year={2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}