Qwen-72B

Qwen-72B项目介绍

项目背景

Qwen-72B是阿里云研发的通义千问大模型系列中的一款大规模语言模型，拥有720亿参数。该模型基于Transformer架构构建，并在大规模的预训练数据集上进行了训练。这些预训练数据涵盖了多种类型，包括大量的网络文本、专业书籍和代码等。基于Qwen-72B，团队还开发了一个基于大语言模型的AI助手——Qwen-72B-Chat。目前，这些资源均可在GitHub仓库中获取。

项目特点

1. 大规模高质量训练语料

Qwen-72B模型使用了超过3万亿字元（tokens）的数据进行预训练。其语料库质量高，包含了中文、英文及多种语言文本、代码、数学等数据，并涵盖了广泛的通用和专业领域。为了确保高效性，通过大量对比实验对语料数据的分布进行了优化。

2. 强大的性能

Qwen-72B在多项中文和英文的下游评测任务中表现优异，涵盖了常识推理、代码、数学、翻译等领域。该模型的表现显著优于现有的开源模型，实现了高效的知识运用和推理能力。

3. 更加全面的词表覆盖

与其他以中英为主的开源模型相比，Qwen-72B使用了约15万大小的词表。这使得模型在多语言处理上更具优势，用户可以在不扩展词表的情况下，进一步增强特定语言的能力。

4. 较长的上下文支持

Qwen-72B支持32k长度的上下文，这意味着在处理长文本时，模型能够保留更多的上下文信息，从而更好地理解和生成文本。

使用要求

• 支持Python版本为3.8及以上。
• 需安装PyTorch 1.12及以上版本，推荐使用版本2.0及以上。
• 建议使用CUDA 11.4及以上版本，尤其是对于GPU用户。
• 若要运行BF16或FP16模型，至少需要144GB的显存，例如2块A100-80G或5块V100-32G的配置。运行Int4模型则至少需要48GB显存。

快速使用

用户可以通过简便的代码调用Qwen-72B进行文本生成任务，并能够选择不同的计算精度（如bf16、fp16或仅使用CPU）。详细的使用说明可以参考GitHub仓库提供的文档。

模型细节

Qwen-72B的模型架构具有以下超参数：

• 层数（n_layers）：80
• 头数（n_heads）：64
• 模型尺寸（d_model）：8192
• 词汇表大小（vocab size）：151851
• 序列长度（sequence length）：32768

模型在位置编码、激活函数和规范化的实现上采用了主流的方法，如RoPE相对位置编码、SwiGLU激活函数以及RMSNorm。此外，模型的分词器在中文和多语言处理上也进行了优化，以支持高效的编码解码。

评测效果

通过广泛的benchmark评测（MMLU，C-Eval，GSM8K等），Qwen-72B在知识理解、翻译、数学推理和代码生成方面展现了开源模型中的最优表现。其在各个评测项目中均取得了领先的成绩。

总结

Qwen-72B是一个超大规模的语言模型，集成了丰富的语言资源和最先进的技术，对多语言处理、长文本理解等有显著的优势，为用户提供了广阔的应用空间。在未来的人工智能和自然语言处理应用中，它具有重要的推动作用。