ChatGLM2-6B

ChatGLM2-6B 项目介绍

ChatGLM2-6B 是一个开源的中英双语对话模型，是 ChatGLM-6B 的第二代版本。这个项目在保留初代模型出色特性的基础上，引入了一些新的特性，提高了模型的性能和使用体验。

新特性

1. 更强大的性能：ChatGLM2-6B 通过混合目标函数进行预训练和人类偏好对齐训练，在多个标准数据集上的表现明显提升，例如在 MMLU、C-Eval、GSM8K、BBH 等测试数据集上都有卓越表现。

2. 更长的上下文支持：得益于 FlashAttention 技术，模型支持更长的上下文长度。上下文长度从之前的 2K 增加到了 32K，使得模型在处理长对话时更加得心应手。

3. 更高效的推理速度：通过使用 Multi-Query Attention 技术，模型的推理速度提升了 42%，同时大大减少了显存的占用。

4. 更开放的使用协议：ChatGLM2-6B 的权重对学术研究完全开放，同时也允许经过登记后的免费商业使用。

评测结果

ChatGLM2-6B 在多个典型数据集上的表现卓越：

• MMLU：在 STEM、社会科学、人文学科等类别上的平均正确率显著提升。
• C-Eval：在中文数据集上大幅提升了模型的满意度和准确度。
• GSM8K 和 BBH：在数学和英文推理能力上都有显著增强。

推理性能

ChatGLM2-6B 通过 Multi-Query Attention 提升了生成速度并降低了显存占用。在生成字符的效率上显著优于第一代模型，并可以在较小显存条件下实现长文本生成。

使用和部署

用户可以通过多种方式使用和部署 ChatGLM2-6B：

• 可以通过 pip 安装依赖后，运行 Python 脚本在本地生成对话。
• 提供 Gradio 和 Streamlit 的网页 Demo，便于用户通过浏览器直接使用模型。
• 提供命令行和 API 的部署方式，适合开发者集成到现有项目中。
• 支持模型量化和多卡部署，以适应不同硬件配置。

社区和支持

ChatGLM2-6B 项目团队积极与开源社区合作，并鼓励遵守开源协议，避免将模型用于不当用途。团队也提供了从本地加载模型、量化部署、以及在 Apple silicon 上使用的详细指南，尽可能为广泛用户提供支持。

对于研究人员、技术爱好者和企业开发者来说，ChatGLM2-6B 提供了丰富的功能和灵活的使用方式，欢迎大家参与和尝试。由此，进一步推动大规模语言模型发展的技术前沿。