Chinese-LLaMA-Alpaca-2

Chinese-LLaMA-Alpaca-2 项目介绍

项目背景

Chinese-LLaMA-Alpaca-2 项目是基于 Meta 公司发布的可商用大模型 Llama-2 开发的一个开源项目。这是中文LLaMA&Alpaca大模型的第二期项目，旨在提升中文语言模型的性能和能力。这些模型在原版 Llama-2 的基础上，优化和扩展了中文词表，并使用大规模汉语数据进行增量预训练，显著提升了中文语义和指令理解能力。

主要特点

中文词表优化

项目对 Llama-2 模型进行了中文词表的扩展，新版词表的大小为 55296，提升了中文字词的覆盖率，并统一了 LLaMA 和 Alpaca 的词表。这一改进旨在提高模型对中文文本的编解码效率。

FlashAttention-2 训练支持

所有模型使用了 FlashAttention-2 技术进行训练。这种高效注意力机制在处理长上下文时，可以显著减少显存占用，并提升处理速度。

长上下文支持

项目支持 4K 到 64K 的上下文长度，特别推出了基于位置插值（PI）和 YaRN 方法的长上下文版模型，以支持处理长文本应用场景。

人类偏好对齐

人类偏好对齐（RLHF）系列模型在标准版模型的基础上进行了精调，增强了模型传递正确价值观的能力，适合处理涉及法律和道德的内容。

支持与功能

• 扩展生态支持：项目兼容多种工具和生态，如 transformers、llama.cpp、text-generation-webui 等。
• 快速部署与体验：提供的脚本可用于在个人电脑上快速量化和部署模型。
• LoRA 模型支持：提供 LoRA 模型，可与原版 Llama-2 模型合并使用，适合轻量化下载需求的用户。

已开源模型

• 基座模型（4K 上下文）：Chinese-LLaMA-2 系列（1.3B、7B、13B）
• 聊天模型（4K 上下文）：Chinese-Alpaca-2 系列（1.3B、7B、13B）
• 长上下文模型（16K/64K 上下文）
  • 16K：Chinese-LLaMA-2 和 Chinese-Alpaca-2（7B、13B）
  • 64K：Chinese-LLaMA-2 和 Chinese-Alpaca-2（7B）
• 偏好对齐模型：Chinese-Alpaca-2-RLHF（1.3B、7B）

模型下载

用户可直接下载本文中提供的完整模型，而无需其他合并步骤。若选择 LoRA 模型下载，则需按教程与原版 Llama-2 模型合并。各模型可从 Baidu、Google Drive、Hugging Face 和 ModelScope 等平台获取。

应用场景建议

基座模型适合文本续写等任务，而指令模型适用于实现问答、写作、聊天等对话系统需求。不建议单独使用 1.3B 模型，宜搭配更大的模型（7B、13B）使用以提升生成质量。

未来发展

项目鼓励用户持续关注后续版本的发布，通过与开源社区的合作，不断提升模型的智能化水平，使之更好地服务于中文语言生态中的多种应用场景。