Chinese-LLaMA-Alpaca-3

Chinese-LLaMA-Alpaca-3 项目介绍

项目背景

Chinese-LLaMA-Alpaca-3 是一个基于 Meta 最新发布的开源大模型 Llama-3 开发的中文语言模型项目。这是 Chinese-LLaMA-Alpaca 系列的第三阶段，旨在利用大规模中文数据和精选指令数据进行增量预训练和精细调优，以提升模型的中文语言理解和指令处理能力。

主要内容

开源模型：提供了经过指令精细调优的中文 Llama-3 基座模型和 Instruct 模型（v1、v2、v3）。
训练工具：开源了预训练和指令调优的脚本，用户可以在此基础上进一步训练或微调模型。
指令精调数据：发布了多个指令精调数据集，包括 alpaca_zh_51k 和 stem_zh_instruction。
部署教程：提供在个人电脑上利用 CPU/GPU 快速量化和部署大模型的教程。
生态支持：兼容多种模型生态系统，如 transformers、llama.cpp 和 text-generation-webui。

模型特点

使用原版 Llama-3 词表

新版 Llama-3 使用扩充至 128K 的 BPE 词表，同时增加了编码效率。模型未对原版词表进行扩充，以保留其高效性。

长上下文支持

上下文窗口长度由 4K 扩展至 8K，支持更长文本处理。

分组查询注意力机制

Llama-3 采用了优化的分组查询注意力机制，提高了模型处理效率。

新的指令模板

Llama-3-Instruct 版本采用了新的指令模板，与前代 Llama-2-chat 不兼容，因此建议使用官方提供的模板格式。

模型下载

用户可以从多个平台下载完整版、LoRA 版和 GGUF 版模型。不同版本适用于不同的使用场景，如直接推理或微调。

模型建议：对于需要聊天交互的场景，建议选择 Instruct 版本。若没有明确偏好，可优先选择 Instruct-v3 版。

推理与部署

项目提供多种工具支持模型的量化和推理，包括：

llama.cpp：本地推理和丰富的量化选项。
transformers：原生接口进行推理。
text-generation-webui 和 LM Studio：GUI 界面支持的部署。
API 服务器：仿 OpenAI API 的接口。

模型效果

生成效果

项目提供了生成效果在线对战平台，用户可以评估模型的对战胜率和 Elo 评分。

客观效果

项目使用多个数据集对模型进行评估，包括 C-Eval、CMMLU、MMLU 和 LongBench 等，针对模型的中文和英文理解能力，以及长文本处理能力进行了详细测试。

量化效果评测

项目还在 llama.cpp 下测试了模型的量化性能，确保在不显著影响模型性能的情况下尽可能提高推理速度。

通过这些特点和资源，Chinese-LLaMA-Alpaca-3 项目为开发者和研究人员提供了一个强大的工具，用于中文语言处理的各种应用场景。