Chinese-Mixtral

Chinese-Mixtral 项目介绍

项目背景

Chinese-Mixtral 项目基于 Mistral.ai 发布的 Mixtral 模型，通过大规模的中文无标注数据进行了增量训练，最终开发出了中文版的 Mixtral 模型。这一基于稀疏混合专家模型（Sparse MoE）架构的模型在处理长文本及相关任务如数学推理和代码生成方面表现出色。

模型特性

稀疏混合专家模型

Mixtral 模型是一个稀疏混合专家模型，与常规的大语言模型有显著不同：

• 模型的每一层包含多个专家（全连接层），选择两个最优的进行激活。
• 输入序列中的每个 token 会独立选择激活的专家。
• 尽管模型的总参数量达到 46.7B，但实际推理时只激活其中的 13B。

支持长文本处理

模型原生支持32K的上下文长度，通过实验证明最高可支持到128K。这使得该模型在处理大量文本信息时具有优势。

模型版本

中文Mixtral

• 类型：基座模型
• 适用场景：文本续写任务
• 训练数据：大规模无标注中文数据

中文Mixtral-Instruct

• 类型：指令模型（类 ChatGPT）
• 适用场景：问答、写作、聊天及交互任务
• 训练数据：标注的指令数据

模型下载及版本

用户可以选择三种模型类型下载：

• 完整版模型：适合网络带宽充足的用户。
• LoRA版模型：需要与原版 Mixtral 合并后使用。
• GGUF版模型：主要用于部署推理。

推理与部署

该项目支持多种推理和部署方式，适合不同的硬件环境及需求，主要通过以下工具实现：

• llama.cpp
• 🤗Transformers
• text-generation-webui
• LangChain
• privateGPT

模型效果评估

通过多种评测基准如 C-Eval、CMMLU、MMLU 和 LongBench，对模型的各种能力进行了验证，展示了其在不同任务上的优越表现。

训练与精调

预训练

利用大规模无标注数据进行增量训练以获得基础模型。

指令精调

在基础模型的基础上，通过有标注的数据进一步精调，形成了适合各种自动化任务的指令模型。

常见问题

项目的常见问题解答已经在 GitHub 上进行汇总，以方便用户快速解决使用中的常见困惑。

结语

Chinese-Mixtral 项目在大模型的中文语言适配方面做了极大的突破，通过不断优化的稀疏混合专家模型架构和丰富的中文训练数据，使其在多个任务领域中展现出强劲的能力。随着项目的持续发展和优化，期待它在未来更多的应用场景中发挥更大作用。

引用及免责声明

使用该模型时，请遵守相关的开源许可协议。特别在模型生成的内容可能存在不准确性的情况下，项目不对其产生的结果及影响承担责任。