Chinese-Mixtral-8x7B学习资源汇总 - 开源中文Mixtral混合专家大模型

Chinese-Mixtral-8x7B学习资源汇总 - 开源中文Mixtral混合专家大模型

Chinese-Mixtral-8x7B是哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)开源的一个基于Mixtral-8x7B进行中文扩词表训练的大语言模型。本文整理了该项目的相关学习资源,帮助读者快速了解和使用这个模型。

项目概述

Chinese-Mixtral-8x7B是在Mistral AI开源的Mixtral-8x7B模型基础上,通过中文词表扩充和增量预训练得到的中文大语言模型。主要特点包括:

• 扩充了25000个中文token,显著提高了中文编解码效率
• 采用QLoRA方法进行增量预训练,在有限算力下实现了高效训练
• 在保留原始英文能力的同时,大幅提升了中文理解生成能力
• 开源了完整模型权重、训练代码等资源

模型下载

Chinese-Mixtral-8x7B提供了两种格式的模型下载:

1. 完整模型权重(88GB):

   • HuggingFace
   • ModelScope

2. LoRA权重(2.7GB):

   • HuggingFace

使用教程

1. 模型加载与推理:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "HIT-SCIR/Chinese-Mixtral-8x7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, 
                                             attn_implementation="flash_attention_2", 
                                             torch_dtype=torch.bfloat16, 
                                             device_map="auto")

text = "我的名字是"
inputs = tokenizer(text, return_tensors="pt").to(0)
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. 4-bit量化推理:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "HIT-SCIR/Chinese-Mixtral-8x7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, device_map="auto")

text = "我的名字是"
inputs = tokenizer(text, return_tensors="pt").to(0)
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

技术细节

1. 词表扩充:

   • 在12G知乎数据和2G悟道数据上训练中文BPE词表
   • 使用ALP指标评估词表质量
   • 最终新增25000个中文token,其中包含6414个中文单字

2. 增量预训练:

   • 采用QLoRA方法进行训练
   • 训练数据:
     • Skywork/SkyPile-150B: 30B tokens
     • DKYoon/SlimPajama-6B: 12B tokens

3. 模型评测:

   • 使用C-Eval、CMMLU、MMLU、HellaSwag等数据集进行评测
   • 与同规模中文模型对比,Chinese-Mixtral-8x7B在中文理解方面与TigerBot-13B-Base-v3相当,在英文能力上达到了各个扩词表模型的最强水平

相关资源

• 项目GitHub仓库
• HuggingFace模型页面
• ModelScope模型页面
• Mixtral-8x7B原始模型
• 技术报告

后续工作

基于Chinese-Mixtral-8x7B,HIT-SCIR还开源了经过指令微调的活字3.0模型,进一步提升了模型的指令遵循能力。

Chinese-Mixtral-8x7B作为一个开源的中文大语言模型基座,为研究人员和开发者提供了宝贵的资源。无论是进行自然语言处理研究,还是开发实际应用,这个模型都是一个很好的起点。欢迎读者深入探索该项目,为中文自然语言处理的发展贡献力量。