DeepSeek-MoE

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/03cb0773-c839-4a99-8c96-ab7093feb122.svg" width="60%" alt="DeepSeek LLM" /> </div> <hr> <div align="center"> <a href="https://www.deepseek.com/" target="_blank"> <img alt="主页" src="https://yellow-cdn.veclightyear.com/835a84d5/598fbc49-f1bb-48f9-9fad-c0a6a3cb067a.svg" /> </a> <a href="https://chat.deepseek.com/" target="_blank"> <img alt="聊天" src="https://img.shields.io/badge/🤖%20聊天-DeepSeek%20LLM-536af5?color=536af5&logoColor=white" /> </a> <a href="https://huggingface.co/deepseek-ai" target="_blank"> <img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-DeepSeek%20AI-ffc107?color=ffc107&logoColor=white" /> </a> </div> <div align="center"> <a href="https://discord.gg/Tc7c45Zzu5" target="_blank"> <img alt="Discord" src="https://img.shields.io/badge/Discord-DeepSeek%20AI-7289da?logo=discord&logoColor=white&color=7289da" /> </a> <a href="images/qr.jpeg" target="_blank"> <img alt="微信" src="https://img.shields.io/badge/微信-DeepSeek%20AI-brightgreen?logo=wechat&logoColor=white" /> </a> <a href="https://twitter.com/deepseek_ai" target="_blank"> <img alt="Twitter 关注" src="https://img.shields.io/badge/Twitter-deepseek_ai-white?logo=x&logoColor=white" /> </a> </div> <div align="center"> <a href="LICENSE-CODE"> <img alt="代码许可" src="https://img.shields.io/badge/代码许可-MIT-f5de53?&color=f5de53"> </a> <a href="LICENSE-MODEL"> <img alt="模型许可" src="https://img.shields.io/badge/模型许可-模型协议-f5de53?&color=f5de53"> </a> </div> <p align="center"> <a href="#3-模型下载">模型下载</a> | <a href="#2-评估结果">评估结果</a> | <a href="#4-快速开始">快速开始</a> | <a href="#5-许可">许可</a> | <a href="#6-引用">引用</a> </p> <p align="center"> <a href="https://arxiv.org/pdf/2401.06066.pdf"><b>论文链接</b>👁️</a> </p>

1. 简介

DeepSeekMoE 16B是一个具有16.4B参数的混合专家（MoE）语言模型。它采用了创新的MoE架构，涉及两个主要策略：细粒度专家分割和共享专家隔离。该模型从头开始在2T英文和中文词元上训练，展现出与DeekSeek 7B和LLaMA2 7B相当的性能，仅需约40%的计算量。为了研究目的，我们向公众发布了DeepSeekMoE 16B Base和DeepSeekMoE 16B Chat的模型检查点，这些模型可以在单个40GB内存的GPU上部署，无需量化。模型代码文件可以在这里找到。

2. 评估结果

DeepSeekMoE 16B Base

我们在各种基准测试上评估了DeepSeekMoE 16B，并与一系列模型进行了比较，如下所示。

与开源模型在开放LLM排行榜上的比较。DeepSeekMoE 16B在激活参数数量相似的模型中始终以较大优势胜出，并达到了与LLaMA2 7B相当的性能，而后者的激活参数数量约为前者的2.5倍。

与DeepSeek 7B在我们内部基准测试上的比较。DeepSeek 7B是在与DeepSeekMoE 16B相同语料库上训练的密集模型。仅使用40.5%的计算量，DeepSeekMoE 16B就达到了与DeepSeek 7B相当的性能。

与LLaMA2 7B在我们内部基准测试上的比较。仅使用39.6%的计算量，DeepSeekMoE 16B在大多数基准测试中超过了LLaMA2 7B。

DeepSeekMoE 16B Chat

我们还在各种基准测试上评估了DeepSeekMoE 16B Chat，并与DeepSeek 7B Chat和LLaMA2 7B SFT进行了比较。为了公平比较，所有对比模型都遵循相同的微调设置和数据。评估结果如下所示。仅使用约40%的计算量，DeepSeekMoE 16B Chat就达到了与DeepSeek 7B Chat和LLaMA2 7B SFT相当或更好的性能。

3. 模型下载

我们向公众发布DeepSeekMoE 16B，包括基础模型和对话模型。为了支持学术和商业社区更广泛、更多样化的研究。请注意，此模型的使用受许可部分中列出的条款约束。根据这些条款，允许商业使用。

Huggingface

模型	序列长度	下载
DeepSeekMoE 16B Base	4096	🤗 HuggingFace
DeepSeekMoE 16B Chat	4096	🤗 HuggingFace

4. 快速开始

安装

在Python >= 3.8环境的基础上，通过运行以下命令安装必要的依赖：

pip install -r requirements.txt

使用Huggingface的Transformers进行推理

你可以直接使用Huggingface的Transformers进行模型推理。

文本补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-ai/deepseek-moe-16b-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "注意力函数可以被描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量。输出是"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

对话补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-moe-16b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "你是谁？"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

避免使用提供的函数apply_chat_template，您也可以按照示例模板与我们的模型进行交互。请注意，messages应替换为您的输入。

用户：{messages[0]['content']}

助手：{messages[1]['content']}<｜end▁of▁sentence｜>用户：{messages[2]['content']}

助手：

**注意：**默认情况下（add_special_tokens=True），我们的分词器会自动在输入文本前添加一个bos_token（<｜begin▁of▁sentence｜>）。此外，由于系统提示与此版本的模型不兼容，我们不建议在输入中包含系统提示。

如何微调DeepSeekMoE

我们提供了脚本fintune/finetune.py，供用户在下游任务上微调我们的模型。

该脚本支持使用DeepSpeed进行训练。您需要通过以下命令安装所需的包：

pip install -r requirements.txt

请按照示例数据集格式准备您的训练数据。每个条目有两个必填字段：instruction和output。

数据准备完成后，您可以使用示例shell脚本来微调DeepSeekMoE模型。记得指定DATA_PATH和OUTPUT_PATH。请根据您的场景选择合适的超参数（如learning_rate、per_device_train_batch_size）。我们默认使用了flash_attention2。对于支持flash_attention的设备，您可以参考这里。对于这个配置，zero_stage需要设置为3，我们在八个A100 40G GPU上运行。

DATA_PATH="<your_data_path>"
OUTPUT_PATH="<your_output_path>"
MODEL_PATH="<your_model_path>"

cd finetune
deepspeed finetune.py \
    --model_name_or_path $MODEL_PATH \
    --data_path $DATA_PATH \
    --output_dir $OUTPUT_PATH \
    --num_train_epochs 3 \
    --model_max_length 1024 \
    --per_device_train_batch_size 16 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 100 \
    --save_total_limit 100 \
    --learning_rate 2e-5 \
    --warmup_steps 10 \
    --logging_steps 1 \
    --lr_scheduler_type "cosine" \
    --gradient_checkpointing True \
    --report_to "tensorboard" \
    --deepspeed configs/ds_config_zero3.json \
    --bf16 True \
    --use_lora False

您也可以使用4/8位qlora微调模型，欢迎尝试。对于这个配置，可以在单个A100 80G GPU上运行，并可以根据您的资源进行调整。

DATA_PATH="<your_data_path>"
OUTPUT_PATH="<your_output_path>"
MODEL_PATH="<your_model_path>"

cd finetune
deepspeed finetune.py \
    --model_name_or_path $MODEL_PATH \
    --data_path $DATA_PATH \
    --output_dir $OUTPUT_PATH \
    --num_train_epochs 3 \
    --model_max_length 1024 \
    --per_device_train_batch_size 16 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 100 \
    --save_total_limit 100 \
    --learning_rate 2e-5 \
    --warmup_steps 10 \
    --logging_steps 1 \
    --lr_scheduler_type "cosine" \
    --gradient_checkpointing True \
    --report_to "tensorboard" \
    --deepspeed configs/ds_config_zero2_no_offload.json \
    --bf16 True \
    --use_lora True \
    --bits 4 \
    --max_grad_norm 0.3 \
    --double_quant \
    --lora_r 64 \
    --lora_alpha 16 \
    --quant_type nf4 \

5. 许可证

此代码仓库采用MIT许可证。DeepSeekMoE模型的使用受模型许可证约束。DeepSeekMoE支持商业用途。

详情请参阅LICENSE-CODE和LICENSE-MODEL。

6. 引用

@article{dai2024deepseekmoe,
  author={Damai Dai and Chengqi Deng and Chenggang Zhao and R. X. Xu and Huazuo Gao and Deli Chen and Jiashi Li and Wangding Zeng and Xingkai Yu and Y. Wu and Zhenda Xie and Y. K. Li and Panpan Huang and Fuli Luo and Chong Ruan and Zhifang Sui and Wenfeng Liang},
  title={DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models}, 
  journal   = {CoRR},
  volume    = {abs/2401.06066},
  year      = {2024},
  url       = {https://arxiv.org/abs/2401.06066},
}