dbrx

项目介绍：DBRX

DBRX 是 Databricks 训练的大型语言模型，采用开放许可发布。这个项目提供了运行推理所需的基本代码和示例，同时也收集了一些使用 DBRX 的资源和链接。

模型详情

DBRX 是一个专家混合（Mixture-of-Experts, MoE）模型，总参数量为 1320 亿，其中 360 亿为活跃参数。其设计使用了 16 个专家模块，每次训练或推理时有 4 个活跃。该模型预训练了 12 万亿个文本标记，拥有 32K 的上下文长度。

目前开源的模型包括：

• DBRX Base：预训练基础模型
• DBRX Instruct：面向指令微调的模型

这些模型利用了开放源代码库中的优化版本进行训练，包括 Composer、LLM Foundry、MegaBlocks 和 Streaming。特别是 DBRX Instruct 模型，使用了 ChatML 格式进行训练。

快速开始

要下载权重和分词器，用户需先访问 DBRX 的 Hugging Face 页面并接受其许可。注意：访问基本模型需手动批准。

建议至少拥有 320GB 的内存来运行模型。以下为运行步骤：

pip install -r requirements.txt # 或 requirements-gpu.txt 以在 GPU 上使用快速注意力机制
huggingface-cli login           # 添加您的 Hugging Face 令牌以访问模型
python generate.py              # 参见 generate.py 更改提示和其他设置

有关更高级的用法，请参阅 LLM Foundry：

• 聊天脚本示例
• 批量生成脚本示例

如果遇到包安装问题，推荐使用我们的 Docker 镜像：mosaicml/llm-foundry:2.2.1_cu121_flash2-latest。

推理

DBRX 推理可通过 TensorRT-LLM 和 vLLM 实现优化。我们已经在 NVIDIA A100 和 H100 系统上测试过这两种库。在 16 位精度下运行推理至少需要一个 4 x 80GB 的多 GPU 系统。

TensorRT-LLM

DBRX 的支持正在添加到 TensorRT-LLM 库中。合并后，构建和运行 DBRX TensorRT 引擎的说明会在 README 中提供。

vLLM

请参阅 vLLM 文档 获取有关如何使用 vLLM 引擎运行 DBRX 的说明。

MLX 和 LLama.cpp

拥有 M 系列芯片的 Apple 笔记本，用户可以使用 MLX 和 LLama.cpp 运行 DBRX 的量化版本。具体指引可分别参阅：

• MLX 指引
• LLama.cpp 指引

微调

若需使用我们的开源库 LLM Foundry 微调 DBRX，请参阅 这里 的训练脚本。

支持的微调方法包括：

• 完全参数微调
• LoRA 微调（当前不能微调专家模块）

集成和问题反馈

DBRX 可以在 Databricks 平台通过 Mosaic AI Model Serving 和 Mosaic AI Playground 使用。

如有任何模型输出方面的问题或其他讨论，可使用 Hugging Face 社区论坛进行交流：instruct、base。

许可

DBRX 的模型权重和代码面向研究人员和商业实体开放。相关许可可在 Databricks 开源许可证 中找到，可接受使用政策见 此处。