FastChat

| 演示 | Discord | X |

FastChat 是一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台。

FastChat 为 Chatbot Arena (https://chat.lmsys.org/) 提供支持，为70多个大语言模型提供了超过1000万次的聊天请求服务。
Chatbot Arena 通过大语言模型之间的对战收集了超过50万次人工投票，编制了在线大语言模型 Elo 排行榜。

FastChat 的核心功能包括：

用于训练和评估最先进模型的代码（如 Vicuna、MT-Bench）。
具有 Web 界面和 OpenAI 兼容 RESTful API 的分布式多模型服务系统。

新闻

[2024/03] 🔥 我们发布了 Chatbot Arena 技术报告。
[2023/09] 我们发布了 LMSYS-Chat-1M，这是一个大规模真实世界的大语言模型对话数据集。阅读报告。
[2023/08] 我们基于 Llama 2 发布了 Vicuna v1.5，支持 4K 和 16K 上下文长度。下载权重。
[2023/07] 我们发布了 Chatbot Arena Conversations，这是一个包含 33k 对话及人类偏好的数据集。在这里下载。

[2023/08] 我们基于 Llama 2 发布了 LongChat v1.5，支持 32K 上下文长度。下载权重。
[2023/06] 我们推出了 MT-bench，这是一个具有挑战性的多轮问题集，用于评估聊天机器人。查看博客文章。
[2023/06] 我们推出了 LongChat，这是我们的长上下文聊天机器人和评估工具。查看博客文章。
[2023/05] 我们推出了 Chatbot Arena，用于大语言模型之间的对战。查看博客文章。
[2023/03] 我们发布了 Vicuna：一个令 GPT-4 印象深刻的开源聊天机器人，达到了 ChatGPT 90% 的质量。查看博客文章。

</details>

安装

方法一：使用 pip

pip3 install "fschat[model_worker,webui]"

方法二：从源码安装

克隆此仓库并进入 FastChat 文件夹

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

如果你在 Mac 上运行：

brew install rust cmake

安装包

pip3 install --upgrade pip  # 启用 PEP 660 支持
pip3 install -e ".[model_worker,webui]"

模型权重

Vicuna 权重

Vicuna 基于 Llama 2，应在 Llama 的模型许可下使用。

你可以使用以下命令开始聊天。它会自动从 Hugging Face 仓库下载权重。下载的权重存储在用户主文件夹的 .cache 文件夹中（例如，~/.cache/huggingface/hub/<model_name>）。

查看更多命令选项和如何处理内存不足的情况，请参阅下面的"命令行界面推理"部分。

注意：16K 版本需要 transformers>=4.31。

大小	聊天命令	Hugging Face 仓库
7B	`python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5`	lmsys/vicuna-7b-v1.5
7B-16k	`python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5-16k`	lmsys/vicuna-7b-v1.5-16k
13B	`python3 -m fastchat.serve.cli --model-path lmsys/vicuna-13b-v1.5`	lmsys/vicuna-13b-v1.5
13B-16k	`python3 -m fastchat.serve.cli --model-path lmsys/vicuna-13b-v1.5-16k`	lmsys/vicuna-13b-v1.5-16k
33B	`python3 -m fastchat.serve.cli --model-path lmsys/vicuna-33b-v1.3`	lmsys/vicuna-33b-v1.3

旧版权重：查看 docs/vicuna_weights_version.md 了解所有版本的权重及其差异。

其他模型

除了 Vicuna，我们还发布了两个额外的模型：LongChat 和 FastChat-T5。你可以使用以下命令与它们聊天。它们会自动从 Hugging Face 仓库下载权重。

模型	聊天命令	Hugging Face 仓库
LongChat-7B	`python3 -m fastchat.serve.cli --model-path lmsys/longchat-7b-32k-v1.5`	lmsys/longchat-7b-32k
FastChat-T5-3B	`python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0`	lmsys/fastchat-t5-3b-v1.0

命令行界面推理

（实验性功能：你可以指定 --style rich 来启用富文本输出，并提高某些非 ASCII 内容的文本流质量。这在某些终端上可能无法正常工作。）

支持的模型

FastChat 支持多种模型，包括 LLama 2、Vicuna、Alpaca、Baize、ChatGLM、Dolly、Falcon、FastChat-T5、GPT4ALL、Guanaco、MTP、OpenAssistant、OpenChat、RedPajama、StableLM、WizardLM、xDAN-AI 等。

查看此处获取完整的支持模型列表和添加新模型的说明。

单 GPU

以下命令需要约 14GB 的 GPU 内存用于 Vicuna-7B，以及 28GB 的 GPU 内存用于 Vicuna-13B。如果你没有足够的内存，请参阅下面的"内存不足"部分。 --model-path 可以是本地文件夹或 Hugging Face 仓库名称。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5

多 GPU

你可以使用模型并行来聚合同一台机器上多个 GPU 的内存。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2

提示：有时，huggingface/transformers 中的"自动"设备映射策略并不能完美地平衡多个 GPU 之间的内存分配。你可以使用 --max-gpu-memory 来指定每个 GPU 用于存储模型权重的最大内存。这允许为激活分配更多内存，因此你可以使用更长的上下文长度或更大的批量大小。例如，

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2 --max-gpu-memory 8GiB

仅使用CPU

这种方式仅使用CPU运行，不需要GPU。对于Vicuna-7B模型，需要约30GB的CPU内存；对于Vicuna-13B模型，需要约60GB的CPU内存。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu

使用Intel AI加速器AVX512_BF16/AMX来加速CPU推理。

CPU_ISA=amx python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu

Metal后端（搭载Apple Silicon或AMD GPU的Mac电脑）

使用--device mps在Mac电脑上启用GPU加速（需要torch >= 2.0）。使用--load-8bit开启8位压缩。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device mps --load-8bit

Vicuna-7B可以在32GB内存的M1 Macbook上运行，速度为1-2字/秒。

Intel XPU（Intel数据中心和Arc A系列GPU）

安装Intel Extension for PyTorch。设置OneAPI环境变量：

source /opt/intel/oneapi/setvars.sh

使用--device xpu启用XPU/GPU加速。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device xpu

Vicuna-7B可以在Intel Arc A770 16GB上运行。

昇腾NPU

安装Ascend PyTorch Adapter。设置CANN环境变量：

source /usr/local/Ascend/ascend-toolkit/set_env.sh

使用--device npu启用NPU加速。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device npu

Vicuna-7B/13B可以在昇腾NPU上运行。

内存不足

如果内存不足，可以在上述命令中添加--load-8bit来启用8位压缩。这可以将内存使用量减少约一半，但模型质量会略有下降。它与CPU、GPU和Metal后端兼容。

使用8位压缩的Vicuna-13B可以在单个16GB VRAM的GPU上运行，如Nvidia RTX 3090、RTX 4080、T4、V100（16GB）或AMD RX 6800 XT。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --load-8bit

除此之外，您还可以在上述命令中添加--cpu-offloading，将无法放入GPU的权重卸载到CPU内存中。这需要启用8位压缩并安装bitsandbytes包，该包仅适用于Linux操作系统。

使用modelscope的模型

对于中国用户，您可以通过指定以下环境变量来使用www.modelscope.cn的模型。

export FASTCHAT_USE_MODELSCOPE=True

使用Web图形界面提供服务

要使用Web用户界面提供服务，您需要三个主要组件：与用户交互的Web服务器、托管一个或多个模型的模型工作器，以及协调Web服务器和模型工作器的控制器。您可以在这里了解更多关于架构的信息。

以下是在终端中需要遵循的命令：

启动控制器

python3 -m fastchat.serve.controller

这个控制器管理分布式工作器。

启动模型工作器

python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5

等待进程完成模型加载，直到看到"Uvicorn running on ..."。模型工作器将自己注册到控制器。

为确保您的模型工作器正确连接到控制器，请使用以下命令发送测试消息：

python3 -m fastchat.serve.test_message --model-name vicuna-7b-v1.5

您将看到一个简短的输出。

启动Gradio Web服务器

python3 -m fastchat.serve.gradio_web_server

这是用户将与之交互的用户界面。

按照这些步骤，您将能够使用Web用户界面提供模型服务。现在您可以打开浏览器与模型聊天了。如果模型没有显示，请尝试重启Gradio Web服务器。

（可选）：高级功能、可扩展性、第三方用户界面

您可以向单个控制器注册多个模型工作器，这可用于以更高吞吐量服务单个模型或同时服务多个模型。在这样做时，请为不同的模型工作器分配不同的GPU和端口。

# 工作器 0
CUDA_VISIBLE_DEVICES=0 python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5 --controller http://localhost:21001 --port 31000 --worker http://localhost:31000
# 工作器 1
CUDA_VISIBLE_DEVICES=1 python3 -m fastchat.serve.model_worker --model-path lmsys/fastchat-t5-3b-v1.0 --controller http://localhost:21001 --port 31001 --worker http://localhost:31001

您还可以启动多标签页Gradio服务器，其中包括Chatbot Arena标签页。

python3 -m fastchat.serve.gradio_web_server_multi

基于huggingface/transformers的默认模型工作器具有很好的兼容性，但可能较慢。如果您需要高吞吐量的批处理服务，可以尝试vLLM集成。
如果您想在自己的用户界面或第三方用户界面上托管，请参阅第三方用户界面。

API

兼容OpenAI的RESTful API和SDK

FastChat为其支持的模型提供了兼容OpenAI的API，因此您可以将FastChat用作OpenAI API的本地替代品。 FastChat服务器与openai-python库和cURL命令兼容。 REST API可以在Google Colab免费版上执行，如我们存储库中的FastChat_API_GoogleColab.ipynb笔记本所示。请参阅docs/openai_api.md。

Hugging Face生成API

请参阅fastchat/serve/huggingface_api.py。

LangChain集成

请参阅docs/langchain_integration。

评估

我们使用MT-bench，一组具有挑战性的多轮开放式问题来评估模型。为了自动化评估过程，我们提示强大的LLM（如GPT-4）充当评判员，评估模型回答的质量。有关运行MT-bench的说明，请参阅fastchat/llm_judge。

MT-bench是评估模型的新推荐方法。如果您仍在寻找Vicuna博客文章中使用的旧80个问题，请访问vicuna-blog-eval。

微调

数据

Vicuna是通过使用从ShareGPT.com收集的约125K用户共享对话，利用公共API对Llama基础模型进行微调而创建的。为确保数据质量，我们将HTML转换回markdown，并过滤掉一些不适当或低质量的样本。此外，我们将长对话分成适合模型最大上下文长度的较小片段。有关清理ShareGPT数据的详细说明，请查看这里。

我们不会发布ShareGPT数据集。如果您想尝试微调代码，可以使用dummy_conversation.json中的一些虚拟对话运行它。您可以遵循相同的格式并插入自己的数据。

代码和超参数

我们的代码基于Stanford Alpaca，并增加了对多轮对话的支持。我们使用了与Stanford Alpaca相似的超参数。

超参数	全局批量大小	学习率	轮数	最大长度	权重衰减
Vicuna-13B	128	2e-5	3	2048	0

使用本地GPU微调Vicuna-7B

安装依赖

pip3 install -e ".[train]"

你可以使用以下命令在4块A100（40GB）上训练Vicuna-7B。请将--model_name_or_path更新为Llama权重的实际路径，将--data_path更新为数据的实际路径。

torchrun --nproc_per_node=4 --master_port=20001 fastchat/train/train_mem.py \
    --model_name_or_path meta-llama/Llama-2-7b-hf \
    --data_path data/dummy_conversation.json \
    --bf16 True \
    --output_dir output_vicuna \
    --num_train_epochs 3 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps 16 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 1200 \
    --save_total_limit 10 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --fsdp "full_shard auto_wrap" \
    --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --lazy_preprocess True

提示：

如果你使用的是不支持FlashAttention的V100，你可以使用xFormers中实现的内存高效注意力机制。安装xformers并将上面的fastchat/train/train_mem.py替换为fastchat/train/train_xformers.py。
如果你遇到由于"FSDP Warning: When using FSDP, it is efficient and recommended..."导致的内存不足问题，请参考这里的解决方案。
如果你在模型保存过程中遇到内存不足问题，请参考这里的解决方案。
要开启流行实验跟踪工具（如Tensorboard、MLFlow或Weights & Biases）的日志记录，请使用report_to参数，例如传入--report_to wandb以开启Weights & Biases的日志记录。

其他模型、平台和LoRA支持

有关训练其他模型（如FastChat-T5）和使用LoRA的更多说明，请参阅docs/training.md。

使用SkyPilot在任何云平台上进行微调

SkyPilot是由加州大学伯克利分校开发的框架，用于在任何云平台（AWS、GCP、Azure、Lambda等）上轻松且经济高效地运行机器学习工作负载。在这里查看SkyPilot文档，了解如何使用托管的竞价实例来训练Vicuna并节省云计算成本。

引用

本仓库中的代码（训练、服务和评估）主要是为以下论文开发或从中衍生的。如果您觉得本仓库有帮助，请引用它。

@misc{zheng2023judging,
      title={Judging LLM-as-a-judge with MT-Bench and Chatbot Arena},
      author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zi Lin and Zhuohan Li and Dacheng Li and Eric. P Xing and Hao Zhang and Joseph E. Gonzalez and Ion Stoica},
      year={2023},
      eprint={2306.05685},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我们还计划在这个仓库中添加更多我们的研究成果。