xFasterTransformer: 英特尔X86平台上的高性能大语言模型推理解决方案

xFasterTransformer

xFasterTransformer简介

xFasterTransformer是英特尔为X86平台开发的一个高性能大语言模型(LLM)推理解决方案。它类似于GPU平台上的FasterTransformer,但专门针对X86架构进行了优化,可以充分发挥英特尔至强处理器的硬件能力,实现LLM推理的高性能和高可扩展性。

xFasterTransformer的主要特点包括:

支持单插槽和多插槽/多节点分布式推理,可扩展到更大规模的模型
提供C++和Python双语言API,包括高层和低层接口,方便集成和使用
针对X86平台进行了深度优化,性能出色
支持多种主流大语言模型,如ChatGLM、Llama、Baichuan等
提供多种量化精度选项,如FP16、BF16、INT8等
开源并持续更新,社区活跃

支持的模型

xFasterTransformer目前支持以下主流大语言模型:

ChatGLM系列(ChatGLM/ChatGLM2/ChatGLM3/GLM4)
Llama系列(Llama/Llama2/Llama3)
Baichuan系列(Baichuan/Baichuan2)
QWen系列(QWen/QWen2)
Opt
Deepseek-coder
Gemma系列
YaRN-Llama

对于这些模型,xFasterTransformer支持PyTorch和C++两种框架接口,并且支持分布式推理。

支持的数据类型

xFasterTransformer支持多种数据类型和量化精度,包括:

FP16
BF16
INT8
W8A8
INT4
NF4
混合精度(如BF16_FP16, BF16_INT8等)

用户可以根据实际需求选择合适的数据类型,在精度和性能之间取得平衡。

安装使用

xFasterTransformer提供了多种安装使用方式:

通过PyPI安装:

pip install xfastertransformer

使用Docker:

docker pull intel/xfastertransformer:latest

从源码编译安装

需要先安装依赖库:

yum install libnuma-devel  # CentOS
apt-get install libnuma-dev  # Ubuntu

然后编译安装:

git clone https://github.com/intel/xFasterTransformer.git
cd xFasterTransformer
mkdir build && cd build
cmake ..
make -j

模型准备

xFasterTransformer使用自己的模型格式,需要先将Hugging Face格式的模型转换:

import xfastertransformer as xft
xft.LlamaConvert().convert("${HF_DATASET_DIR}","${OUTPUT_DIR}")

目前支持转换的模型包括Llama、ChatGLM、OPT、Baichuan、QWen等系列。

API使用示例

xFasterTransformer提供了Python和C++两种API,下面是一个Python API的使用示例:

import xfastertransformer
from transformers import AutoTokenizer, TextStreamer

MODEL_PATH = "/data/chatglm-6b-xft"
TOKEN_PATH = "/data/chatglm-6b-hf"

INPUT_PROMPT = "Once upon a time, there existed a little girl who liked to have adventures."
tokenizer = AutoTokenizer.from_pretrained(TOKEN_PATH, use_fast=False, padding_side="left", trust_remote_code=True)
streamer = TextStreamer(tokenizer, skip_special_tokens=True, skip_prompt=False)

input_ids = tokenizer(INPUT_PROMPT, return_tensors="pt", padding=False).input_ids
model = xfastertransformer.AutoModel.from_pretrained(MODEL_PATH, dtype="bf16")
generated_ids = model.generate(input_ids, max_length=200, streamer=streamer)

这个示例展示了如何使用xFasterTransformer加载模型、tokenize输入、生成文本的基本流程。

多机多卡分布式推理

xFasterTransformer支持多机多卡分布式推理,可以充分利用多台服务器的算力。使用MPI进行多卡推理的示例命令如下:

export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')
OMP_NUM_THREADS=48 mpirun \
  -n 1 numactl -N 0  -m 0 ${RUN_WORKLOAD} : \
  -n 1 numactl -N 1  -m 1 ${RUN_WORKLOAD}

在代码中,可以通过model.rank或model.getRank()获取当前进程的rank。主进程(rank 0)负责输入处理和输出,其他进程只需要执行model.generate()即可。

Web Demo

xFasterTransformer提供了基于Gradio的Web demo,支持ChatGLM、ChatGLM2和Llama2等模型。使用方法如下:

安装依赖:

pip install -r examples/web_demo/requirements.txt

运行脚本:

export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')
python examples/web_demo/ChatGLM.py \
                      --dtype=bf16 \
                      --token_path=${TOKEN_PATH} \
                      --model_path=${MODEL_PATH}