qwen.cpp: C++实现的Qwen语言模型

qwen.cpp: C++实现的Qwen语言模型

qwen.cpp是Qwen大语言模型的C++实现版本,专为在MacBook上实现实时对话而设计。本文将详细介绍qwen.cpp的特点、安装使用方法以及开发细节。

项目特点

qwen.cpp具有以下几个突出特点:

1. 纯C++实现,基于ggml库开发,工作方式类似于llama.cpp。

2. 纯C++实现的tiktoken分词器。

3. 支持流式生成,具有打字机效果。

4. 提供Python绑定。

5. 支持多种硬件平台:x86/arm CPU、NVIDIA GPU。

6. 支持Linux和MacOS操作系统。

7. 目前支持Qwen-LM系列模型。

安装及使用

要开始使用qwen.cpp,请按照以下步骤操作:

1. 克隆项目代码:

git clone --recursive https://github.com/QwenLM/qwen.cpp && cd qwen.cpp

如果忘记添加--recursive标志,可以在qwen.cpp文件夹中运行:

git submodule update --init --recursive

2. 下载qwen.tiktoken文件,可以从Hugging Face或ModelScope获取。

3. 量化模型:使用convert.py将Qwen-LM转换为量化后的GGML格式。例如,将fp16原始模型转换为q4_0(量化为int4)GGML模型:

python3 qwen_cpp/convert.py -i Qwen/Qwen-7B-Chat -t q4_0 -o qwen7b-ggml.bin

原始模型(-i <model_name_or_path>)可以是HuggingFace模型名称或预下载模型的本地路径。目前支持的模型有:

• Qwen-7B: Qwen/Qwen-7B-Chat
• Qwen-14B: Qwen/Qwen-14B-Chat

可以尝试以下任意量化类型(通过指定-t <type>):

• q4_0: 4位整数量化,使用fp16尺度。
• q4_1: 4位整数量化,使用fp16尺度和最小值。
• q5_0: 5位整数量化,使用fp16尺度。
• q5_1: 5位整数量化,使用fp16尺度和最小值。
• q8_0: 8位整数量化,使用fp16尺度。
• f16: 半精度浮点权重,无量化。
• f32: 单精度浮点权重,无量化。

4. 编译项目:

cmake -B build
cmake --build build -j --config Release

5. 运行模型:

./build/bin/main -m qwen7b-ggml.bin --tiktoken Qwen-7B-Chat/qwen.tiktoken -p 你好
# 你好！很高兴为你提供帮助。

要在交互模式下运行模型,添加-i标志:

./build/bin/main -m qwen7b-ggml.bin --tiktoken Qwen-7B-Chat/qwen.tiktoken -i

在交互模式下,您的聊天历史将作为下一轮对话的上下文。

运行./build/bin/main -h可以探索更多选项!

使用BLAS加速

qwen.cpp支持多种BLAS库来加速计算:

1. OpenBLAS: 在CPU上提供加速。添加CMake标志-DGGML_OPENBLAS=ON来启用:

cmake -B build -DGGML_OPENBLAS=ON && cmake --build build -j

2. cuBLAS: 使用NVIDIA GPU加速BLAS。添加CMake标志-DGGML_CUBLAS=ON来启用:

cmake -B build -DGGML_CUBLAS=ON && cmake --build build -j

3. Metal: MPS(Metal Performance Shaders)允许计算在强大的Apple Silicon GPU上运行。添加CMake标志-DGGML_METAL=ON来启用:

cmake -B build -DGGML_METAL=ON && cmake --build build -j

Python绑定

qwen.cpp提供了Python绑定,提供了类似于原始Hugging Face Qwen-7B的高级chat和stream_chat接口。

安装方法:

1. 从PyPI安装(推荐):将在您的平台上触发编译。

pip install -U qwen-cpp

2. 从源代码安装:

# 从GitHub上的最新源代码安装
pip install git+https://github.com/QwenLM/qwen.cpp.git@master
# 或在git克隆仓库后从本地源代码安装
pip install .

tiktoken.cpp

qwen.cpp提供了纯C++实现的tiktoken。安装后,使用方法与openai tiktoken相同:

import tiktoken_cpp as tiktoken
enc = tiktoken.get_encoding("cl100k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"

tiktoken.cpp的速度与openai tiktoken相当。可以通过以下方式进行基准测试:

cd tests
RAYON_NUM_THREADS=1 python benchmark.py

开发与测试

1. 单元测试:添加CMake标志-DQWEN_ENABLE_TESTING=ON来启用测试。重新编译并运行单元测试(包括基准测试):

mkdir -p build && cd build
cmake .. -DQWEN_ENABLE_TESTING=ON && make -j
./bin/qwen_test

2. 代码格式化:在build文件夹内运行make lint。您应该预先安装clang-format、black和isort。

致谢

qwen.cpp项目深受以下项目的启发:

• llama.cpp
• chatglm.cpp
• ggml
• tiktoken
• tokenizer
• cpp-base64
• re2
• unordered_dense

qwen.cpp为开发者和研究人员提供了一个高效、灵活的C++实现版本的Qwen语言模型。通过支持多种硬件平台和加速库,qwen.cpp能够在各种设备上实现实时对话。无论您是想在本地部署Qwen模型,还是希望深入研究大语言模型的C++实现,qwen.cpp都是一个值得探索的项目。

未来,qwen.cpp团队将继续优化性能,支持更多Qwen模型变体,并探索在更多场景中的应用。欢迎开发者们参与到qwen.cpp的开发中来,共同推动大语言模型技术的进步.