ggml

路线图 / 宣言

机器学习张量库

请注意，该项目正在积极开发中。
目前部分开发工作正在 llama.cpp 和 whisper.cpp 仓库中进行

特性

• 使用 C 语言编写
• 支持 16 位浮点数
• 支持整数量化（4 位、5 位、8 位等）
• 自动微分
• ADAM 和 L-BFGS 优化器
• 针对 Apple Silicon 优化
• 在 x86 架构上利用 AVX / AVX2 内联函数
• 在 ppc64 架构上利用 VSX 内联函数
• 无第三方依赖
• 运行时零内存分配

更新

• GPT-2 推理示例 examples/gpt-2
• GPT-J 推理示例 examples/gpt-j
• Whisper 推理示例 ggerganov/whisper.cpp
• LLaMA 推理示例 ggerganov/llama.cpp
• LLaMA 训练示例 ggerganov/llama.cpp/examples/baby-llama
• Falcon 推理示例 cmp-nct/ggllm.cpp
• BLOOM 推理示例 NouamaneTazi/bloomz.cpp
• RWKV 推理示例 saharNooby/rwkv.cpp
• SAM 推理示例 examples/sam
• BERT 推理示例 skeskinen/bert.cpp
• BioGPT 推理示例 PABannier/biogpt.cpp
• Encodec 推理示例 PABannier/encodec.cpp
• CLIP 推理示例 monatis/clip.cpp
• MiniGPT4 推理示例 Maknee/minigpt4.cpp
• ChatGLM 推理示例 li-plus/chatglm.cpp
• Stable Diffusion 推理示例 leejet/stable-diffusion.cpp
• Qwen 推理示例 QwenLM/qwen.cpp
• YOLO 推理示例 examples/yolo
• ViT 推理示例 staghado/vit.cpp
• 多个 LLM 推理示例 foldl/chatllm.cpp
• SeamlessM4T 推理 (开发中) https://github.com/facebookresearch/seamless_communication/tree/main/ggml

Python 环境设置和构建示例

git clone https://github.com/ggerganov/ggml
cd ggml
# 在虚拟环境中安装 Python 依赖
python3.10 -m venv ggml_env
source ./ggml_env/bin/activate
pip install -r requirements.txt
# 构建示例
mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8

GPT 推理（示例）

使用 ggml，您可以在 CPU 上高效运行 GPT-2 和 GPT-J 推理。

以下是运行示例程序的方法：

# 运行 GPT-2 小型 117M 模型
../examples/gpt-2/download-ggml-model.sh 117M
./bin/gpt-2-backend -m models/gpt-2-117M/ggml-model.bin -p "This is an example"

# 运行 GPT-J 6B 模型（需要 12GB 磁盘空间和 16GB CPU 内存）
../examples/gpt-j/download-ggml-model.sh 6B
./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin -p "This is an example"

运行 Cerebras-GPT 111M 模型

从 https://huggingface.co/cerebras 下载

python3 ../examples/gpt-2/convert-cerebras-to-ggml.py /path/to/Cerebras-GPT-111M/ ./bin/gpt-2 -m /path/to/Cerebras-GPT-111M/ggml-model-f16.bin -p "这是一个示例"

以下是我在32GB MacBook M1 Pro上运行不同模型得到的推理速度:

| 模型  | 大小  | 每个词元时间 |
| ---   | ---   | ---    |
| GPT-2 |  117M |   5 毫秒 |
| GPT-2 |  345M |  12 毫秒 |
| GPT-2 |  774M |  23 毫秒 |
| GPT-2 | 1558M |  42 毫秒 |
| ---   | ---   | ---    |
| GPT-J |    6B | 125 毫秒 |

更多信息请查看[examples](examples)文件夹中的相应程序。

## 使用 Metal (仅适用于 GPT-2)

对于 GPT-2 模型，可以将计算卸载到 GPU。请注意，这不会提高推理性能，但会减少功耗并释放 CPU 用于其他任务。

在 MacOS 上启用 GPU 卸载:

```bash
cmake -DGGML_METAL=ON -DBUILD_SHARED_LIBS=Off ..

# 添加 -ngl 1
./bin/gpt-2 -t 4 -ngl 100 -m models/gpt-2-117M/ggml-model.bin -p "这是一个示例"

使用 cuBLAS

# 将路径修改为指向你的 CUDA 编译器
cmake -DGGML_CUDA=ON -DCMAKE_CUDA_COMPILER=/usr/local/cuda-12.1/bin/nvcc ..

使用 hipBLAS

cmake -DCMAKE_C_COMPILER="$(hipconfig -l)/clang" -DCMAKE_CXX_COMPILER="$(hipconfig -l)/clang++" -DGGML_HIPBLAS=ON

使用 SYCL

# linux
source /opt/intel/oneapi/setvars.sh
cmake -G "Ninja" -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx -DGGML_SYCL=ON ..

# windows
"C:\Program Files (x86)\Intel\oneAPI\setvars.bat"
cmake -G "Ninja" -DCMAKE_C_COMPILER=cl -DCMAKE_CXX_COMPILER=icx -DGGML_SYCL=ON ..

为 Android 编译

从此下载页面下载并解压 NDK。设置 NDK_ROOT_PATH 环境变量或在下面的命令中提供 CMAKE_ANDROID_NDK 的绝对路径。

cmake .. \
   -DCMAKE_SYSTEM_NAME=Android \
   -DCMAKE_SYSTEM_VERSION=33 \
   -DCMAKE_ANDROID_ARCH_ABI=arm64-v8a \
   -DCMAKE_ANDROID_NDK=$NDK_ROOT_PATH
   -DCMAKE_ANDROID_STL_TYPE=c++_shared

# 创建目录
adb shell 'mkdir /data/local/tmp/bin'
adb shell 'mkdir /data/local/tmp/models'

# 将编译好的二进制文件推送到文件夹
adb push bin/* /data/local/tmp/bin/

# 推送 ggml 库
adb push src/libggml.so /data/local/tmp/

# 推送模型文件
adb push models/gpt-2-117M/ggml-model.bin /data/local/tmp/models/


# 现在让我们进行一些推理...
adb shell

# 现在我们进入了 shell
cd /data/local/tmp
export LD_LIBRARY_PATH=/data/local/tmp
./bin/gpt-2-backend -m models/ggml-model.bin -p "这是一个示例"

资源

• GGML - 人人都能用的大型语言模型: 由 llm Rust crate 的维护者提供的 GGML 格式描述，该 crate 为 GGML 提供 Rust 绑定
• marella/ctransformers: GGML 模型的 Python 绑定。
• go-skynet/go-ggml-transformers.cpp: GGML 模型的 Golang 绑定
• smspillaz/ggml-gobject: 用于在 GNOME 平台上使用 GGML 的 GObject 可内省包装器。