InferLLM

InferLLM 项目介绍

InferLLM 是一个轻量级的LLM模型推理框架，主要参考和借鉴了llama.cpp项目。与之不同的是，llama.cpp的大部分核心代码和内核都集中在一个文件中，并使用大量宏定义，这使得代码难以阅读和修改。而InferLLM在这方面进行了改进，具有以下显著特点：

• 简单结构：InferLLM的架构设计简单且易于理解，开发者可以更快上手学习，并将框架部分与内核部分解耦。
• 高效性能：InferLLM移植了llama.cpp的多数内核，因此在执行效率上有显著优势。
• 专用存储：定义了专用的KV存储类型，方便缓存和管理数据。
• 格式兼容性：当前兼容多种模型格式，目前支持中文和英文的int4 Alpaca模型。
• 多平台支持：InferLLM能够在CPU和GPU上运行，针对Arm、x86、CUDA以及riscv-vector进行了优化，甚至可以在手机上部署，速度令人满意。

总的来说，InferLLM是一个简单高效的LLM CPU推理框架，可以在本地部署量化模型，并具备出色的推理速度。

最新动态

• 2023年8月16日：新增对Llama-2-7B模型的支持。
• 2023年8月8日：优化了Arm平台的性能，特别是使用arm汇编和内核打包优化了int4矩阵乘法内核。
• 该框架此前已支持chatglm/chatglm2、baichuan、alpaca、ggml-llama模型。

如何使用

下载模型

InferLLM目前使用与llama.cpp相同的模型，可以从llama.cpp项目下载模型。此外，可以直接从Hugging Face kewin4933/InferLLM-Model获取模型。当前项目上传了两个Alpaca、Llama2、ChatGLM/ChatGLM2和Baichuan模型，其中一种为中文int4模型，另一种为英文int4模型。

编译InferLLM

本地编译

首先创建构建目录并启动cmake和make。

mkdir build
cd build
cmake ..
make

默认情况下GPU是禁用的，如果需要启用GPU，可以使用cmake -DENABLE_GPU=ON ..命令。在使用CUDA之前，请先安装CUDA工具包。

安卓交叉编译

对于交叉编译，可使用预准备的tools/android_build.sh脚本。在此之前，需要安装NDK并将NDK路径配置到NDK_ROOT环境变量中。

export NDK_ROOT=/path/to/ndk
./tools/android_build.sh

运行InferLLM

关于如何运行ChatGLM模型，请参考ChatGLM模型文档。

• 如果在本地执行，可直接运行：

  ./chatglm -m chatglm-q4.bin -t 4

• 如需在手机上执行，可以使用adb命令将alpaca及模型文件复制到手机上，然后执行：

  adb shell ./chatglm -m chatglm-q4.bin -t 4

默认设备为CPU，若需使用GPU进行推理，请指定GPU设备：

./chatglm -m chatglm-q4.bin -g GPU

以下为示例配置：

• x86平台: Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
• 安卓平台: 小米9，Qualcomm SM8150 Snapdragon 855
• CPU配置: SG2042，带有riscv-vector 0.7，64线程

根据x86性能分析结果，强烈建议使用4个线程。

支持的模型

目前InferLLM支持以下模型：

• ChatGLM2-6B: 使用方法参考ChatGLM文档
• ChatGLM-6B: 使用方法参考ChatGLM文档
• llama
• llama2
• alpaca
• baichuan: 使用方法参考baichuan文档

许可证

InferLLM 依据Apache许可证2.0版本进行授权。