ExLlamaV2: 高效的本地大语言模型推理库

ExLlamaV2简介

ExLlamaV2是一个专为在现代消费级GPU上本地运行大语言模型(LLM)而设计的高效推理库。它是ExLlama项目的升级版本,旨在提供更快速、更节省内存的LLM推理体验。

主要特点

支持4位GPTQ量化模型
动态批处理与智能提示缓存
K/V缓存去重优化
简化的API设计
支持Flash Attention 2.5.7+的分页注意力机制

ExLlamaV2的官方推荐后端服务器是TabbyAPI。TabbyAPI提供了与OpenAI兼容的API,可用于本地或远程推理,并支持HuggingFace模型下载、嵌入模型支持以及HF Jinja2聊天模板等扩展功能。

Dynamic Generator

动态生成器

ExLlamaV2的动态生成器是其核心组件之一,它支持所有推理、采样和推测解码功能,并将它们整合到一个统一的API中。动态生成器的主要特点包括:

单次生成:

output = generator.generate(prompt = "Hello, my name is", max_new_tokens = 200)

批量生成:

outputs = generator.generate(
    prompt = [
        "Hello, my name is",
        "Once upon a time,",
        "Large language models are",
    ],
    max_new_tokens = 200
)

使用asyncio的流式生成:

job = ExLlamaV2DynamicJobAsync(
    generator,
    input_ids = tokenizer.encode("You can lead a horse to water"),
    banned_strings = ["make it drink"],
    gen_settings = ExLlamaV2Sampler.Settings.greedy(),
    max_new_tokens = 200
)  
async for result in job:
    text = result.get("text", "")
    print(text, end = "")

这些功能使得ExLlamaV2能够灵活地应对各种生成任务,从简单的单句生成到复杂的批量处理和流式输出。

性能表现

ExLlamaV2在性能方面表现出色。以下是一些基准测试结果,展示了不同模型在RTX 4090和RTX 3090Ti上的表现:

模型	模式	大小	grpsz	act	3090Ti	4090
Llama	GPTQ	7B	128	no	181 t/s	205 t/s
Llama	GPTQ	13B	128	no	110 t/s	114 t/s
Llama	GPTQ	33B	128	yes	44 t/s	48 t/s
OpenLlama	GPTQ	3B	128	yes	259 t/s	296 t/s
CodeLlama	EXL2 4.0 bpw	34B	-	-	44 t/s	50 t/s
Llama2	EXL2 3.0 bpw	7B	-	-	217 t/s	257 t/s
Llama2	EXL2 4.0 bpw	7B	-	-	185 t/s	211 t/s
Llama2	EXL2 5.0 bpw	7B	-	-	164 t/s	179 t/s
Llama2	EXL2 2.5 bpw	70B	-	-	33 t/s	38 t/s
TinyLlama	EXL2 3.0 bpw	1.1B	-	-	656 t/s	770 t/s
TinyLlama	EXL2 4.0 bpw	1.1B	-	-	602 t/s	700 t/s

这些结果显示,ExLlamaV2在各种模型和配置下都能实现优秀的推理速度,特别是在高端GPU如RTX 4090上表现更为出色。

安装和使用

要安装ExLlamaV2,你需要先确保满足以下依赖:

Python 3.9或更新版本
PyTorch (测试过2.0.1和2.1.0的cu118版本)
CUDA工具包
其他必要的Python库(可通过requirements.txt安装)

安装步骤:

克隆仓库:

git clone https://github.com/turboderp/exllamav2
cd exllamav2

安装依赖:

pip install -r requirements.txt
pip install .

运行测试:

python test_inference.py -m <path_to_model> -p "Once upon a time,"

对于多GPU推理,可以添加--gpu_split auto标志。

ExLlamaV2还提供了一个简单的控制台聊天机器人,可以通过以下命令运行:

python examples/chat.py -m <path_to_model> -mode llama -gs auto

集成和API

ExLlamaV2可以与多种前端和API集成:

TabbyAPI: 基于FastAPI的服务器,提供OpenAI风格的Web API。
ExUI: 简单的独立单用户Web UI,直接服务ExLlamaV2实例。
text-generation-webui: 通过exllamav2和exllamav2_HF加载器支持ExLlamaV2。
lollms-webui: 通过exllamav2绑定支持ExLlamaV2。

EXL2量化

ExLlamaV2引入了新的"EXL2"格式,这是一种基于与GPTQ相同优化方法的量化技术。EXL2支持2、3、4、5、6和8位量化,并允许在模型内混合不同的量化级别,以实现2到8位之间的任意平均比特率。

这种灵活的量化方案使得Llama2 70B模型能够在单个24 GB GPU上运行,同时保持2048个token的上下文,并在每个权重平均2.55位的情况下产生连贯且基本稳定的输出。13B模型可以在8 GB的VRAM内以2.65位运行,尽管目前它们都不使用GQA,这实际上将上下文大小限制在2048。

Llama2 70B Chat CodeLlama 13B Instruct

社区和资源

ExLlamaV2项目有一个活跃的社区,提供了许多资源和支持:

Discord社区: https://discord.gg/NSFwVuCjRq
HuggingFace模型仓库:

这些资源为用户提供了丰富的预训练模型和社区支持,有助于更好地利用ExLlamaV2的功能。

结语

ExLlamaV2代表了本地LLM推理的一个重要进步。通过其高效的内存使用、灵活的量化方案和优化的性能,它为研究人员、开发者和AI爱好者提供了一个强大的工具,使他们能够在消费级硬件上运行大型语言模型。随着项目的不断发展和社区的贡献,我们可以期待看到更多创新应用和性能提升。无论是用于个人实验、研究项目还是商业应用,ExLlamaV2都为本地AI推理开辟了新的可能性。