ExLlamaV2简介
ExLlamaV2是一个专为在现代消费级GPU上本地运行大语言模型(LLM)而设计的高效推理库。它是ExLlama项目的升级版本,旨在提供更快速、更节省内存的LLM推理体验。
主要特点
- 支持4位GPTQ量化模型
- 动态批处理与智能提示缓存
- K/V缓存去重优化
- 简化的API设计
- 支持Flash Attention 2.5.7+的分页注意力机制
ExLlamaV2的官方推荐后端服务器是TabbyAPI。TabbyAPI提供了与OpenAI兼容的API,可用于本地或远程推理,并支持HuggingFace模型下载、嵌入模型支持以及HF Jinja2聊天模板等扩展功能。
动态生成器
ExLlamaV2的动态生成器是其核心组件之一,它支持所有推理、采样和推测解码功能,并将它们整合到一个统一的API中。动态生成器的主要特点包括:
- 单次生成:
output = generator.generate(prompt = "Hello, my name is", max_new_tokens = 200)
- 批量生成:
outputs = generator.generate(
prompt = [
"Hello, my name is",
"Once upon a time,",
"Large language models are",
],
max_new_tokens = 200
)
- 使用
asyncio的流式生成:
job = ExLlamaV2DynamicJobAsync(
generator,
input_ids = tokenizer.encode("You can lead a horse to water"),
banned_strings = ["make it drink"],
gen_settings = ExLlamaV2Sampler.Settings.greedy(),
max_new_tokens = 200
)
async for result in job:
text = result.get("text", "")
print(text, end = "")
这些功能使得ExLlamaV2能够灵活地应对各种生成任务,从简单的单句生成到复杂的批量处理和流式输出。
性能表现
ExLlamaV2在性能方面表现出色。以下是一些基准测试结果,展示了不同模型在RTX 4090和RTX 3090Ti上的表现:
| 模型 | 模式 | 大小 | grpsz | act | 3090Ti | 4090 |
|---|---|---|---|---|---|---|
| Llama | GPTQ | 7B | 128 | no | 181 t/s | 205 t/s |
| Llama | GPTQ | 13B | 128 | no | 110 t/s | 114 t/s |
| Llama | GPTQ | 33B | 128 | yes | 44 t/s | 48 t/s |
| OpenLlama | GPTQ | 3B | 128 | yes | 259 t/s | 296 t/s |
| CodeLlama | EXL2 4.0 bpw | 34B | - | - | 44 t/s | 50 t/s |
| Llama2 | EXL2 3.0 bpw | 7B | - | - | 217 t/s | 257 t/s |
| Llama2 | EXL2 4.0 bpw | 7B | - | - | 185 t/s | 211 t/s |
| Llama2 | EXL2 5.0 bpw | 7B | - | - | 164 t/s | 179 t/s |
| Llama2 | EXL2 2.5 bpw | 70B | - | - | 33 t/s | 38 t/s |
| TinyLlama | EXL2 3.0 bpw | 1.1B | - | - | 656 t/s | 770 t/s |
| TinyLlama | EXL2 4.0 bpw | 1.1B | - | - | 602 t/s | 700 t/s |
这些结果显示,ExLlamaV2在各种模型和配置下都能实现优秀的推理速度,特别是在高端GPU如RTX 4090上表现更为出色。
安装和使用
要安装ExLlamaV2,你需要先确保满足以下依赖:
- Python 3.9或更新版本
- PyTorch (测试过2.0.1和2.1.0的cu118版本)
- CUDA工具包
- 其他必要的Python库(可通过requirements.txt安装)
安装步骤:
- 克隆仓库:
git clone https://github.com/turboderp/exllamav2
cd exllamav2
- 安装依赖:
pip install -r requirements.txt
pip install .
- 运行测试:
python test_inference.py -m <path_to_model> -p "Once upon a time,"
对于多GPU推理,可以添加--gpu_split auto标志。
ExLlamaV2还提供了一个简单的控制台聊天机器人,可以通过以下命令运行:
python examples/chat.py -m <path_to_model> -mode llama -gs auto
集成和API
ExLlamaV2可以与多种前端和API集成:
- TabbyAPI: 基于FastAPI的服务器,提供OpenAI风格的Web API。
- ExUI: 简单的独立单用户Web UI,直接服务ExLlamaV2实例。
- text-generation-webui: 通过exllamav2和exllamav2_HF加载器支持ExLlamaV2。
- lollms-webui: 通过exllamav2绑定支持ExLlamaV2。
EXL2量化
ExLlamaV2引入了新的"EXL2"格式,这是一种基于与GPTQ相同优化方法的量化技术。EXL2支持2、3、4、5、6和8位量化,并允许在模型内混合不同的量化级别,以实现2到8位之间的任意平均比特率。
这种灵活的量化方案使得Llama2 70B模型能够在单个24 GB GPU上运行,同时保持2048个token的上下文,并在每个权重平均2.55位的情况下产生连贯且基本稳定的输出。13B模型可以在8 GB的VRAM内以2.65位运行,尽管目前它们都不使用GQA,这实际上将上下文大小限制在2048。
社区和资源
ExLlamaV2项目有一个活跃的社区,提供了许多资源和支持:
- Discord社区: https://discord.gg/NSFwVuCjRq
- HuggingFace模型仓库:
这些资源为用户提供了丰富的预训练模型和社区支持,有助于更好地利用ExLlamaV2的功能。
结语
ExLlamaV2代表了本地LLM推理的一个重要进步。通过其高效的内存使用、灵活的量化方案和优化的性能,它为研究人员、开发者和AI爱好者提供了一个强大的工具,使他们能够在消费级硬件上运行大型语言模型。随着项目的不断发展和社区的贡献,我们可以期待看到更多创新应用和性能提升。无论是用于个人实验、研究项目还是商业应用,ExLlamaV2都为本地AI推理开辟了新的可能性。
