AutoGPTQ入门学习资料汇总 - 基于GPTQ算法的易用LLM量化工具包

AutoGPTQ入门学习资料汇总 - 基于GPTQ算法的易用LLM量化工具包

AutoGPTQ是一个基于GPTQ算法的易用型大语言模型量化工具包,提供了友好的API接口。本文汇总了AutoGPTQ的相关学习资料,帮助读者快速入门和使用这个强大的LLM量化工具。

项目简介

AutoGPTQ是一个开源的LLM量化工具包,主要特点包括:

• 基于GPTQ算法实现权重量化
• 提供友好的API接口,易于使用
• 支持多种主流LLM模型
• 在保持模型性能的同时显著降低显存占用

项目地址: https://github.com/AutoGPTQ/AutoGPTQ

PyPI地址: https://pypi.org/project/auto-gptq/

安装方法

AutoGPTQ支持Linux和Windows系统,可以通过pip安装最新的稳定版本:

# CUDA 11.8
pip install auto-gptq --no-build-isolation --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/

# CUDA 12.1 
pip install auto-gptq --no-build-isolation

# ROCm 5.7
pip install auto-gptq --no-build-isolation --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm573/

更多安装选项可以参考安装文档。

使用教程

下面是一个简单的使用示例:

from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name = "facebook/opt-125m"
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 加载未量化模型
model = AutoGPTQForCausalLM.from_pretrained(model_name, quantize_config=BaseQuantizeConfig())

# 量化模型
model.quantize([tokenizer("Example text", return_tensors="pt")])

# 保存量化后的模型
model.save_quantized("opt-125m-4bit")

# 加载量化后的模型进行推理
model = AutoGPTQForCausalLM.from_quantized("opt-125m-4bit", device="cuda:0")
print(model.generate(**tokenizer("AutoGPTQ is", return_tensors="pt").to(model.device)))

更多详细的使用教程可以参考:

• 官方文档
• 示例代码

性能对比

下面是AutoGPTQ与原始fp16模型的性能对比:

可以看到,AutoGPTQ在显著降低显存占用的同时,推理速度反而有所提升。

支持的模型

AutoGPTQ支持多种主流的LLM模型,包括:

• BLOOM
• GPT-2
• GPT-J
• LLaMA
• OPT
• MOSS
• Falcon
• 等等

完整的支持列表可以参考README。

更多资源

• 新闻和更新
• FAQ
• 贡献指南

AutoGPTQ是一个强大而易用的LLM量化工具,欢迎大家尝试使用并为项目贡献代码。如果在使用过程中遇到任何问题,可以在GitHub上提issue与社区交流。