懂AI
AutoAWQ

AutoAWQ

面向大型语言模型的高效4位量化框架

AutoAWQ是一个专门针对大型语言模型的4位量化框架，通过实现激活感知权重量化算法，可将模型速度提升3倍，同时减少3倍内存需求。该框架支持Mistral、LLaVa、Mixtral等多种模型，具备多GPU支持、CUDA和ROCm兼容性以及PEFT兼容训练等特性。AutoAWQ为提升大型语言模型的推理效率提供了有力工具。

AutoAWQ量化推理GPU加速大语言模型Github开源项目
GitHubHugging Face论文

AutoAWQ

<p align="center"> | <a href="https://github.com/casper-hansen/AutoAWQ/issues/32"><b>路线图</b></a> | <a href="https://github.com/casper-hansen/AutoAWQ/tree/main/examples"><b>示例</b></a> | <a href="https://github.com/casper-hansen/AutoAWQ/issues?q=is%3Aopen+is%3Aissue+label%3A%22help+wanted%22"><b>问题：需要帮助</b></a> | </p> <p align="center" style="margin-bottom: 0px;"> <a href="https://huggingface.co/models?search=awq"> <img alt="Huggingface - 模型" src="https://img.shields.io/badge/🤗_1000+_可用模型-8A2BE2"> </a> <a href="https://github.com/casper-hansen/AutoAWQ/releases"> <img alt="GitHub - 发布" src="https://yellow-cdn.veclightyear.com/ab5030c0/0396e783-c4e9-4630-9709-df835d3121cc.svg"> </a> <a href="https://pypi.org/project/autoawq/"> <img alt="PyPI - 下载量" src="https://static.pepy.tech/badge/autoawq/month"> </a> </p> <div align="center" style="color: white;"> <p>支持者</p> <a href="https://runpod.io/?utm_source=referral&utm_medium=autoAWQ"> <img src="https://github.com/aadil-runpod/rp-logo/assets/164108768/a8fc546d-cbab-44c4-9a5a-dfb6c400ad24" alt="RunPod 标志" width="100" border="0"> </a> </div>

AutoAWQ 是一个易于使用的 4 位量化模型包。与 FP16 相比，AutoAWQ 可以将模型速度提高 3 倍，并将内存需求减少 3 倍。AutoAWQ 实现了激活感知权重量化（AWQ）算法来量化大型语言模型。AutoAWQ 是基于 MIT 的原始工作创建并改进的。

最新消息 🔥

  • [2024/06] 支持 CPU 推理（x86）- 感谢英特尔。支持 Cohere 和 Phi3。
  • [2024/04] 支持 StableLM 和 StarCoder2。
  • [2024/03] 支持 Gemma。
  • [2024/02] 支持 FP16 的 PEFT 兼容训练。
  • [2024/02] 通过 ExLlamaV2 内核支持 AMD ROCm。
  • [2024/01] 导出到 GGUF，ExLlamaV2 内核，上下文处理速度提高 60%。
  • [2023/12] 支持 Mixtral、LLaVa、QWen、Baichuan 模型。
  • [2023/11] AutoAWQ 推理已集成到 🤗 transformers 中。现包含 CUDA 12.1 轮子。
  • [2023/10] 支持 Mistral（融合模块）、Bigcode、Turing，内存错误修复（节省 2GB VRAM）
  • [2023/09] 融合模型速度提升 1.6-2.5 倍（现包括 MPT 和 Falcon）。
  • [2023/09] 支持多 GPU，修复错误，提供更好的基准测试脚本
  • [2023/08] 发布 PyPi 包，提供 AutoModel 类

安装

先决条件

  • NVIDIA：
    • 您的 NVIDIA GPU 必须具有 7.5 或更高的计算能力。支持图灵及更新架构。
    • 您的 CUDA 版本必须是 CUDA 11.8 或更高版本。
  • AMD：
    • 您的 ROCm 版本必须是 ROCm 5.6 或更高版本。

从 PyPi 安装

要从 PyPi 安装最新的 AutoAWQ，您需要安装 CUDA 12.1。

pip install autoawq

从源代码构建

对于 CUDA 11.8、ROCm 5.6 和 ROCm 5.7，您可以从发布页面安装轮子：

pip install autoawq@https://github.com/casper-hansen/AutoAWQ/releases/download/v0.2.0/autoawq-0.2.0+cu118-cp310-cp310-linux_x86_64.whl

或直接从主分支安装：

pip install autoawq@https://github.com/casper-hansen/AutoAWQ.git

或通过克隆仓库并从源代码安装：

git clone https://github.com/casper-hansen/AutoAWQ
cd AutoAWQ
pip install -e .

这三种方法都将从 AutoAWQ_Kernels 为您的系统安装最新和正确的内核。

如果您的系统不受支持（即不在发布页面上），您可以按照 AutoAWQ_Kernels 中的说明自行构建内核，然后从源代码安装 AutoAWQ。

使用方法

在 examples 目录下，您可以找到如何量化、运行推理和对 AutoAWQ 模型进行基准测试的示例。

INT4 GEMM vs INT4 GEMV vs FP16

AWQ 有两个版本：GEMM 和 GEMV。这两个名称与矩阵乘法在底层的运行方式有关。我们建议如下：

  • GEMV（量化）：比 GEMM 快 20%，仅支持批量大小为 1（不适合大上下文）。
  • GEMM（量化）：在批量大小小于 8 时比 FP16 快得多（适合大上下文）。
  • FP16（非量化）：推荐用于最高吞吐量：vLLM。

计算受限 vs 内存受限

在小批量大小的小型 7B 模型中，我们受内存限制。这意味着我们受限于 GPU 在内存中推送权重的带宽，这基本上限制了我们每秒可以生成的令牌数。受内存限制是使量化模型更快的原因，因为您的权重小 3 倍，因此可以在内存中更快地推送。这与受计算限制不同，后者在生成过程中主要时间花在进行矩阵乘法上。

在受计算限制的情况下，这种情况发生在更高的批量大小下，使用 W4A16 量化模型不会获得速度提升，因为反量化的开销会降低整体生成速度。这是因为 AWQ 量化模型仅将权重存储为 INT4，但在推理过程中执行 FP16 操作，所以我们基本上是在推理过程中将 INT4 转换为 FP16。

融合模块

融合模块是 AutoAWQ 获得大幅加速的重要部分。其思想是将多个层合并为单个操作，从而提高效率。融合模块代表了一组独立于 Huggingface 模型工作的自定义模块。它们与 model.generate() 和其他 Huggingface 方法兼容，但如果激活融合模块，这会导致模型使用上的一些不灵活性：

  • 当您使用 fuse_layers=True 时，融合模块会被激活。
  • 实现了自定义缓存。它根据批量大小和序列长度预分配。
    • 创建模型后无法更改序列长度。
    • 参考：AutoAWQForCausalLM.from_quantized(max_seq_len=seq_len, batch_size=batch_size)
  • 融合模块中的主要加速器来自 FasterTransformer，它仅与 Linux 兼容。
  • model.generate() 中的 past_key_values 只是虚拟值，因此无法在生成后使用。

示例

更多示例可以在 examples 目录 中找到。

<details> <summary>量化</summary>

对于较小的 7B 模型，预计这将需要 10-15 分钟，而对于 70B 模型，则需要大约 1 小时。

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = 'lmsys/vicuna-7b-v1.5'
quant_path = 'vicuna-7b-v1.5-awq'
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

# 加载模型
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 量化
model.quantize(tokenizer, quant_config=quant_config)

# 保存量化模型
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)
</details> <details> <summary>推理</summary> 
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

quant_path = "TheBloke/zephyr-7B-beta-AWQ"

# 加载模型
model = AutoAWQForCausalLM.from_quantized(quant_path, fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(quant_path, trust_remote_code=True)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

# 将提示转换为令牌
prompt_template = """\
<|system|>
</s>
<|user|>
{prompt}</s>
<|assistant|>"""

prompt = "你正站在地球表面。"\
        "你向南走一英里，向西走一英里，然后向北走一英里。"\
        "你最终回到了起点。你在哪里？"

tokens = tokenizer(
    prompt_template.format(prompt=prompt), 
    return_tensors='pt'
).input_ids.cuda()

# 生成输出
generation_output = model.generate(
    tokens, 
    streamer=streamer,
    max_seq_len=512
)
</details>

基准测试

这些基准测试展示了处理上下文（预填充）和生成标记（解码）的速度和内存使用情况。结果包括不同批量大小和不同版本AWQ内核的速度。我们旨在使用同一基准测试工具公平测试模型，您可以用它来复现结果。请注意，速度不仅在GPU之间有所不同，在CPU之间也会有差异。最重要的是高内存带宽的GPU和高单核时钟速度的CPU。

  • 使用AutoAWQ版本0.1.6测试
  • GPU：RTX 4090（AMD Ryzen 9 7950X）
  • 命令：python examples/benchmark.py --model_path <hf_model> --batch_size 1
  • 🟢表示GEMV，🔵表示GEMM，🔴表示避免使用
模型名称大小版本批量大小预填充长度解码长度预填充标记/秒解码标记/秒内存（显存）
Vicuna7B🟢GEMV16464639.65198.8484.50 GB (19.05%)
Vicuna7B🟢GEMV1204820481123.63133.1916.15 GB (26.02%)
...........................
Mistral7B🔵GEMM164641093.35156.3174.35 GB (18.41%)
Mistral7B🔵GEMM1204820483897.02114.3555.55 GB (23.48%)
Mistral7B🔵GEMM864644199.181185.254.35 GB (18.41%)
Mistral7B🔵GEMM8204820483661.46829.75416.82 GB (71.12%)
...........................
Mistral7B🟢GEMV16464531.99188.294.28 GB (18.08%)
Mistral7B🟢GEMV120482048903.83130.665.55 GB (23.48%)
Mistral7B🔴GEMV86464897.87486.464.33 GB (18.31%)
Mistral7B🔴GEMV820482048884.22411.89316.82 GB (71.12%)
...........................
TinyLlama1B🟢GEMV164641088.63548.9930.86 GB (3.62%)
TinyLlama1B🟢GEMV1204820485178.98431.4682.10 GB (8.89%)
...........................
Llama 213B🔵GEMM16464820.3496.748.47 GB (35.83%)
Llama 213B🔵GEMM1204820482279.4173.821310.28 GB (43.46%)
Llama 213B🔵GEMM364641593.88286.2498.57 GB (36.24%)
Llama 213B🔵GEMM3204820482226.7189.57316.90 GB (71.47%)
...........................
MPT7B🔵GEMM164641079.06161.3443.67 GB (15.51%)
MPT7B🔵GEMM1204820484069.78114.9825.87 GB (24.82%)
...........................
Falcon7B🔵GEMM164641139.93133.5854.47 GB (18.92%)
Falcon7B🔵GEMM1204820482850.97115.736.83 GB (28.88%)
...........................
CodeLlama34B🔵GEMM16464681.7441.0119.05 GB (80.57%)
CodeLlama34B🔵GEMM1204820481072.3635.831620.26 GB (85.68%)
...........................
DeepSeek33B🔵GEMM164641160.1840.2918.92 GB (80.00%)
DeepSeek33B🔵GEMM1204820481012.134.009319.87 GB (84.02%)

多GPU

GPU：2块NVIDIA GeForce RTX 4090

模型大小版本批量大小预填充长度解码长度预填充令牌/秒解码令牌/秒内存 (显存)
Mixtral46.7B🔵GEMM13232149.74293.40625.28 GB (53.44%)
Mixtral46.7B🔵GEMM164641489.6493.18425.32 GB (53.53%)
Mixtral46.7B🔵GEMM11281282082.9592.944425.33 GB (53.55%)
Mixtral46.7B🔵GEMM12562562428.5991.518725.35 GB (53.59%)
Mixtral46.7B🔵GEMM15125122633.1189.145725.39 GB (53.67%)
Mixtral46.7B🔵GEMM1102410242598.9584.675325.75 GB (54.44%)
Mixtral46.7B🔵GEMM1204820482446.1577.051627.98 GB (59.15%)
Mixtral46.7B🔵GEMM1409640961985.7877.568934.65 GB (73.26%)

CPU

  • CPU: 英特尔(R) 至强(R) 白金 8592+ 处理器，配备 8 通道 4800MT/s 内存。
  • 命令：python examples/benchmark.py --model_path <hf_model> --batch_size 1
模型大小批量大小预填充长度解码长度预填充令牌/秒解码令牌/秒内存 (RAM)
Mixtral7B16464389.2416.015.59 GB (0.02%)
Mixtral7B120482048141217.766.29 GB (0.03%)
Vicuna7B1646434618.138.18 GB (0.03%)
Vicuna7B1204820481023.418.188.80 GB (0.04%)
LLaMA213B16464160.249.8714.65 GB (0.06%)
LLaMA213B120482048592.359.9316.87 GB (0.07%)
Mosaicml7B16464433.1718.794.60 GB (0.02%)
Mosaicml7B120482048404.2519.914.75 GB (0.02%)
Falcon7B16464303.1614.415.18 GB (0.02%)
Falcon7B120482048634.5715.555.80 GB (0.02%)
CodeLlama34B16464153.734.2329.00 GB (0.12%)
CodeLlama34B120482048274.254.3835.21 GB (0.15%)
Deepseek-coder33B1646483.084.0722.16 GB (0.09%)
Deepseek-coder33B120482048296.044.3337.05 GB

参考

如果您发现 AWQ 对您的研究有用或相关，您可以引用他们的论文：

@article{lin2023awq,
  title={AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration},
  author={Lin, Ji and Tang, Jiaming and Tang, Haotian and Yang, Shang and Dang, Xingyu and Han, Song},
  journal={arXiv},
  year={2023}
}

编辑推荐精选

潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

AI助手热门AI工具AI创作AI辅助写作讯飞绘文内容运营个性化文章多平台分发
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

下拉加载更多