懂AI
AutoAWQ

AutoAWQ

面向大型语言模型的高效4位量化框架

AutoAWQ是一个专门针对大型语言模型的4位量化框架，通过实现激活感知权重量化算法，可将模型速度提升3倍，同时减少3倍内存需求。该框架支持Mistral、LLaVa、Mixtral等多种模型，具备多GPU支持、CUDA和ROCm兼容性以及PEFT兼容训练等特性。AutoAWQ为提升大型语言模型的推理效率提供了有力工具。

AutoAWQ量化推理GPU加速大语言模型Github开源项目
GitHubHugging Face论文

AutoAWQ

<p align="center"> | <a href="https://github.com/casper-hansen/AutoAWQ/issues/32"><b>路线图</b></a> | <a href="https://github.com/casper-hansen/AutoAWQ/tree/main/examples"><b>示例</b></a> | <a href="https://github.com/casper-hansen/AutoAWQ/issues?q=is%3Aopen+is%3Aissue+label%3A%22help+wanted%22"><b>问题：需要帮助</b></a> | </p> <p align="center" style="margin-bottom: 0px;"> <a href="https://huggingface.co/models?search=awq"> <img alt="Huggingface - 模型" src="https://img.shields.io/badge/🤗_1000+_可用模型-8A2BE2"> </a> <a href="https://github.com/casper-hansen/AutoAWQ/releases"> <img alt="GitHub - 发布" src="https://yellow-cdn.veclightyear.com/ab5030c0/0396e783-c4e9-4630-9709-df835d3121cc.svg"> </a> <a href="https://pypi.org/project/autoawq/"> <img alt="PyPI - 下载量" src="https://static.pepy.tech/badge/autoawq/month"> </a> </p> <div align="center" style="color: white;"> <p>支持者</p> <a href="https://runpod.io/?utm_source=referral&utm_medium=autoAWQ"> <img src="https://github.com/aadil-runpod/rp-logo/assets/164108768/a8fc546d-cbab-44c4-9a5a-dfb6c400ad24" alt="RunPod 标志" width="100" border="0"> </a> </div>

AutoAWQ 是一个易于使用的 4 位量化模型包。与 FP16 相比，AutoAWQ 可以将模型速度提高 3 倍，并将内存需求减少 3 倍。AutoAWQ 实现了激活感知权重量化（AWQ）算法来量化大型语言模型。AutoAWQ 是基于 MIT 的原始工作创建并改进的。

最新消息 🔥

  • [2024/06] 支持 CPU 推理（x86）- 感谢英特尔。支持 Cohere 和 Phi3。
  • [2024/04] 支持 StableLM 和 StarCoder2。
  • [2024/03] 支持 Gemma。
  • [2024/02] 支持 FP16 的 PEFT 兼容训练。
  • [2024/02] 通过 ExLlamaV2 内核支持 AMD ROCm。
  • [2024/01] 导出到 GGUF，ExLlamaV2 内核，上下文处理速度提高 60%。
  • [2023/12] 支持 Mixtral、LLaVa、QWen、Baichuan 模型。
  • [2023/11] AutoAWQ 推理已集成到 🤗 transformers 中。现包含 CUDA 12.1 轮子。
  • [2023/10] 支持 Mistral（融合模块）、Bigcode、Turing，内存错误修复（节省 2GB VRAM）
  • [2023/09] 融合模型速度提升 1.6-2.5 倍（现包括 MPT 和 Falcon）。
  • [2023/09] 支持多 GPU，修复错误，提供更好的基准测试脚本
  • [2023/08] 发布 PyPi 包，提供 AutoModel 类

安装

先决条件

  • NVIDIA：
    • 您的 NVIDIA GPU 必须具有 7.5 或更高的计算能力。支持图灵及更新架构。
    • 您的 CUDA 版本必须是 CUDA 11.8 或更高版本。
  • AMD：
    • 您的 ROCm 版本必须是 ROCm 5.6 或更高版本。

从 PyPi 安装

要从 PyPi 安装最新的 AutoAWQ，您需要安装 CUDA 12.1。

pip install autoawq

从源代码构建

对于 CUDA 11.8、ROCm 5.6 和 ROCm 5.7，您可以从发布页面安装轮子：

pip install autoawq@https://github.com/casper-hansen/AutoAWQ/releases/download/v0.2.0/autoawq-0.2.0+cu118-cp310-cp310-linux_x86_64.whl

或直接从主分支安装：

pip install autoawq@https://github.com/casper-hansen/AutoAWQ.git

或通过克隆仓库并从源代码安装：

git clone https://github.com/casper-hansen/AutoAWQ
cd AutoAWQ
pip install -e .

这三种方法都将从 AutoAWQ_Kernels 为您的系统安装最新和正确的内核。

如果您的系统不受支持（即不在发布页面上），您可以按照 AutoAWQ_Kernels 中的说明自行构建内核，然后从源代码安装 AutoAWQ。

使用方法

在 examples 目录下，您可以找到如何量化、运行推理和对 AutoAWQ 模型进行基准测试的示例。

INT4 GEMM vs INT4 GEMV vs FP16

AWQ 有两个版本：GEMM 和 GEMV。这两个名称与矩阵乘法在底层的运行方式有关。我们建议如下：

  • GEMV（量化）：比 GEMM 快 20%，仅支持批量大小为 1（不适合大上下文）。
  • GEMM（量化）：在批量大小小于 8 时比 FP16 快得多（适合大上下文）。
  • FP16（非量化）：推荐用于最高吞吐量：vLLM。

计算受限 vs 内存受限

在小批量大小的小型 7B 模型中，我们受内存限制。这意味着我们受限于 GPU 在内存中推送权重的带宽，这基本上限制了我们每秒可以生成的令牌数。受内存限制是使量化模型更快的原因，因为您的权重小 3 倍，因此可以在内存中更快地推送。这与受计算限制不同，后者在生成过程中主要时间花在进行矩阵乘法上。

在受计算限制的情况下，这种情况发生在更高的批量大小下，使用 W4A16 量化模型不会获得速度提升，因为反量化的开销会降低整体生成速度。这是因为 AWQ 量化模型仅将权重存储为 INT4，但在推理过程中执行 FP16 操作，所以我们基本上是在推理过程中将 INT4 转换为 FP16。

融合模块

融合模块是 AutoAWQ 获得大幅加速的重要部分。其思想是将多个层合并为单个操作，从而提高效率。融合模块代表了一组独立于 Huggingface 模型工作的自定义模块。它们与 model.generate() 和其他 Huggingface 方法兼容，但如果激活融合模块，这会导致模型使用上的一些不灵活性：

  • 当您使用 fuse_layers=True 时，融合模块会被激活。
  • 实现了自定义缓存。它根据批量大小和序列长度预分配。
    • 创建模型后无法更改序列长度。
    • 参考：AutoAWQForCausalLM.from_quantized(max_seq_len=seq_len, batch_size=batch_size)
  • 融合模块中的主要加速器来自 FasterTransformer，它仅与 Linux 兼容。
  • model.generate() 中的 past_key_values 只是虚拟值，因此无法在生成后使用。

示例

更多示例可以在 examples 目录 中找到。

<details> <summary>量化</summary>

对于较小的 7B 模型，预计这将需要 10-15 分钟，而对于 70B 模型，则需要大约 1 小时。

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = 'lmsys/vicuna-7b-v1.5'
quant_path = 'vicuna-7b-v1.5-awq'
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

# 加载模型
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 量化
model.quantize(tokenizer, quant_config=quant_config)

# 保存量化模型
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)
</details> <details> <summary>推理</summary> 
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

quant_path = "TheBloke/zephyr-7B-beta-AWQ"

# 加载模型
model = AutoAWQForCausalLM.from_quantized(quant_path, fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(quant_path, trust_remote_code=True)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

# 将提示转换为令牌
prompt_template = """\
<|system|>
</s>
<|user|>
{prompt}</s>
<|assistant|>"""

prompt = "你正站在地球表面。"\
        "你向南走一英里，向西走一英里，然后向北走一英里。"\
        "你最终回到了起点。你在哪里？"

tokens = tokenizer(
    prompt_template.format(prompt=prompt), 
    return_tensors='pt'
).input_ids.cuda()

# 生成输出
generation_output = model.generate(
    tokens, 
    streamer=streamer,
    max_seq_len=512
)
</details>

基准测试

这些基准测试展示了处理上下文（预填充）和生成标记（解码）的速度和内存使用情况。结果包括不同批量大小和不同版本AWQ内核的速度。我们旨在使用同一基准测试工具公平测试模型，您可以用它来复现结果。请注意，速度不仅在GPU之间有所不同，在CPU之间也会有差异。最重要的是高内存带宽的GPU和高单核时钟速度的CPU。

  • 使用AutoAWQ版本0.1.6测试
  • GPU：RTX 4090（AMD Ryzen 9 7950X）
  • 命令：python examples/benchmark.py --model_path <hf_model> --batch_size 1
  • 🟢表示GEMV，🔵表示GEMM，🔴表示避免使用
模型名称大小版本批量大小预填充长度解码长度预填充标记/秒解码标记/秒内存（显存）
Vicuna7B🟢GEMV16464639.65198.8484.50 GB (19.05%)
Vicuna7B🟢GEMV1204820481123.63133.1916.15 GB (26.02%)
...........................
Mistral7B🔵GEMM164641093.35156.3174.35 GB (18.41%)
Mistral7B🔵GEMM1204820483897.02114.3555.55 GB (23.48%)
Mistral7B🔵GEMM864644199.181185.254.35 GB (18.41%)
Mistral7B🔵GEMM8204820483661.46829.75416.82 GB (71.12%)
...........................
Mistral7B🟢GEMV16464531.99188.294.28 GB (18.08%)
Mistral7B🟢GEMV120482048903.83130.665.55 GB (23.48%)
Mistral7B🔴GEMV86464897.87486.464.33 GB (18.31%)
Mistral7B🔴GEMV820482048884.22411.89316.82 GB (71.12%)
...........................
TinyLlama1B🟢GEMV164641088.63548.9930.86 GB (3.62%)
TinyLlama1B🟢GEMV1204820485178.98431.4682.10 GB (8.89%)
...........................
Llama 213B🔵GEMM16464820.3496.748.47 GB (35.83%)
Llama 213B🔵GEMM1204820482279.4173.821310.28 GB (43.46%)
Llama 213B🔵GEMM364641593.88286.2498.57 GB (36.24%)
Llama 213B🔵GEMM3204820482226.7189.57316.90 GB (71.47%)
...........................
MPT7B🔵GEMM164641079.06161.3443.67 GB (15.51%)
MPT7B🔵GEMM1204820484069.78114.9825.87 GB (24.82%)
...........................
Falcon7B🔵GEMM164641139.93133.5854.47 GB (18.92%)
Falcon7B🔵GEMM1204820482850.97115.736.83 GB (28.88%)
...........................
CodeLlama34B🔵GEMM16464681.7441.0119.05 GB (80.57%)
CodeLlama34B🔵GEMM1204820481072.3635.831620.26 GB (85.68%)
...........................
DeepSeek33B🔵GEMM164641160.1840.2918.92 GB (80.00%)
DeepSeek33B🔵GEMM1204820481012.134.009319.87 GB (84.02%)

多GPU

GPU：2块NVIDIA GeForce RTX 4090

模型大小版本批量大小预填充长度解码长度预填充令牌/秒解码令牌/秒内存 (显存)
Mixtral46.7B🔵GEMM13232149.74293.40625.28 GB (53.44%)
Mixtral46.7B🔵GEMM164641489.6493.18425.32 GB (53.53%)
Mixtral46.7B🔵GEMM11281282082.9592.944425.33 GB (53.55%)
Mixtral46.7B🔵GEMM12562562428.5991.518725.35 GB (53.59%)
Mixtral46.7B🔵GEMM15125122633.1189.145725.39 GB (53.67%)
Mixtral46.7B🔵GEMM1102410242598.9584.675325.75 GB (54.44%)
Mixtral46.7B🔵GEMM1204820482446.1577.051627.98 GB (59.15%)
Mixtral46.7B🔵GEMM1409640961985.7877.568934.65 GB (73.26%)

CPU

  • CPU: 英特尔(R) 至强(R) 白金 8592+ 处理器，配备 8 通道 4800MT/s 内存。
  • 命令：python examples/benchmark.py --model_path <hf_model> --batch_size 1
模型大小批量大小预填充长度解码长度预填充令牌/秒解码令牌/秒内存 (RAM)
Mixtral7B16464389.2416.015.59 GB (0.02%)
Mixtral7B120482048141217.766.29 GB (0.03%)
Vicuna7B1646434618.138.18 GB (0.03%)
Vicuna7B1204820481023.418.188.80 GB (0.04%)
LLaMA213B16464160.249.8714.65 GB (0.06%)
LLaMA213B120482048592.359.9316.87 GB (0.07%)
Mosaicml7B16464433.1718.794.60 GB (0.02%)
Mosaicml7B120482048404.2519.914.75 GB (0.02%)
Falcon7B16464303.1614.415.18 GB (0.02%)
Falcon7B120482048634.5715.555.80 GB (0.02%)
CodeLlama34B16464153.734.2329.00 GB (0.12%)
CodeLlama34B120482048274.254.3835.21 GB (0.15%)
Deepseek-coder33B1646483.084.0722.16 GB (0.09%)
Deepseek-coder33B120482048296.044.3337.05 GB

参考

如果您发现 AWQ 对您的研究有用或相关，您可以引用他们的论文：

@article{lin2023awq,
  title={AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration},
  author={Lin, Ji and Tang, Jiaming and Tang, Haotian and Yang, Shang and Dang, Xingyu and Han, Song},
  journal={arXiv},
  year={2023}
}

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力，做PPT更简单！

咔片是一款轻量化在线演示设计工具，借助 AI 技术，实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT，提供海量模板、智能美化、素材替换等功能，适用于销售、教师、学生等各类人群，能高效制作出高品质 PPT，满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台，公文写作神器

AI 材料星，专业的 AI 公文写作辅助平台，为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能，支持 30 + 文稿类型生成，助力快速完成领导讲话、工作总结、述职报告等材料，提升办公效率，是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK，助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK，它为开发者提供了与 OpenAI 模型交互的高效工具，支持工具调用、结果处理、追踪等功能，涵盖多种应用场景，如研究助手、财务研究等，能显著提升开发效率，让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具，支持从文本描述、单张图片或多视角图片生成 3D 模型，具备快速形状生成能力，可生成带纹理的高质量 3D 模型，适用于多个领域，为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目，涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作，如创建文件和目录、设置布局等，同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景，能够提高系统的性能和可靠性，是分布式存储领域的优质解决方案。

下拉加载更多