Mistral-7B-Instruct-v0.1-AWQ

Mistral-7B-Instruct-v0.1-AWQ项目介绍

项目概述

Mistral-7B-Instruct-v0.1-AWQ是一个基于Mistral AI公司开发的Mistral-7B-Instruct-v0.1模型进行量化处理的项目。该项目由TheBloke开发，旨在通过AWQ（Activation-aware Weight Quantization）技术将原始模型压缩为更小、更高效的版本，同时尽可能保持模型的性能。

技术特点

AWQ量化技术：项目采用AWQ技术进行模型量化，这是一种高效、准确且速度极快的低比特权重量化方法。目前支持4位量化，相比GPTQ，它能提供更快的基于Transformers的推理速度。
模型规格：
- 基础模型：mistralai/Mistral-7B-Instruct-v0.1
- 量化位数：4位
- 分组大小（Group Size）：128
- 序列长度：4096
- 模型大小：4.15 GB
文件格式：模型以分片的safetensors文件形式发布。

使用方法

环境配置：
- 需要安装特定版本的Transformers库和AutoAWQ库。
- 可以通过pip命令从GitHub仓库安装所需依赖。
Python代码示例：
- 提供了详细的Python代码示例，展示如何加载模型、设置tokenizer以及生成文本。
- 支持自定义生成参数，如温度、top_p、top_k等。
提示模板：使用Mistral的标准提示模板：
```
<s>[INST] {prompt} [/INST]
```