Mixtral-8x7B-Instruct-v0.1-GPTQ

这里是关于Mixtral-8x7B-Instruct-v0.1-GPTQ项目的详细介绍:

项目概述

Mixtral-8x7B-Instruct-v0.1-GPTQ是由TheBloke基于Mistral AI的Mixtral 8X7B Instruct v0.1模型量化而来的GPTQ版本。这个项目旨在提供一个经过量化压缩的大型语言模型,可以在有限的计算资源下运行,同时尽可能保持原模型的性能。

模型特点

基于Mistral AI的Mixtral 8X7B Instruct v0.1模型
使用GPTQ方法进行量化压缩
提供多种量化参数选项,适应不同硬件和需求
支持多语言,包括法语、意大利语、德语、西班牙语和英语
遵循Apache 2.0开源许可

量化版本

项目提供了多个量化版本,存储在不同的分支中:

主分支:4-bit量化,无分组大小,使用Act Order
4-bit-128g:4-bit量化,128组大小,使用Act Order
4-bit-32g:4-bit量化,32组大小,使用Act Order
3-bit:3-bit量化,无分组大小,使用Act Order
8-bit:8-bit量化,提供无分组和128组两个版本

用户可以根据自己的硬件条件和性能需求选择合适的版本。

使用方法

下载模型

可以使用Hugging Face的huggingface-cli工具下载模型文件:

huggingface-cli download TheBloke/Mixtral-8x7B-Instruct-v0.1-GPTQ

Python代码示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("TheBloke/Mixtral-8x7B-Instruct-v0.1-GPTQ", 
                                             device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("TheBloke/Mixtral-8x7B-Instruct-v0.1-GPTQ")

prompt = "写一个关于羊驼的故事"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
output = model.generate(input_ids, max_new_tokens=512)
print(tokenizer.decode(output[0]))