Meta-Llama-3.1-8B-Instruct-quantized.w4a16

Meta-Llama-3.1-8B-Instruct-quantized.w4a16项目介绍

Meta-Llama-3.1-8B-Instruct-quantized.w4a16是一个经过量化优化的大型语言模型,基于Meta公司的Llama 3.1系列8B参数指令微调模型。该项目由Neural Magic公司开发,旨在在保持模型性能的同时,大幅减少模型的存储和运行资源需求。

模型概述

这是一个文本生成模型,采用Meta-Llama-3架构。模型的主要优化手段是将权重量化到INT4,即每个参数仅使用4位来存储,相比原始的16位浮点数大大压缩了模型体积。量化后,模型在磁盘存储和GPU内存占用上都减少了约75%。

该模型继承了原始Meta-Llama-3.1-8B-Instruct模型的用途,主要面向英语的商业和研究应用场景,可用于构建类似助手的对话系统。模型发布于2024年7月26日,版本为1.0,采用Llama3.1许可证。

量化过程

量化过程使用了AutoGPTQ库,仅对Transformer块内的线性算子的权重进行了量化。具体采用了对称的按通道量化方法,为每个输出维度设置一个线性缩放,将INT8和浮点表示映射。量化时使用了10%的阻尼因子,并使用了Neural Magic提供的768个校准序列。

部署方式

该模型可以通过vLLM后端高效部署。开发者可以使用Python代码加载模型,设置采样参数,然后进行文本生成。vLLM还支持OpenAI兼容的服务部署方式。

评估结果

模型在多个基准测试上进行了评估,包括Arena-Hard、OpenLLM v1、OpenLLM v2、HumanEval和HumanEval+等。

在Arena-Hard评估中,该量化模型的表现甚至超过了原始模型,达到了105.4%的恢复率。在OpenLLM v1测试集上,平均恢复率达到98.9%。在OpenLLM v2上,平均恢复率为96.1%。在编程能力测试HumanEval和HumanEval+上,恢复率分别达到99.7%和97.4%。

此外,模型还在多语言MMLU测试中表现出色,在葡萄牙语、西班牙语、意大利语、德语、法语、印地语和泰语版本的MMLU上都取得了94%以上的恢复率。

总结

Meta-Llama-3.1-8B-Instruct-quantized.w4a16项目通过高效的量化技术,在大幅降低资源需求的同时,保持了原始大型语言模型的绝大部分性能。这为在资源受限环境下部署先进语言模型提供了可能,对推动大模型的广泛应用具有重要意义。