Meta-Llama-3-8B-Instruct-FP8-KV

Meta-Llama-3-8B-Instruct-FP8-KV项目介绍

项目概述

Meta-Llama-3-8B-Instruct-FP8-KV是一个基于Meta-Llama-3-8B-Instruct模型进行量化优化的项目。这个项目将原始模型量化为FP8（8位浮点数）权重和激活值，使用了每张量量化技术。该模型checkpoint还包含了FP8量化的KV缓存的每张量缩放因子，可以通过vLLM库的--kv-cache-dtype fp8参数来访问。

这个优化后的模型专门为使用vLLM库（版本0.5.0及以上）进行推理而设计。通过量化，模型可以在保持性能的同时，大大减少内存占用和计算资源需求，使其更适合在资源受限的环境中部署和使用。

使用方法

使用这个模型非常简单。用户可以通过以下Python代码快速加载和使用模型：

from vllm import LLM
model = LLM(model="neuralmagic/Meta-Llama-3-8B-Instruct-FP8-KV", kv_cache_dtype="fp8")
result = model.generate("Hello, my name is")

这段代码演示了如何初始化模型并生成文本。值得注意的是，这里使用了kv_cache_dtype="fp8"参数，这充分利用了模型的FP8量化KV缓存特性。

模型创建过程

该模型是使用AutoFP8工具创建的，具体过程包括：

使用ultrachat数据集进行校准。
应用每张量量化方法，将模型权重和激活值量化为FP8格式。
对KV缓存进行特殊处理，以支持FP8量化。

创建过程的代码示例也在项目介绍中提供，展示了如何使用AutoFP8ForCausalLM类和BaseQuantizeConfig来实现量化。

性能评估

在Open LLM Leaderboard上的评估显示，Meta-Llama-3-8B-Instruct-FP8-KV模型在gsm8k测试集上的5-shot性能达到了74.98分。这个分数与原始的Meta-Llama-3-8B-Instruct模型（75.44分）相比只有微小的下降，证明了量化过程保持了模型的大部分性能。