Phi-3-mini-4k-instruct-int4-ov

项目介绍：Phi-3-mini-4k-instruct-int4-ov

背景介绍

Phi-3-mini-4k-instruct-int4-ov是由Microsoft创建的一个模型，其基础模型是Phi-3-mini-4k-instruct。这个项目属于一个量化模型，具体来说，它将原始模型转化为OpenVINO™的中间表示格式（Intermediate Representation）并通过NNCF工具将权重压缩为INT4格式。

模型描述

Phi-3-mini-4k-instruct-int4-ov是一个高度优化的版本，旨在实现更高效的机器学习模型推理。通过将模型的权重压缩成INT4格式，实现了较大幅度的模型压缩，节省了存储空间并提升了计算效率。这使得模型在资源有限的设备上也能够高效运行。

量化参数

在模型量化过程中采用了特定的参数配置：

模式：int4_asym
比例：1
组大小：64

这些参数确保了模型在保持性能的同时，最大程度减少了数据冗余。关于量化的详细信息，可以参考OpenVINO的模型优化指南。

兼容性

此OpenVINO™ IR模型兼容以下版本：

OpenVINO版本：2024.4.0及更高版本
Optimum Intel版本：1.23.1及更高版本

模型推理步骤

安装使用Optimum Intel与OpenVINO后端集成所需的软件包：
```
pip install optimum[openvino]
```

运行模型推理的基本代码示例：

from transformers import AutoTokenizer
from optimum.intel.openvino import OVModelForCausalLM

model_id = "OpenVINO/Phi-3-mini-4k-instruct-int4-ov"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = OVModelForCausalLM.from_pretrained(model_id)

inputs = tokenizer("What is OpenVINO?", return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)