optimum-intel

Optimum Intel 项目介绍

Optimum Intel 是一个为了在 Intel 架构上加速端到端流程而专门设计的接口项目。它将 Hugging Face 的 Transformers 和 Diffusers 库与 Intel 提供的各种工具和库结合在一起，通过优化和改进，实现模型的高效运行。

主要功能

Intel Extension for PyTorch

Intel Extension for PyTorch 是一个开源库，提供了对 PyTorch 的优化，这些优化包括贪婪模式和图模式。与贪婪模式相比，图模式通常能更好地利用优化技术，比如操作融合，来提高性能。

Intel Neural Compressor

Intel Neural Compressor 是一个开源库，支持流行的压缩技术，包括量化、剪枝和知识蒸馏。用户可以很容易地应用这些技术生成符合预期准确度标准的量化模型。它还支持多种权重剪枝技术，帮助创建达到预设稀疏性目标的模型。

OpenVINO

OpenVINO 是一个开源工具包，提供在 Intel CPU、GPU 和特殊 DL 推理加速器上实现高性能推理的能力。Optimum Intel 提供了一个简单的接口来优化 Transformers 和 Diffusers 模型，将其转换为 OpenVINO 中间表示格式，并使用 OpenVINO Runtime 运行推理。

安装指南

要安装最新版本的 Optimum Intel 及其相应的依赖，可以使用 pip 命令。示例安装命令如下：

• 安装 Intel Neural Compressor: pip install --upgrade --upgrade-strategy eager "optimum[neural-compressor]"
• 安装 OpenVINO: pip install --upgrade --upgrade-strategy eager "optimum[openvino]"
• 安装 Intel Extension for PyTorch: pip install --upgrade --upgrade-strategy eager "optimum[ipex]"

建议用户使用虚拟环境来安装这些包，以便于管理和升级。

快速使用指南

Neural Compressor

通过 Optimum 命令行界面可以使用动态量化。例如将 DistilBERT 模型进行量化并保存：

optimum-cli inc quantize --model distilbert-base-cased-distilled-squad --output ./quantized_distilbert

量化模型仅支持 CPU，因此在这个示例中不会使用 GPU/CUDA。

OpenVINO

用户可以导出模型到 OpenVINO 中间表示格式，并在推理阶段实现加速。例如：

optimum-cli export openvino --model gpt2 ov_model

在导出过程中，可以对模型应用 8 位权重量化，从而降低模型复杂度，提高执行效率。

IPEX

用户可以通过替换 AutoModelForXxx 类为相应的 IPEXModelForXxx 类来加载 IPEX 模型优化。这允许应用 IPEX 的运算符优化和图级优化。

实用示例

用户可以在 Optimum Intel 的示例和笔记本目录中查看可用的模型优化和推理加速示例。在每个示例运行之前，需按照项目需求文件安装相应的依赖包。

结语

Optimum Intel 项目为用户提供了一个高效整合、优化和使用多个 Intel 工具和框架的途径，使得在 Intel 硬件上运行的大规模机器学习模型能够更快、更高效地完成任务。无论是研究人员还是开发者，都可以利用这个平台加速模型训练和推理过程。