optimum

Hugging Face Optimum 项目介绍

项目概述

Hugging Face Optimum 是一个由 🤗 Transformers 和 Diffusers 扩展而来的优化工具集。其目标是为指定硬件的模型训练和运行提供最大效率，同时确保使用简便。不同于其他工具，Optimum 为用户提供了一个整合多种加速器的工具包，使得模型优化变得更加高效和便捷。

安装指南

Optimum 可以通过 pip 轻松安装：

python -m pip install optimum

如果你需要利用特定加速器的功能，可以根据下表安装相应的依赖：

ONNX Runtime: pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]
Intel Neural Compressor: pip install --upgrade --upgrade-strategy eager optimum[neural-compressor]
OpenVINO: pip install --upgrade --upgrade-strategy eager optimum[openvino]
NVIDIA TensorRT-LLM: docker run -it --gpus all --ipc host huggingface/optimum-nvidia
AMD Instinct GPUs 和 Ryzen AI NPU: pip install --upgrade --upgrade-strategy eager optimum[amd]
AWS Trainum & Inferentia: pip install --upgrade --upgrade-strategy eager optimum[neuronx]
Habana Gaudi Processor: pip install --upgrade --upgrade-strategy eager optimum[habana]
FuriosaAI: pip install --upgrade --upgrade-strategy eager optimum[furiosa]

安装时使用 --upgrade --upgrade-strategy eager 选项可以确保不同软件包被升级到最新版本。

想从源码安装，可以使用以下命令：

python -m pip install git+https://github.com/huggingface/optimum.git

对于加速器特定的功能，只需附加 optimum[accelerator_type] 到命令末尾。

加速推理

Optimum 提供了多种工具来在不同生态系统上导出和运行优化模型：

ONNX 和 ONNX Runtime
TensorFlow Lite
OpenVINO
Habana Gaudi
AWS Inferentia
NVIDIA TensorRT-LLM

模型的导出和优化既可以通过编程实现，也可以用命令行完成。

功能概要

Optimum 在以下特性上提供支持：

图优化
动态量化
静态量化
量化感知训练
半精度 (FP16)
剪枝
知识蒸馏

OpenVINO 使用示例

安装必要的库：

pip install --upgrade --upgrade-strategy eager optimum[openvino]

将 Transformer 和 Diffusers 模型导出为 OpenVINO 格式：

optimum-cli export openvino --model distilbert-base-uncased-finetuned-sst-2-english distilbert_sst2_ov

ONNX 和 ONNX Runtime 使用示例

安装必要的库：

pip install optimum[exporters,onnxruntime]

将模型导出为 ONNX 格式并优化：

optimum-cli export onnx -m deepset/roberta-base-squad2 --optimize O2 roberta_base_qa_onnx

使用 ONNX Runtime 进行量化：

optimum-cli onnxruntime quantize \
  --avx512 \
  --onnx_model roberta_base_qa_onnx \
  -o quantized_roberta_base_qa_onnx

加速训练

Optimum 提供了对 Transformer Trainer 的封装，以便在强大硬件上轻松进行训练。支持的硬件包括：

Habana Gaudi 处理器
AWS Trainium 实例
ONNX Runtime

例如，可以使用 Habana 进行训练：

pip install --upgrade --upgrade-strategy eager optimum[habana]

- from transformers import Trainer, TrainingArguments
+ from optimum.habana import GaudiTrainer, GaudiTrainingArguments

  model = AutoModelForXxx.from_pretrained("bert-base-uncased")
- training_args = TrainingArguments(
+ training_args = GaudiTrainingArguments(
      output_dir="path/to/save/folder/",
+     use_habana=True,
+     use_lazy_mode=True,
+     gaudi_config_name="Habana/bert-base-uncased",
      ...
  )
- trainer = Trainer(
+ trainer = GaudiTrainer(
      model=model,
      args=training_args,
      train_dataset=train_dataset,
      ...
  )

  trainer.train()