Olive

Olive 是一个易于使用的硬件感知模型优化工具，它结合了业界领先的模型压缩、优化和编译技术。给定一个模型和目标硬件，Olive 会组合最合适的优化技术，输出最高效的模型，用于云端或边缘推理，同时考虑准确性和延迟等一系列约束条件。

由于每个 ML 加速器供应商都实现了自己的加速工具链以充分利用其硬件，因此硬件感知优化是分散的。通过 Olive，我们可以：

减少为云端和边缘优化模型的工程工作：开发人员需要学习和使用多个硬件供应商特定的工具链来准备和优化他们的训练模型以进行部署。Olive 旨在通过聚合和自动化所需硬件目标的优化技术来简化这一体验。

构建统一的优化框架：鉴于没有单一的优化技术能够很好地适用于所有场景，Olive 提供了一个可扩展的框架，允许业界轻松插入他们的优化创新。Olive 可以高效地组合和调整集成技术，提供即用型的端到端优化解决方案。

新闻

• [ 2024年3月 ] 使用 Microsoft Olive 微调 SLM
• [ 2024年1月 ] 使用 ONNX Runtime 和 Olive 加速 SD Turbo 和 SDXL Turbo 推理
• [ 2023年12月 ] Windows AI Studio - 使用 Olive 微调模型的 VS Code 扩展
• [ 2023年11月 ] 通过新的 AI 工具和生产力工具提升 Windows 开发者体验
• [ 2023年11月 ] 使用 Olive 加速 LLaMA-2 推理与 ONNX Runtime
• [ 2023年11月 ] Olive 0.4.0 发布，支持 LoRA 微调和 Llama2 优化
• [ 2023年11月 ] 英特尔和微软合作使用 Olive 优化 Intel® Arc™ 显卡解决方案的 DirectML
• [ 2023年11月 ] 在 AMD Radeon 显卡上运行 Olive 优化的 Llama2 与 Microsoft DirectML
• [ 2023年10月 ] AMD Microsoft Olive 优化 Stable Diffusion 性能分析
• [ 2023年9月 ] 在 AMD GPU 上运行优化的 Automatic1111 Stable Diffusion WebUI
• [ 2023年7月 ] 使用 Olive 为 NPU 构建加速 AI 应用
• [ 2023年6月 ] Olive：用户友好的硬件感知模型优化工具链
• [ 2023年5月 ] 使用 Olive 优化 DirectML 性能
• [ 2023年5月 ] 使用 Olive 优化 Stable Diffusion

入门和资源

• 文档：https://microsoft.github.io/Olive
• 示例：examples

安装

我们建议在虚拟环境或conda 环境中安装 Olive。Olive 使用 pip 安装。

创建所需 Python 版本的虚拟/conda 环境并激活它。

你需要安装 onnxruntime 的构建版本。你可以单独安装所需的构建，但在 Olive 安装过程中也可以将公共版本的 onnxruntime 作为额外依赖项安装。

使用 pip 安装

Olive 可从 PyPI 安装。

pip install olive-ai

安装 onnxruntime（默认 CPU）：

pip install olive-ai[cpu]

安装 onnxruntime-gpu：

pip install olive-ai[gpu]

安装 onnxruntime-directml：

pip install olive-ai[directml]

可选依赖项

Olive 有一些可选依赖项，可以安装它们以启用额外功能。请参考 Olive 包配置 了解额外功能及其依赖项列表。

流水线状态

贡献

我们非常欢迎您对 Olive 做出贡献。请参阅 CONTRIBUTING.md。

许可证

版权所有 (c) Microsoft Corporation。保留所有权利。

根据 MIT 许可证授权。