intel-extension-for-pytorch

Intel® Extension for PyTorch* 项目介绍

项目概述

Intel® Extension for PyTorch* 是一个旨在提高 PyTorch* 在英特尔硬件上性能的扩展。该扩展通过先进的优化技术使 PyTorch* 能够充分利用英特尔最新的硬件特性。这包括针对 Intel® Advanced Vector Extensions 512 (Intel® AVX-512) 向量神经网络指令 (VNNI) 和 Intel® Advanced Matrix Extensions (Intel® AMX) 的优化，适用于英特尔 CPU。此外，在英特尔的独立 GPU 上，利用 Intel X<sup>e</sup> Matrix Extensions (XMX) AI 引擎进行优化，并通过 PyTorch* 的 xpu 设备实现简单的 GPU 加速。

主要特点

增强性能：通过利用英特尔的硬件特性，提升模型的计算速度和性能。
支持最新的模型优化：提供针对大型语言模型（LLM）和生成式 AI（GenAI）工作负载的特别优化。
模块级优化：从 2.3.0 版本开始，引入了模块级优化 API，能够为常用的 LLM 模块和功能提供优化替代方案。

ipex.llm - 大型语言模型优化

随着生成式 AI 需求的增加，大型语言模型 (LLM) 逐渐成为主流。自 2.1.0 版本起，该扩展针对部分 LLM 引入了特定优化，以实现更优的性能表现。优化的模型列表包括多个知名的模型家族，如 LLAMA、GPT-J、FALCON 和 OPT 等。这些模型在浮点数 (FP32)、半精度浮点数 (BF16) 和不同的量化精度（如 INT8 和 INT4）下均得到了优化支持。