intel-extension-for-transformers

项目介绍

背景概述

Intel® Extension for Transformers 是一款创新的工具包，旨在通过Transformer模型优化性能，提升生成式AI（GenAI）和大型语言模型（LLM）在不同Intel平台上的加速表现。该工具包支持Intel Gaudi2、Intel CPU和Intel GPU等平台，为用户提供了无缝的模型压缩体验。

主要功能

模型压缩和优化

Intel® Extension for Transformers 扩展了 Hugging Face transformers 的API，并利用Intel® Neural Compressor，提供模型压缩功能。它包含先进的软件优化和独特的压缩感知运行时，具有提升CPU上Transformer模型性能的功能。

模型和工作流支持

该工具包优化了多种基于Transformer模型的程序包，例如Stable Diffusion、GPT-J-6B及BLOOM-176B等，并支持从文本到图像转换、文本生成与总结等应用。此外，还提供了SetFit文本分类和文档级别的情感分析等工作流实例。

自定义聊天机器人

你可以使用NeuralChat框架创建定制化聊天机器人。通过丰富的插件集成，如知识检索、语音交互及安全防护等，NeuralChat框架支持在Intel Gaudi2、CPU和GPU上运行。

大语言模型推理

工具包支持在Intel CPU和GPU上进行大语言模型的推理，兼容不同的指令集，从而提高了4代Intel Xeon可扩展处理器的性能。

最新进展

近年来，Intel® Extension for Transformers 项目取得了多项突破：

• 支持Meta Llama 3的发布，与Intel AI解决方案共同加速。
• 在Intel的Meteor Lake平台上支持INT4推理。
• 比较3.1版本，在5代Xeon的MLPerf v4.0提交中，GPT-J推理性能提高1.8倍。
• 支持在Intel Data Center GPU Max系列和Intel Arc A系列GPU上的INT4推理。

验证设备与软件

该工具包已在多种Intel硬件平台上验证，包括但不限于Intel Gaudi2、Xeon可扩展处理器及Intel Core处理器，涵盖了全精度和低位推理支持。在软件方面，包括对各种版本的PyTorch、Intel® Extension for PyTorch和Transformers的兼容性验证。

入门指南

Intel® Extension for Transformers 提供了多样的实例和教程帮助用户快速上手。例如，用户可以通过简单的代码创建自己的聊天机器人，或使用扩展API实现低位推理。此外，利用Langchain扩展API，用户还可以进行检索问答的应用开发。

扩展阅读

项目提供了丰富的文档资源和教程，帮助用户深入理解和应用这些工具。例如：

• Chatbot部署教程：有关在Intel CPU、GPU上部署聊天机器人的详细说明。
• 模型压缩技术文档：包括平滑量化、权重量化和QLoRA等。
• 一系列博客文章与演示视频，展示了Intel平台上AI工具的性能和应用场景。

贡献与合作

欢迎对模型压缩技术和基于LLM的聊天机器人开发有兴趣的开发者们提出想法。Intel期待与大家的合作，为Transformer模型的扩展和应用做出贡献。

Intel® Extension for Transformers不仅在学术界发表了多篇有关高效自然语言处理的论文，还在一系列国际科技活动中展示了其最新成果，进一步推动了AI技术的发展。通过与开源项目的合作，该工具包不断进步和优化，以适应不断变化的人工智能技术需求。