BigDL-2.x

BigDL-2.x 项目详细介绍

BigDL-2.x 项目旨在简化数据分析和人工智能应用，从笔记本电脑到云端的无缝扩展。它包含多个功能强大的库，下面将为大家做详细介绍。

项目概述

BigDL 是一套用于扩展数据分析和人工智能应用的库，提供了以下组件：

• LLM （已弃用，请使用 IPEX-LLM）：针对英特尔 CPU 和 GPU 优化的大型语言模型库。
• Orca：在 Spark 和 Ray 上的分布式大数据和 AI（TF 和 PyTorch）管道。
• Nano：在英特尔 CPU/GPU 上透明加速 Tensorflow 和 PyTorch 程序。
• DLlib：深度学习的 Spark MLlib 等效库。
• Chronos：使用 AutoML 进行可扩展的时间序列分析。
• Friesian：端到端推荐系统。
• PPML：安全的大数据和 AI（支持 SGX/TDX 硬件安全）。

库的选择

BigDL 提供了一个选择库的指导流程，帮助用户找到合适的工具来完成特定任务。其中考虑了硬件安全性、编程语言、应用类型等因素。

安装指南

要安装 BigDL，建议使用 conda 环境：

conda create -n my_env
conda activate my_env
pip install bigdl

可以通过 pip install --pre --upgrade bigdl 安装最新的夜间构建版本。对于每个库（如 Chronos），可以单独安装，例如：pip install bigdl-chronos。

库功能介绍

Orca

Orca 库能够将单节点的 TensorFlow、PyTorch 或 OpenVINO 程序无缝扩展到大规模集群，处理分布式大数据。例如，可以通过四个简单步骤来构建端到端的分布式数据处理和 AI 程序，并支持在 Spark 集群上运行标准的 Ray 程序。

Nano

Nano 可以在笔记本或服务器上透明地加速 TensorFlow 或 PyTorch 程序。它通过应用现代 CPU 优化技术，提供最多达10倍的加速效果，几乎无需修改代码。

DLlib

DLlib 提供了 Scala 或 Python 环境下的分布式深度学习，可以使用 Spark 的标准 DataFrame 和 ML Pipeline API 构建应用。

Chronos

Chronos 提供了一套简单快捷的方法来构建快速、精准、可扩展的时间序列分析应用，并支持自动化机器学习（AutoML）。通过三步即可训练一个时间序列预测模型。

Friesian

Friesian 库简化了大规模推荐系统的端到端构建，包括离线特征转换和训练、接近实时的特征和模型更新，以及在线服务管道。

PPML

BigDL PPML 提供了基于Intel SGX硬件保护的可信集群环境，支持在私有或公有云上安全地运行分布式大数据和 AI 应用。

支持与联系

用户可以通过邮件列表和 GitHub issues 提交问题和反馈，获取相关支持。

引用信息

如果 BigDL 对您的项目有帮助，欢迎引用相关文献。例如，BigDL 2.0 在《2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》中的论文说明了其将 AI 管道从笔记本电脑无缝扩展到分布式集群的能力。