NVTabular

NVTabular

NVTabular是一个专为表格数据设计的特征工程和预处理库，旨在轻松处理TB级数据集并训练基于深度学习的推荐系统。它提供了高级抽象以简化代码，并使用RAPIDS Dask-cuDF库在GPU上加速计算。

NVTabular是NVIDIA Merlin的一个组件，这是一个用于构建和部署推荐系统的开源框架，与其他Merlin组件（包括Merlin Models、HugeCTR和Merlin Systems）协同工作，在GPU上提供端到端的推荐系统加速。借助NVIDIA的Triton推理服务器，训练期间对数据执行的特征工程和预处理步骤可以在推理过程中自动应用于传入的数据。

优势

在训练深度学习推荐系统时，数据科学家和机器学习工程师面临以下挑战：

• 海量数据集：商业推荐系统通常需要在数TB规模的巨大数据集上进行训练。
• 复杂的数据特征工程和预处理流程：数据集需要经过预处理和转换才能用于深度学习模型和框架。此外，特征工程会从现有特征创建大量新特征，需要多次迭代才能得到最佳解决方案。
• 输入瓶颈：如果数据加载未经过良好优化，可能成为训练过程中最慢的环节，导致GPU等高吞吐量计算设备利用率不足。
• 大量重复实验：整个数据工程、训练和评估过程可能重复且耗时，需要大量计算资源。

NVTabular缓解了这些挑战，帮助数据科学家和机器学习工程师：

• 处理超出GPU和CPU内存的数据集，无需担心规模问题。
• 通过操作级别的抽象，专注于如何处理数据，而不是如何实现。
• 快速轻松地准备数据集进行实验，以便训练更多模型。
• 通过提供更快的数据集转换，部署模型到生产环境。

在NVTabular的核心功能文档中了解更多信息。

性能

在单个V100 32GB GPU上运行NVTabular处理Criteo 1TB点击日志数据集时，特征工程和预处理能在13分钟内完成。此外，在配备八个V100 GPU的DGX-1集群上运行NVTabular时，特征工程和预处理能在3分钟内完成。结合HugeCTR，可以在仅6分钟内处理数据集并完成完整模型训练。

Criteo DRLM工作流的性能也展示了NVTabular库的有效性。原始的Numpy ETL脚本需要超过5天才能完成。加上CPU训练，总迭代时间超过一周。通过在Spark中优化ETL代码并在DGX-1等效集群上运行，特征工程和预处理的完成时间缩短至3小时。同时，训练在1小时内完成。

安装

NVTabular需要Python 3.7+版本。此外，GPU支持要求：

• CUDA 11.0+版本
• NVIDIA Pascal或更新的GPU（计算能力>=6.0）
• NVIDIA驱动450.80.02+
• Linux或WSL

使用Conda安装NVTabular

可以通过Anaconda从nvidia通道安装NVTabular，运行以下命令：

conda install -c nvidia -c rapidsai -c numba -c conda-forge nvtabular python=3.7 cudatoolkit=11.2

使用Pip安装NVTabular

可以通过pip安装NVTabular，运行以下命令：

pip install nvtabular

使用Pip安装NVTabular会导致NVTabular仅在CPU上运行，并可能需要手动安装额外的依赖项。 当您在我们的Docker容器中运行NVTabular时，依赖项已预先安装。

使用Docker安装NVTabular

NVTabular Docker容器可在NVIDIA Merlin容器仓库获取。 下表总结了容器的关键信息：

要使用这些Docker容器，您首先需要安装NVIDIA Container Toolkit以为Docker提供GPU支持。您可以使用上表中引用的NGC链接获取有关如何启动和运行这些容器的更多信息。要获取有关NVTabular每个容器支持的软件和模型版本的更多信息，请参阅支持矩阵。

笔记本示例和教程

我们提供了一系列示例集合，以Jupyter笔记本的形式展示NVTabular的特征工程：

• NVTabular高级API简介
• NVTabular的高级工作流
• CPU上的NVTabular
• 将NVTabular扩展到多GPU系统

此外，NVTabular在其他Merlin库的许多示例中也有使用：

• Merlin端到端示例
• Merlin Models训练示例
• Transformer4Rec训练示例

反馈和支持

如果您想直接为库贡献代码，请参阅Contributing.md。我们特别欢迎对特征工程和预处理操作的贡献或功能请求。为了进一步推进我们的Merlin路线图，我们鼓励您在这个调查中分享有关您的推荐系统管道的所有详细信息。

如果您想了解更多关于NVTabular的工作原理，请参阅我们的NVTabular文档。我们还提供了API文档，概述了库中可用调用的具体细节。