models

Merlin 模型

GitHub 许可证

Merlin Models 库提供了推荐系统的标准模型，旨在提供从经典机器学习模型到高度先进的深度学习模型的高质量实现。

该库的目标是让业界用户能够轻松地训练和部署已经内置最佳实践的推荐模型。该库简化了业界用户如何针对自己的数据集训练标准模型，并将高性能、GPU 加速的模型投入生产的过程。该库还使研究人员能够通过整合深度学习推荐模型的标准组件来构建自定义模型，然后研究人员可以在示例离线数据集上对新模型进行基准测试。

在我们的初始版本中，Merlin Models 提供了 TensorFlow API。PyTorch API 已启动，但尚未完成。我们在 Transformer4Rec 库中为基于 transformer 的会话推荐系统提供了 PyTorch 支持。

Merlin Models 的优势

推荐系统模型实现 - 该库为推荐模型的经典和最先进的深度学习架构提供了高级 API。这些模型包括检索模型（如矩阵分解、双塔模型、YouTube DNN 等）和排序模型（如 DLRM、DCN-v2、DeepFM 等）。

构建模块 - 在 Merlin Models 中，推荐模型是基于可重用的构建模块构建的。这种设计使得组合这些模块来定义新的架构变得容易。该库提供了模型定义模块（MLP 层、分解层、输入模块、负采样器、损失函数）、训练模型（从 Parquet 文件加载数据）和评估（如排序指标）。

与 Merlin 平台的集成 - Merlin Models 与其他 Merlin 组件深度集成。例如，模型依赖于 NVTabular 进行预处理，并可以轻松地与 Merlin Systems 集成以进行推理。经过精心设计的集成使得构建高性能的端到端推荐系统流程变得简单直观。

Merlin Models 数据加载器 - Merlin 提供了与常见深度学习框架（如 TensorFlow、PyTorch 和 HugeCTR）的无缝集成。在训练深度学习推荐系统模型时，数据加载可能成为瓶颈。为了解决这个挑战，Merlin 开发了自定义的、高度优化的数据加载器，以加速现有的 TensorFlow 和 PyTorch 训练流程。Merlin 数据加载器可以使训练流程的速度提高九倍，比使用 GPU 的相同训练流程更快。

使用 Merlin 数据加载器，您可以：

通过一次处理大块数据而不是逐项处理来消除数据加载的瓶颈。
通过从磁盘流式传输来处理不适合 GPU 或 CPU 内存的数据集。
异步地将批次准备到 GPU 中，以避免 CPU 到 GPU 的通信。
通过使用类似的 API，轻松集成到现有的 TensorFlow 或 PyTorch 训练流程中。

要了解 Merlin Models 的核心功能，请参阅模型概述页面。

安装

使用 Pip 安装 Merlin Models

可以通过运行以下命令使用 pip 安装 Merlin Models：

pip install merlin-models

使用pip安装Merlin Models不会安装一些额外的GPU依赖项，比如CUDA工具包。当您在我们的Docker容器中运行Merlin Models时，这些依赖项已经预先安装好了。

包含Merlin Models的Docker容器

Merlin Models已包含在Merlin容器中。

请参阅Merlin容器文档页面，了解Merlin容器名称、NVIDIA GPU云目录中容器镜像的URL以及主要Merlin组件的相关信息。

从源代码安装Merlin Models

可以通过运行以下命令从源代码安装Merlin Models：

git clone https://github.com/NVIDIA-Merlin/models
cd models && pip install -e .

开始使用

Merlin Models使定义能够适应不同输入特征的架构变得简单直观。这种适应性是建立在NVTabular库的核心特性之上的。当您使用NVTabular进行特征工程时，NVTabular会创建一个识别输入特征的模式。您可以通过查看从ETL到训练推荐系统模型 - NVTabular和Merlin Models集成示例示例笔记本来了解Schema对象的实际应用。

您可以轻松构建流行的推荐系统架构，如DLRM，如下面的代码示例所示。定义模型后，您可以使用典型的Keras模型对其进行训练和评估。

import merlin.models.tf as mm
from merlin.io.dataset import Dataset

train = Dataset(PATH_TO_TRAIN_DATA)
valid = Dataset(PATH_TO_VALID_DATA)

model = mm.DLRMModel(
    train.schema,                                                   # 1
    embedding_dim=64,
    bottom_block=mm.MLPBlock([128, 64]),                            # 2
    top_block=mm.MLPBlock([128, 64, 32]),
    prediction_tasks=mm.BinaryClassificationTask(train.schema)      # 3
)

model.compile(optimizer="adagrad", run_eagerly=False)
model.fit(train, validation_data=valid, batch_size=1024)
eval_metrics = model.evaluate(valid, batch_size=1024, return_dict=True)