HybridBackend

HybridBackend是一个高性能框架，用于在异构集群上训练宽深推荐系统。

特性

• 内存高效的分类数据加载
• GPU高效的嵌入层编排
• 通信高效的大规模训练和评估
• 易于与现有AI工作流集成使用

使用方法

最小示例：

import tensorflow as tf
import hybridbackend.tensorflow as hb

ds = hb.data.Dataset.from_parquet(filenames)
ds = ds.batch(batch_size)
# ...

with tf.device('/gpu:0'):
  embs = tf.nn.embedding_lookup_sparse(weights, input_ids)
  # ...

更多信息请参阅文档。

安装

方法1：从PyPI安装

pip install {PACKAGE}

方法2：从源代码构建

参见构建说明。

我们还为最新的DeepRec提供了构建好的Docker镜像： registry.cn-shanghai.aliyuncs.com/pai-dlc/hybridbackend:1.0.0-deeprec-py3.6-cu114-ubuntu18.04

许可证

HybridBackend采用Apache 2.0许可证。

社区

• 在首次贡献之前，请参阅贡献指南。

• 如果您的组织有兴趣采用，请注册为采用者。我们将提前与注册的采用者讨论路线图。

• 如果HybridBackend对您的研究有帮助，请在您的出版物中引用HybridBackend：

  @inproceedings{zhang2022picasso,
    title={PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems},
    author={Zhang, Yuanxing and Chen, Langshi and Yang, Siran and Yuan, Man and Yi, Huimin and Zhang, Jie and Wang, Jiamang and Dong, Jianbo and Xu, Yunlong and Song, Yue and others},
    booktitle={2022 IEEE 38th International Conference on Data Engineering (ICDE)},
    year={2022},
    organization={IEEE}
  }

联系我们

如果您想与他人分享您的使用经验，欢迎通过钉钉联系我们：