HBox学习资料汇总 - 大数据和人工智能的便捷高效调度平台

HBox简介

HBox是由360公司开源的一个大数据和人工智能调度平台。它具有以下主要特点:

• 支持多种机器学习和深度学习框架,如TensorFlow、MXNet、Caffe、PyTorch等
• 运行在Hadoop Yarn之上,可以充分利用大数据集群资源
• 支持GPU资源调度
• 可以在Docker中运行
• 提供RESTful API管理接口
• 具有良好的扩展性和兼容性

主要功能

1. 支持多种深度学习框架

HBox不仅支持TensorFlow和MXNet的分布式模式,还支持Caffe、Theano、PyTorch等框架的单机模式。用户可以灵活自定义框架版本。

2. 基于HDFS的统一数据管理

训练数据和模型结果可以保存在HDFS中。HBox支持多种数据读取策略,如Download、Placeholder和InputFormat模式。

3. 可视化展示

HBox提供了友好的Web界面,可以查看容器列表、TensorBoard、模型保存等信息。

4. 兼容原生框架代码

除了TensorFlow分布式模式需要自动构建ClusterSpec外,其他框架的程序可以直接在HBox上执行。

快速入门

1. 编译环境要求:

   • JDK >= 1.8
   • Maven >= 3.6.3

2. 编译方法:

   ./mvnw package
   

3. 部署环境要求:

   • CentOS 7.2
   • Java >= 1.8
   • Hadoop 2.6 -- 3.2 (GPU需要3.1+)

4. 客户端部署: 配置$HBOX_HOME/conf下的hbox-env.sh、hbox-site.xml等文件

5. 提交应用示例:

   $HBOX_HOME/bin/hbox-submit \
      --app-type "tensorflow" \
      --app-name "tf-demo" \
      --input /tmp/data/tensorflow#data \
      --output /tmp/tensorflow_model#model \
      --files demo.py,dataDeal.py \
      --worker-memory 10G \
      --worker-num 2 \
      --worker-cores 3 \
      --ps-memory 1G \
      --ps-num 1 \
      --ps-cores 2 \
      --queue default \
      python demo.py --data_path=./data --save_path=./model --log_dir=./eventLog --training_epochs=10
   

更多资源

• GitHub项目地址
• 中文文档
• 配置说明
• 提交参数说明
• FAQ

HBox为大数据环境下的机器学习和深度学习应用提供了便捷高效的调度平台,欢迎大家使用并贡献代码!