TonY

TonY 项目简介

TonY 是一个专为在 Apache Hadoop 上原生运行深度学习任务而设计的框架。当前，TonY 支持多种常用深度学习框架，包括 TensorFlow、PyTorch、MXNet 和 Horovod。TonY 能够将单节点或分布式训练作为一个 Hadoop 应用程序运行，凭借其原生连接器及多样化功能，TonY 旨在提供可靠而灵活的机器学习任务执行环境。

兼容性说明

TonY 与 Hadoop 2.6.0（CDH5.11.0）及以上版本兼容。如果需要 TonY 提供 GPU 隔离功能，Hadoop 需要升级至 2.10 或更高版本（适用于 Hadoop 2），或 3.1.0 或更高版本（适用于 Hadoop 3）。

构建流程

TonY 使用 Gradle 构建。构建过程会自动运行测试，如不需要运行测试，则可以使用 ./gradlew build -x test 命令。另外，TonY 所需的 Jar 文件将会放置在 ./tony-cli/build/libs/ 目录下。

使用方法

TonY 提供两种启动深度学习任务的方式：

使用压缩过的 Python 虚拟环境。
使用 Docker 容器。

使用压缩的 Python 虚拟环境

这种方式避免了在 Hadoop 群集上设置 Docker 支持的需求。同时，也不需要 Docker 镜像仓库。然而，需要注意的是，TonY 运行的群集的操作系统版本必须与生成 Python 虚拟环境的计算机相同。

示例: 使用 Python 虚拟环境

在这个方法中，用户需要准备一个打包好的虚拟环境文件，并设置相关的 tony.xml 文件以配置任务的运行资源。

MyJob/
  > src/
    > models/
      mnist_distributed.py
  tony.xml
  tony-cli-0.4.7-all.jar
  my-venv.zip

在配置文件中详细指定工作节点实例数量、内存、GPU 使用等参数。任务启动命令如下：

java -cp "`hadoop classpath --glob`:MyJob/*:MyJob" \
    com.linkedin.tony.cli.ClusterSubmitter \
    -executes models/mnist_distributed.py \
    -task_params '--input_dir /path/to/hdfs/input --output_dir /path/to/hdfs/output \
    -python_venv my-venv.zip \
    -python_binary_path Python/bin/python \
    -src_dir src

使用 Docker 容器

使用 Docker 容器需要用户已在群集上正确配置 Docker 支持，并创建包含必要的依赖项如 TensorFlow 或 PyTorch 的 Docker 镜像。同样需要设置任务的 tony.xml 配置文件来启用 Docker 及其相关参数：

MyJob/
  > src/
    > models/
      mnist_distributed.py
  tony.xml
  tony-cli-0.4.7-all.jar

例子命令如下：

java -cp "`hadoop classpath --glob`:MyJob/*:MyJob/" \
    com.linkedin.tony.cli.ClusterSubmitter \
    -executes models/mnist_distributed.py \
    -task_params '--input_dir /path/to/hdfs/input --output_dir /path/to/hdfs/output' \
    -src_dir src \
    -python_binary_path /home/user_name/python_virtual_env/bin/python