deep-learning-containers

项目介绍：AWS 深度学习容器

什么是AWS深度学习容器？

AWS 深度学习容器（Deep Learning Containers, DLCs）是一组为训练和部署 TensorFlow、TensorFlow 2、PyTorch 和 MXNet 模型而优化的 Docker 镜像。这些容器提供了优化的环境，包含了 NVIDIA CUDA（用于 GPU 实例）和 Intel MKL（用于 CPU 实例）库，并已在 Amazon Elastic Container Registry（Amazon ECR）中发布。

使用场景与优势

AWS 深度学习容器在 Amazon SageMaker 中作为默认的计算环境使用，支持训练、推理、数据转换等任务。这些容器已在 Amazon EC2、Amazon ECS 和 Amazon EKS 等服务的机器学习工作负载中经过测试。

• 自适应各类服务：这些容器不仅支持 SageMaker，还可在 EC2、ECS 和 EKS 平台上顺畅运行。
• 优化性能：集成了 CUDA 和 MKL库，可以发挥 GPU 和 CPU 的最大性能优势。

授权协议

AWS 深度学习容器项目使用 Apache-2.0 许可证发布，smdistributed.dataparallel 和 smdistributed.modelparallel 模块根据 AWS 客户协议发布。

如何开始使用

要开始使用 AWS 深度学习容器，首先需要具备一个 AWS 账户，并设置 AWS 命令行界面（awscli）以便访问账户。此外，您需要安装 Docker 客户端，以便在本地构建和测试容器。

以下是一个简单的示例说明如何在 Amazon 平台上构建和测试 MXNet GPU Python3 训练容器：

1. 访问与设置：确保您拥有 AWS 访问权限，例如配置一个 IAM 用户或 IAM 角色。
2. 创建 ECR 仓库：在一个特定区域（如 us-west-2 区域）创建一个 ECR 仓库。
3. 环境配置：克隆代码库并设置必要的环境变量，安装 Docker 和所需的 Python 库。
4. 构建与测试：通过特定命令构建您的 Docker 镜像，并使用 pytest 框架进行本地测试。

自定义与扩展

• 构建新镜像：通过修改 buildspec.yml 文件，您可以构建各个框架和特定版本的 Docker 镜像。
• 升级框架版本：如果有新的框架版本发布，可以在 buildspec.yml 文件中更新版本信息并重新构建。
• 添加新的组件：您也可以通过修改 Dockerfile 来添加新的 Python 包或其他依赖，从而定制您的深度学习容器。

本地测试

AWS 深度学习容器支持在本地进行测试，以节省资源和时间。在本地测试过程中，可以通过 pytest 运行针对不同平台（如 EC2、ECS 或 EKS）编写的测试文件。

本地测试的具体步骤包括：在本地克隆代码库，安装测试所需依赖，配置测试环境变量，并使用 pytest 执行测试。

结语

AWS 深度学习容器提供了一个强大而灵活的平台，可以加速深度学习模型的开发、训练和部署。这些容器经过优化和验证，适用于各种不同的 AWS 服务和环境，是机器学习和深度学习项目的绝佳辅助工具。