jetson-containers

介绍 jetson-containers 项目

项目概述

Jetson-containers 是一个为 NVIDIA Jetson 设备和 JetPack 系统提供的模块化容器构建系统。它旨在简化和优化在这些设备上运行人工智能和机器学习工作负载的过程。通过这一工具，用户能够轻松地组合不同的软件包来创建适合自己需要的容器。

特性亮点

支持的 AI/ML 软件包

Jetson-containers 支持多种AI和机器学习软件包，涵盖了深度学习框架、语言模型、多视觉模型等方面的应用。部分核心软件包包括：

• ML（机器学习）：如 PyTorch、TensorFlow、ONNX Runtime、JupyterLab 等。
• LLM（大型语言模型）：如 NanoLLM、Transformers、DeepSpeed 等。
• VLM（视觉语言模型）：如 Llava、Llama-Vision、ShapeLLM 等。
• VIT（视觉传导）：如 NanoOWL、NanoSAM 和 Segment Anything (SAM)。
• CUDA：支持 CuPy、PyCUDA、CUDA Python、Numba 等 CUDA 加速库。
• Robotics：如 ROS、LeRobot、OpenVLA 和 MimicGen 等适用于机器人的工具。
• Graphics（图形处理）：如稳定扩散 WebUI 和 Nerfstudio。
• Speech（语音处理）：提供 Whisper、Riva 和 Voicecraft 等语音工具。
• Home/IoT（家庭自动化/物联网）：支持 Home Assistant-Core 和 Wyoming-Whisper 等。

快速构建和运行容器

使用 jetson-containers 提供的工具，用户可以快速构建和运行定制化的容器。例如，用户可以结合 PyTorch、Transformers 和 ROS 构建自己的容器，只需简单命令：

jetson-containers build --name=my_container pytorch transformers ros:humble-desktop

启动容器也非常简便，例如，要运行一个兼容的 l4t-pytorch 镜像，只需：

jetson-containers run $(autotag l4t-pytorch)

如何开始

开始使用 jetson-containers 相对简单。用户需要先设置 Docker 以及调优内存和存储设置。然后进行基本安装：

git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh

用户可以选择自己需要的镜像或容器进行运行，而不必依赖辅助脚本。示例命令如下：

sudo docker run --runtime nvidia -it --rm --network=host dustynv/l4t-pytorch:r36.2.0

项目文档和教程

Jetson-containers 提供了丰富的文档和教程，帮助用户更好地使用该工具进行容器构建和运行。用户可以通过项目页面上的教程来了解更多信息，开始构建自己的 AI/ML 容器。

结语

借助 jetson-containers，用户在 NVIDIA Jetson 平台上进行 AI 和机器学习的应用布署变得简易而高效。通过广泛的包支持和便捷的容器管理工具，其为开发者提供了一个成熟的环境来推进深度学习和物联网的创新应用。