弃用通知

VPF正在被PyNvVideoCodec库取代，该库具有更精简的API和pip install支持。这个库提供了易于使用的Python API，可以访问Video Codec SDK的核心C/C++视频编码/解码功能。

PyNvVideoCodec库以两种格式分发：通过PyPI的二进制分发和通过NVIDIA NGC的源代码分发。在这两种情况下，都可以使用单个pip install命令进行安装。该库在MIT许可下分发，并由NVIDIA官方支持。PyNvVideoCodec支持VPF的所有功能（除了软件编码/解码和表面格式转换）。

欲了解更多信息，请访问PyNvVideoCodec入门页面。

我们要感谢Roman Arzumanyan，VPF的原作者，感谢他多年来的支持和努力。Roman将继续在VALI上工作，该项目也利用NVIDIA GPU。

---

视频处理框架

VPF代表视频处理框架。它是一组C++库和Python绑定，为视频处理任务提供全硬件加速，如解码、编码、转码和GPU加速的色彩空间和像素格式转换。

VPF还支持将GPU内存对象（如解码后的视频帧）导出到PyTorch张量，无需主机到设备的复制。

先决条件

VPF在Linux（仅Ubuntu 20.04和Ubuntu 22.04）和Windows上运行

• NVIDIA显示驱动程序：525.xx.xx或以上

• CUDA工具包11.2或以上

  • CUDA工具包附带驱动程序，例如CUDA工具包12.0附带驱动程序530.xx.xx。在安装CUDA工具包时，您可以选择安装或跳过安装附带的驱动程序。请选择适当的选项。

• FFMPEG

  • 编译带共享库的FFMPEG
  • 或从您信任的来源下载预编译的二进制文件。
    • 在VPF的"pip install"（在下面的章节中提到）期间，您需要提供FFMPEG安装目录的路径。
  • 或者您可以安装系统FFMPEG包（例如，在Ubuntu上运行apt install libavfilter-dev libavformat-dev libavcodec-dev libswresample-dev libavutil-dev）

• Python 3及以上版本

• 通过Visual Studio或Visual Studio工具安装C++工具链。

  • 推荐版本是Visual Studio 2017及以上版本 （仅限Windows）

Linux

我们推荐Ubuntu 20.04，因为它附带了足够新的FFmpeg系统包。 如果您想从源代码构建FFmpeg，可以按照以下链接进行操作： https://docs.nvidia.com/video-technologies/video-codec-sdk/12.0/ffmpeg-with-nvidia-gpu/index.html

# 安装依赖项
apt install -y \
          libavfilter-dev \
          libavformat-dev \
          libavcodec-dev \
          libswresample-dev \
          libavutil-dev\
          wget \
          build-essential \
          git

# 安装CUDA工具包（如果尚未安装）
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get install -y cuda
# 确保将nvcc添加到您的$PATH（通常CUDA安装已经完成此操作）
export PATH=/usr/local/cuda/bin:$PATH

# 安装VPF
pip3 install git+https://github.com/NVIDIA/VideoProcessingFramework
# 或者如果您克隆了此仓库
pip3 install .

要检查VPF是否正确安装，请运行以下Python脚本

import PyNvCodec

如果通过Nvidia Container Runtime使用Docker， 请确保启用video驱动程序功能：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/user-guide.html#driver-capabilities 可以通过容器中的NVIDIA_DRIVER_CAPABILITIES环境变量或--gpus命令行参数来实现（例如 docker run -it --rm --gpus 'all,"capabilities=compute,utility,video"' nvidia/cuda:12.1.0-base-ubuntu22.04）。

请注意，一些示例有额外的依赖项需要通过pip安装（pip install .[samples]）。 使用PyTorch的示例将需要一个可选扩展，可以通过以下方式安装

pip install src/PytorchNvCodec  # 如果需要，安装Torch扩展（可选），需要先安装"torch"

解决这些问题后，您应该能够使用本地pip安装运行make run_samples_without_docker。

Windows

• 通过Visual Studio或Visual Studio工具安装C++工具链（https://visualstudio.microsoft.com/downloads/）
• 安装CUDA工具包：https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64
• 编译带共享库的FFMPEG或从您信任的来源下载预编译的二进制文件
• 在Powershell控制台中，从此仓库的根目录安装，指明已编译FFMPEG的位置

# 指明FFMPEG安装路径（包含"bin"子文件夹中的DLL、"include"和"lib"）
$env:SKBUILD_CONFIGURE_OPTIONS="-DTC_FFMPEG_ROOT=C:/path/to/your/ffmpeg/installation/ffmpeg/" 
pip install .

要检查VPF是否正确安装，请运行以下Python脚本

import PyNvCodec

请注意，一些示例有额外的依赖项（pip install .[samples]）需要通过pip安装。 使用PyTorch的示例将需要一个可选扩展，可以通过以下方式安装

pip install src/PytorchNvCodec  # 如果需要，安装Torch扩展（可选），需要先安装"torch"

Docker

为了方便起见，我们提供了位于docker的Docker镜像，您可以使用它轻松安装所有示例的依赖项（需要安装docker和nvidia-docker）

DOCKER_BUILDKIT=1 docker build \
                --tag vpf-gpu \
                -f docker/Dockerfile \
                --build-arg PIP_INSTALL_EXTRAS=torch \
                .
docker run -it --rm --gpus=all vpf-gpu

PIP_INSTALL_EXTRAS可以是pyproject.toml中project.optional-dependencies下列出的任何子集。

文档

可以从此仓库生成视频处理框架的文档：

pip install . # 安装视频处理框架
pip install src/PytorchNvCodec  # 如果需要，安装Torch扩展（可选），需要先安装"torch"
pip install sphinx  # 安装文档工具sphinx
cd docs
make html

然后您可以用浏览器打开_build/html/index.html。

社区支持

如果您没有找到所需的信息，或者有进一步的问题或问题，欢迎加入NVIDIA的开发者社区。我们有专门的类别涵盖与视频处理和编解码器相关的各种主题。

论坛也是一个我们很乐意听到您如何在项目中使用VPF的地方。