vs-mlrt

本项目为各种平台提供VapourSynth ML滤镜运行时：

• x86 CPU：vsov-cpu，vsort-cpu
• Intel GPU（集成和独立）：vsov-gpu，vsncnn-vk
• NVidia GPU：vsort-cuda，vstrt，vsncnn-vk
• AMD GPU：vsncnn-vk

为简化使用，我们还提供了一个Python封装 vsmlrt.py，适用于所有捆绑模型，并提供统一接口来选择不同后端。

请参阅wiki了解支持的模型和使用信息。

vsov：基于OpenVINO的纯CPU和Intel GPU运行时

OpenVINO是由Intel开发的AI推理运行时，主要针对x86 CPU和Intel GPU。

vs-openvino插件为一些流行的AI滤镜提供了优化的纯CPU和Intel GPU运行时。Intel GPU支持Broadwell+上的Gen 8+和Arc系列GPU。

安装时，下载最新版本并将其解压到VS的plugins目录中。

详情请访问vsov目录。

vsort：基于ONNX Runtime的CPU/GPU运行时

ONNX Runtime是一个拥有多个后端的AI推理运行时。

vs-onnxruntime插件为一些流行的AI滤镜提供了优化的CPU和CUDA GPU运行时。

安装时，下载最新版本并将其解压到VS的plugins目录中。

详情请访问vsort目录。

vstrt：基于TensorRT的GPU运行时

TensorRT是一个针对NVidia GPU高度优化的AI推理运行时。它使用基准测试为您的特定GPU找到最佳内核，因此在您将要使用vstrt滤镜的机器上，需要额外的步骤从ONNX网络构建引擎，这个额外步骤使得部署模型比其他运行时稍微困难一些。然而，最终的性能通常比vsort的CUDA后端要好得多。

安装时，下载最新版本并将其解压到VS的plugins目录中。

详情请访问vstrt目录。

vsncnn：基于NCNN的GPU（Vulkan）运行时

ncnn是一个流行的AI推理运行时。vsncnn为一些AI滤镜提供了基于vulkan的运行时。它包括支持即时将ONNX转换为ncnn原生格式，以便为本项目提供的所有运行时提供统一接口。由于它使用设备无关的Vulkan接口进行GPU加速推理，该插件支持所有提供Vulkan接口的GPU（NVidia、AMD、Intel集成和独立GPU都提供此接口）。另一个好处是它比其他GPU运行时占用的空间要小得多（vsort和vstrt的CUDA后端都需要>1GB的CUDA库）。主要缺点是速度较慢。

安装时，下载最新版本并将其解压到VS的plugins目录中。

详情请访问vsncnn目录。