TensorRT

TensorRT

提升PyTorch推理效率的工具

Torch-TensorRT将TensorRT的强大功能引入PyTorch,用户仅需一行代码即可显著提升推理性能。该工具支持在多个平台上安装,包括PyPI和NVIDIA NGC PyTorch容器。通过torch.compile或导出式工作流,用户可以高效优化和部署模型。Torch-TensorRT依赖CUDA和TensorRT,与Linux和Windows等多种平台兼容。提供丰富资源,包括教程、工具和技术讲座,供用户学习使用。

Torch-TensorRTPyTorchCUDATensorRT安装Github开源项目