TensorRTx

TensorRTx 旨在使用 TensorRT 网络定义 API 实现流行的深度学习网络。

为什么我们不使用解析器（ONNX 解析器、UFF 解析器、caffe 解析器等），而是使用复杂的 API 从头开始构建网络？我总结了以下几个方面的优势：

• 灵活性，易于修改网络、添加/删除层或输入/输出张量、替换层、合并层、将预处理和后处理集成到网络中等。
• 可调试性，以增量开发方式构建整个网络，易于获取中间层结果。
• 教育意义，在开发过程中了解网络结构，而不是将一切视为黑盒。

TensorRTx 的基本工作流程是：

1. 从 pytorch、mxnet 或 tensorflow 等获取训练好的模型。一些 pytorch 模型可以在我的仓库 pytorchx 中找到，其余的来自流行的开源仓库。
2. 将权重导出到纯文本文件 -- .wts 文件。
3. 在 TensorRT 中加载权重，定义网络，构建 TensorRT 引擎。
4. 加载 TensorRT 引擎并运行推理。

新闻

• 2024年7月29日。mpj1234：在 TensorRT 10.x API 中检查 YOLOv5、YOLOv8 和 YOLOv10，分支 → trt10
• 2024年7月29日。mpj1234：YOLOv10
• 2024年6月21日。WuxinrongY：YOLOv9-T、YOLOv9-S、YOLOv9-M
• 2024年4月28日。lindsayshuo：YOLOv8-pose
• 2024年4月22日。B1SH0PP：EfficientAd：在毫秒级延迟下实现准确的视觉异常检测。
• 2024年4月18日。lindsayshuo：YOLOv8-p2
• 2024年3月12日。lindsayshuo：YOLOv8-cls
• 2024年3月11日。WuxinrongY：YOLOv9：使用可编程梯度信息学习你想学习的内容
• 2024年3月7日。AadeIT：CSRNet：用于理解高度拥挤场景的空洞卷积神经网络
• 2023年10月17日。Rex-LK：YOLOv8-Seg
• 2023年6月30日。xiaocao-tian 和 lindsayshuo：YOLOv8
• 2023年3月1日。Nengwp：RCNN 和 UNet 升级以支持 TensorRT 8。
• 2022年12月18日。YOLOv5 升级以支持 v7.0，包括实例分割。
• 2022年12月12日。East-Face：UNet 升级以支持 Pytorch-UNet 的 v3.0 版本。
• 2022年10月26日。ausk：YoloP（用于全景驾驶感知的一次性查看）。

教程

• 如何贡献
• 安装依赖项
• 快速入门指南，以 lenet5 为例
• .wts 文件内容格式
• 常见问题解答（FAQ）
• 从 TensorRT 4 迁移到 7
• 如何实现多 GPU 处理，以 YOLOv4 为例
• 检查您的 GPU 是否支持 FP16/INT8
• 如何在 Windows 上编译和运行
• 使用 Triton 推理服务器部署 YOLOv4
• 从 pytorch 到 trt 的逐步指南，以 hrnet 为例（中文）

测试环境

1. TensorRT 7.x
2. TensorRT 8.x（部分模型支持 8.x）

如何运行

每个文件夹内都有一个 readme，解释了如何运行其中的模型。

模型

以下模型已实现。

模型库

可以从模型库下载.wts文件以进行快速评估。但建议从pytorch/mxnet/tensorflow模型转换.wts文件，这样您就可以重新训练自己的模型。

Google云盘 | 百度网盘 密码: uvv2

棘手操作

在这些模型中遇到的一些棘手操作，已经解决，但可能有更好的解决方案。

速度基准

欢迎帮助，如果您获得了速度结果，请添加一个问题或PR。

致谢与联系

欢迎任何贡献、问题和讨论，可通过以下方式联系我。

电子邮件：wangxinyu_es@163.com

微信ID：wangxinyu0375（可加我微信进tensorrtx交流群，备注：tensorrtx）