中文翻译文档

2023年9月27日增加 TensorRT 8.5.3 的中文翻译文档，使用 ChatGPT 翻译并精心校对，涵盖第1-2章

建议观看最新视频版本！列表如下

[《TensorRT 教程（一）如何选择 TensorRT 版本》][21]
[《TensorRT 教程（二）编译 TensorRT 的开源源代码》][22]
[《TensorRT 教程（3.1）解析 TensorRT 文档-基本使用》][23]
[《TensorRT 教程（3.2）解析 TensorRT 文档-TRT 可借鉴的代码示例》][24]
[《TensorRT 教程（3.3.1）plugin 示例和原理》][25]
[《TensorRT 教程（3.3.2）如何构建自己的 plugin 库》][26]
[《TensorRT plugin 16 条加速经验》][27]
视频版资料请查看目录-视频版资料

进度记录

2017-04-27 项目启动，创建 GitHub 仓库。
2017-09-30 TensorRT 3 最近发布，整理当前资源。
2017-10-18 新增博客-使用 TensorRT 实现 leaky relu 层
2017-11-11 资源：新增 Google 的 INT8 开源库
2017-11-25 新增博客-TensorRT Plugin 使用方法简介-以 leaky relu 层为例
2020-8-31 新增博客《TensorRT Github 开源部分介绍》
2020-9-7 新增博客《TensorRT 可借鉴代码汇总》
2022-11-2 新增博客《Conformer Encoder GPU 加速策略全面汇总》
2022-11-2 新增博客《TensorRT 转换模型的几种方式比较》

资源整理

[TensorRT 3 RC][1]和[TensorRT 2.1][2] 下载链接
[TensorRT 2.1 官方在线文档][3]
NVIDIA 介绍 TensorRT 的博客-[使用 NVIDIA TensorRT 部署深度神经网络][4]
GTC 2017 介绍 TensorRT 的[PPT][5]和[视频][6]，包含 INT8 量化和校准的实现原理。
新增 cublas 和 cudnn 的 INT8 [演示][7]
新增本人在 GTC China 2017 Community Corner 主题 NVIDIA INT8 的 PPT，[GTC-China-2017-NVIDIA-INT8.pdf][8]
新增 Google 的 INT8 开源库 [gemmlowp][9]，目前支持 ARM 和 CPU 优化
"子棐之 GPGPU"公众号撰写的《TensorRT 系列》博客，由 NVIDIA 工程师撰写，从入门篇到 INT8 篇再到 FP16 篇最后以 Custom Layer 篇收尾，内容逻辑清晰，干货丰富，令人叹服。附四篇博客链接：[TensorRT 系列之入门篇][10]，[TensorRT 系列之 INT8 篇][11]，[TensorRT 系列之 FP16 篇][12]，[TensorRT 系列之 Custom Layer 篇][13]。
[《高性能深度学习支持引擎实战——TensorRT》][14]，主要内容：一、TensorRT 理论介绍：基础介绍 TensorRT 是什么；做了哪些优化；为什么在已有框架的基础上还需要 TensorRT 的优化引擎。二、TensorRT 高级介绍：对于进阶用户，当遇到 TensorRT 不支持的网络层时该如何处理；

博客

[使用 TensorRT 实现 leaky relu 层][15]
[TensorRT Plugin 使用方法简介-以 leaky relu 层为例][16]

TensorRT 教程

TensorRT 作为 NVIDIA 推出的 C++ 库，能够实现高性能推理（inference）过程。最近，NVIDIA 发布了 TensorRT 2.0 Early Access 版本，重大更新是支持 INT8 类型。在当今深度学习盛行的时代，INT8 在缩小模型大小、加速运行速度方面具有巨大优势。Google 新发布的 TPU 就采用了 8 位数据类型。

本人目前正在使用 TensorRT 进行 INT8 的探索。曾因 TensorRT 文档不完善而遇到困难。因此，我想自己编写一个 TensorRT 教程，主要包括三部分：