Shortcuts

Torch-TensorRT

在框架内编译用于NVIDIA GPU的PyTorch推理代码

Torch-TensorRT 是一个用于 PyTorch 的推理编译器,通过 NVIDIA 的 TensorRT 深度学习优化器和运行时针对 NVIDIA GPU 进行优化。 它支持通过 torch.compile 接口的即时(JIT)编译工作流以及提前(AOT)工作流。 Torch-TensorRT 无缝集成到 PyTorch 生态系统中,支持优化的 TensorRT 代码与标准 PyTorch 代码的混合执行。

更多信息 / 系统架构:

入门指南

用户指南

教程

Dynamo 前端

TorchScript 前端

FX 前端

模型库

Python API 文档

C++ API 文档

CLI 文档

贡献者文档

索引

旧版进一步信息 (TorchScript)