Torch-TensorRT¶
在框架内编译用于NVIDIA GPU的PyTorch推理代码¶
Torch-TensorRT 是一个用于 PyTorch 的推理编译器,通过 NVIDIA 的 TensorRT 深度学习优化器和运行时针对 NVIDIA GPU 进行优化。
它支持通过 torch.compile
接口的即时(JIT)编译工作流以及提前(AOT)工作流。
Torch-TensorRT 无缝集成到 PyTorch 生态系统中,支持优化的 TensorRT 代码与标准 PyTorch 代码的混合执行。
更多信息 / 系统架构: