TensorRT Model Optimizer
入门指南
概述
安装
快速入门:量化
快速入门:量化(Windows)
快速入门:剪枝
快速入门:蒸馏
快速入门:稀疏性
指南
支持矩阵
量化
剪枝
NAS
蒸馏
Sparsity
Saving & Restoring
推测解码
部署
TensorRT-LLM 部署
DirectML 部署
示例
所有GitHub示例
ResNet20在CIFAR-10上的剪枝
HF BERT: 剪枝、蒸馏与量化
参考
更新日志
modelopt API
deploy
onnx
torch
distill
export
nas
opt
prune
quantization
稀疏性
speculative
config
eagle
medusa
mode
plugins
redrafter
speculative_decoding
utils
trace
utils
支持
联系我们
常见问题解答
TensorRT Model Optimizer
modelopt API
torch
speculative
plugins
View page source
插件
模块
处理第三方模块的推测性插件。
请查看此模块的源代码,了解插件的工作原理以及如何编写自己的插件。目前,我们支持以下插件:
transformers