部署

模块

modelopt.deploy.llm

使用 tensorrt_llm 的 LLM 部署工具。

模型优化器的部署包。