llm

模块

modelopt.deploy.llm.generate	TensorRT-LLM 高级 API 运行器的封装。
modelopt.deploy.llm.nemo_utils	支持Nemo模型的工具。

使用 tensorrt_llm 的 LLM 部署工具。