modelopt.torch.export.distribute
|
torch.distribute 工具。 |
modelopt.torch.export.hf_config_map
|
定义HF和modelopt之间的配置映射。 |
modelopt.torch.export.layer_utils
|
用于model_config导出的工具。 |
modelopt.torch.export.mcore_config_map
|
定义Mcore和modelopt之间的配置映射。 |
modelopt.torch.export.model_config
|
此模块定义了model_config格式。 |
modelopt.torch.export.model_config_export
|
将优化模型导出到TensorRT-LLM检查点的代码。 |
modelopt.torch.export.model_config_utils
|
ModelConfig 的常用工具。 |
modelopt.torch.export.postprocess
|
用于加载和处理model_config的工具。 |
modelopt.torch.export.quantization_utils
|
用于量化的工具，包括缩放因子调整。 |
modelopt.torch.export.tensorrt_llm_type
|
来自TRT-LLM的代码，将优化后的模型导出到TensorRT-LLM检查点。 |
modelopt.torch.export.tensorrt_llm_utils
|
用于TensorRT-LLM检查点导出的工具。 |
modelopt.torch.export.transformer_engine
|
将模型优化器量化模型转换为transformer_engine。 |
modelopt.torch.export.unified_export_hf
|
用于部署量化的Hugging Face模型的代码。 |