蒸馏

模块

modelopt.torch.distill.config	蒸馏模式的配置。
modelopt.torch.distill.distillation	用于将模型转换为modelopt.torch.distill.DistillationModel的API，可直接用于训练。
modelopt.torch.distill.distillation_model	元模型包装器，用于支持知识蒸馏学习。
modelopt.torch.distill.loss_balancers	蒸馏任务的基本损失平衡器。
modelopt.torch.distill.losses	不同类型的蒸馏损失。
modelopt.torch.distill.mode	模块实现并描述了在NAS转换过程中可以使用的模式。
modelopt.torch.distill.plugins	处理第三方模块的蒸馏插件。
modelopt.torch.distill.registry	一个动态模块注册表，用于存储与蒸馏相关的可用DynamicModules的信息。

用于torch的蒸馏API子包。