opt

模块

modelopt.torch.opt.config

Modelopt的pydantic BaseModel用于算法和模式中的任何类型的配置。

modelopt.torch.opt.conversion

用于处理优化方法的模型转换和恢复的模块。

modelopt.torch.opt.dynamic

基本的动态模块类和hparam类。

modelopt.torch.opt.hparam

常规符号的标准超参数类。

modelopt.torch.opt.mode

优化模式/算法的接口和实用工具。

modelopt.torch.opt.plugins

处理第三方模块的插件。

modelopt.torch.opt.searcher

实现搜索算法标准接口。

modelopt.torch.opt.utils

优化工具。

用于通用模型优化基础设施的模块。

modelopt.torch.opt 包含以下工具:

  • 接收用户提供的模型并设置为优化;

  • 定义并实现搜索和优化程序;

  • 在优化后将模型导出回常规的pytorch模型;

  • 保存、恢复和管理检查点,以便可以从这些检查点恢复模型修改。

请参考每个单独的子模块,了解更多关于modelopt.torch.opt中的各种概念以及如何使用它们来实现模型优化算法。