优化器超参数优化默认值

optimizers_hpo_defaults: Mapping[type[Optimizer], Mapping[str, Any]] = {<class 'torch.optim.adagrad.Adagrad'>: {'lr': {'high': 0.1, 'low': 0.001, 'scale': 'log', 'type': <class 'float'>}}, <class 'torch.optim.adam.Adam'>: {'lr': {'high': 0.1, 'low': 0.001, 'scale': 'log', 'type': <class 'float'>}}, <class 'torch.optim.adamax.Adamax'>: {'lr': {'high': 0.1, 'low': 0.001, 'scale': 'log', 'type': <class 'float'>}}, <class 'torch.optim.adamw.AdamW'>: {'lr': {'high': 0.1, 'low': 0.001, 'scale': 'log', 'type': <class 'float'>}}, <class 'torch.optim.sgd.SGD'>: {'lr': {'high': 0.1, 'low': 0.001, 'scale': 'log', 'type': <class 'float'>}}}

优化器超参数的默认策略(yo dawg)