get_lr¶
- torchtune.training.get_lr(optimizer: Union[Optimizer, OptimizerInBackwardWrapper]) float[source]¶
Full_finetune_distributed 和 full_finetune_single_device 假设所有优化器具有相同的学习率（LR），这里用于验证所有学习率是否相同，如果相同则返回 True。
- Parameters:
optimizer (Union[torch.optim.Optimizer, OptimizerInBackwardWrapper]) – 一个通用的优化器输入，可以是通用优化器，也可以是基于optimizer_in_backward的优化器包装器。
- Returns:
输入优化器的学习率。
- Return type:
lr (float)
- Raises:
RuntimeError – 如果输入优化器的学习率不相同。
