梯度绝对值裁剪训练回调
- class GradientAbsClippingTrainingCallback(clip_value: float)[源代码]
基础类:
TrainingCallback在优化器步进之前进行梯度裁剪的回调函数,使用
torch.nn.utils.clip_grad_value_()。初始化回调。
- Parameters:
clip_value (float) – 梯度中的最大绝对值,参见
torch.nn.utils.clip_grad_value_()。如果为 None,则不使用梯度裁剪。
方法总结
pre_step(**kwargs)在优化器的步骤之前调用。
方法文档