speechbrain.utils.optimizers 模块

实现函数以避免优化某些参数

Authors

  • Titouan Parcollet 2023

摘要

函数：

rm_vector_weight_decay

将向量放入没有权重衰减的参数组中

参考

speechbrain.utils.optimizers.rm_vector_weight_decay(modules)[source]

将向量放入没有权重衰减的参数组中

接收一个模块列表，并将它们的参数分成两个参数组，可以传递给PyTorch Optimizer类。向量参数的weight_decay被覆盖为零。这对于我们期望偏离零的偏差和规范特别有用。其他作为参数的向量也可能不意味着被推向零。

Parameters:

模块 (torch.ModuleList, torch.Module) – 要操作的Torch模块

Returns:

Pytorch优化器规范格式中的参数组。

Return type:

list