pymc.应用_动量

pymc.apply_momentum(updates, params=None, momentum=0.9)

返回一个包含动量的修改后的更新字典

生成以下形式的更新表达式：

• velocity := momentum * velocity + updates[param] - param

• param := param + velocity

参数:

更新: OrderedDict

一个将参数映射到更新表达式的字典

参数: 共享变量的可迭代对象, 可选

要应用动量的变量。如果省略，将对所有 updates.keys() 应用动量。

momentum: float 或符号标量, 可选

要应用的动量大小。较高的动量会导致在更多的更新步骤中进行平滑处理。默认为0.9。

返回:

OrderedDict

包含所有 params 动量更新的 updates 副本。

参见

momentum

快捷方式将动量应用于SGD更新

注释

更高的动量也会导致更大的更新步长。为了抵消这一点，你可以选择性地将你的学习率按 1 - 动量 进行缩放。