PowerSumRegularizer

class PowerSumRegularizer(*, weight: float = 1.0, apply_only_once: bool = False, dim: int | None = -1, normalize: bool = False, p: float = 2.0, **kwargs)[source]

基础类: Regularizer

一个基于x^p的简单正则化器。

具有一些不错的特性，参见例如 https://github.com/pytorch/pytorch/issues/28119。

初始化正则化器。

Parameters:

  • weight (Tensor) – 正则化的相对权重

  • apply_only_once (bool) – 重置后是否应多次应用正则化？

  • dim (int | None) – 计算Lp范数的维度，参见 powersum_norm()

  • normalize (bool) – 是否通过维度对范数进行归一化，参见 powersum_norm()

  • p (float) – Lp范数的参数 \(p\)，参见 powersum_norm()

  • kwargs – 传递给 Regularizer.__init__() 的额外基于关键字的参数

方法总结

forward(x)

计算一个张量的正则化项。

方法文档

forward(x: Tensor) → Tensor[来源]

计算一个张量的正则化项。

Parameters:

x (Tensor)

Return type:

Tensor