SmoothL1Loss¶

class torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='mean', beta=1.0)[源代码]¶

创建一个标准，如果绝对逐元素误差低于beta，则使用平方项，否则使用L1项。它比torch.nn.MSELoss对异常值更不敏感，并且在某些情况下可以防止梯度爆炸（例如，参见Ross Girshick的论文Fast R-CNN）。

对于一批大小为 $N$ ，未减少的损失可以描述为：

\ell(x, y) = L = \{l_1, ..., l_N\}^T

与

l_n = \begin{cases} 0.5 (x_n - y_n)^2 / beta, & \text{if } |x_n - y_n| < beta \\ |x_n - y_n| - 0.5 * beta, & \text{otherwise } \end{cases}

如果 reduction 不是 none，则：

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

注意

Smooth L1损失可以被视为完全L1Loss，但在 $|x - y| < beta$ 部分被替换为一个二次函数，使得其在 $|x - y| = beta$ 处的斜率为1。二次段在 $|x - y| = 0$ 附近平滑了L1损失。

注意

Smooth L1损失与HuberLoss密切相关，相当于 $huber(x, y) / beta$ （注意Smooth L1的beta超参数也被称为Huber的delta）。这导致了以下差异：

当 beta -> 0 时，Smooth L1 损失收敛到 L1Loss，而 HuberLoss 收敛到一个常数 0 损失。当 beta 为 0 时，Smooth L1 损失等价于 L1 损失。
当 beta -> $+\infty$ ，Smooth L1 损失收敛到一个常数 0 损失，而 HuberLoss 收敛到 MSELoss。
对于Smooth L1损失，随着beta的变化，损失的L1段具有恒定的斜率1。对于HuberLoss，L1段的斜率为beta。

Parameters

size_average (布尔值, 可选) – 已弃用（参见 reduction）。默认情况下，损失在批次中的每个损失元素上进行平均。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False，则损失改为对每个小批次进行求和。当 reduce 为 False 时忽略。默认值：True
reduce (bool, 可选) – 已弃用（参见 reduction）。默认情况下，损失会根据 size_average 的设置在每个小批次中对观测值进行平均或求和。当 reduce 为 False 时，返回每个批次元素的损失，并忽略 size_average。默认值：True
reduction (str, 可选) – 指定应用于输出的reduction方式： 'none' | 'mean' | 'sum'。'none'：不进行reduction， 'mean'：输出的总和将除以输出中的元素数量，'sum'：输出将被求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。默认值：'mean'
beta (float, 可选) – 指定在L1和L2损失之间切换的阈值。该值必须为非负数。默认值：1.0

Shape: