NLLLoss¶

class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')[源代码]¶

负对数似然损失。它对于训练具有C类的分类问题非常有用。

如果提供，可选参数 weight 应该是一个一维张量，为每个类别分配权重。这在你的训练集不平衡时特别有用。

通过前向调用给出的输入应包含每个类别的对数概率。输入必须是一个张量，其大小可以是 $(minibatch, C)$ 或 $(minibatch, C, d_1, d_2, ..., d_K)$ 其中 $K \geq 1$ 用于K维情况。后者对于更高维度的输入很有用，例如计算2D图像每像素的NLL损失。

在神经网络中获取对数概率很容易通过在网络的最后一层添加一个LogSoftmax层来实现。如果你不想添加额外的层，你可以使用CrossEntropyLoss。

此损失期望的目标应该是类索引，范围在 $[0, C-1]$ 其中 C = 类别数量；如果指定了 ignore_index，此损失也接受此类索引（此索引可能不一定在类别范围内）。

未减少的（即 reduction 设置为 'none'）损失可以描述为：

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} x_{n,y_n}, \quad w_{c} = \text{weight}[c] \cdot \mathbb{1}\{c \not= \text{ignore\_index}\},

其中 $x$ 是输入， $y$ 是目标， $w$ 是权重，并且 $N$ 是批次大小。如果 reduction 不是 'none' （默认 'mean'），则

\ell(x, y) = \begin{cases} \sum_{n=1}^N \frac{1}{\sum_{n=1}^N w_{y_n}} l_n, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}

Parameters

权重 (张量, 可选) – 手动调整每个类别的权重。如果提供，它必须是一个大小为 C 的张量。否则，它将被视为所有值均为1。
size_average (bool, 可选) – 已弃用（参见 reduction）。默认情况下，损失在批次中的每个损失元素上进行平均。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False，则损失改为对每个小批次进行求和。当 reduce 为 False 时忽略。默认值：None
ignore_index (int, 可选) – 指定一个目标值，该值将被忽略，并且不会对输入梯度产生贡献。当 size_average 为 True 时，损失将在非忽略的目标上进行平均。
reduce (bool, 可选) – 已弃用（参见 reduction）。默认情况下，损失会根据 size_average 的设置在每个小批次中对观测值进行平均或求和。当 reduce 为 False 时，返回每个批次元素的损失，并忽略 size_average。默认值：None
reduction (str, 可选) – 指定应用于输出的reduction方式： 'none' | 'mean' | 'sum'。'none'：不进行reduction，'mean'：取输出的加权平均值， 'sum'：输出将被求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。默认值：'mean'

Shape:

输入： $(N, C)$ 或 $(C)$ ，其中 C = 类别数量，或 $(N, C, d_1, d_2, ..., d_K)$ 其中 $K \geq 1$ 在 K 维损失的情况下。
目标: $(N)$ 或 $()$ , 其中每个值为 $0 \leq \text{targets}[i] \leq C-1$ , 或 $(N, d_1, d_2, ..., d_K)$ 其中 $K \geq 1$ 在 K 维损失的情况下。
输出：如果 reduction 是 'none'，形状为 $(N)$ 或 $(N, d_1, d_2, ..., d_K)$ ，其中 $K \geq 1$ 在 K 维损失的情况下。否则，为标量。

示例：

>>> m = nn.LogSoftmax(dim=1)
>>> loss = nn.NLLLoss()
>>> # 输入的大小为 N x C = 3 x 5
>>> input = torch.randn(3, 5, requires_grad=True)
>>> # 目标中的每个元素必须满足 0 <= value < C
>>> target = torch.tensor([1, 0, 4])
>>> output = loss(m(input), target)
>>> output.backward()
>>>
>>>
>>> # 2D 损失示例（例如，用于图像输入）
>>> N, C = 5, 4
>>> loss = nn.NLLLoss()
>>> # 输入的大小为 N x C x height x width
>>> data = torch.randn(N, 16, 10, 10)
>>> conv = nn.Conv2d(16, C, (3, 3))
>>> m = nn.LogSoftmax(dim=1)
>>> # 目标中的每个元素必须满足 0 <= value < C
>>> target = torch.empty(N, 8, 8, dtype=torch.long).random_(0, C)
>>> output = loss(m(conv(data)), target)
>>> output.backward()