GroupNorm

class torch.nn.GroupNorm(num_groups, num_channels, eps=1e-05, affine=True, device=None, dtype=None)

对小批量输入应用组归一化。

该层实现了论文中描述的操作 Group Normalization

$$y = \frac{x - \mathrm{E}[x]}{ \sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta$$

输入通道被分成num_groups组，每组包含 num_channels / num_groups个通道。num_channels必须能被 num_groups整除。每个组的均值和标准差分别计算。$\gamma$和$\beta$是可学习的 每个通道的仿射变换参数向量，大小为num_channels，如果 affine为True。 标准差通过有偏估计量计算，等价于 torch.var(input, unbiased=False)。

该层在训练和评估模式下均使用从输入数据计算的统计数据。

Parameters

• num_groups (int) – 将通道分成的组数

• num_channels (int) – 输入中预期的通道数

• eps (float) – 为了数值稳定性而添加到分母中的值。默认值：1e-5

• 仿射 (bool) – 一个布尔值，当设置为 True 时，此模块具有可学习的每通道仿射参数，初始化为权重为1，偏置为0。默认值：True。

Shape:

• 输入: $(N, C, *)$ 其中 $C=\text{num\_channels}$

• 输出: $(N, C, *)$ (与输入形状相同)

示例：

>>> input = torch.randn(20, 6, 10, 10)
>>> # 将6个通道分成3组
>>> m = nn.GroupNorm(3, 6)
>>> # 将6个通道分成6组（等同于InstanceNorm）
>>> m = nn.GroupNorm(6, 6)
>>> # 将所有6个通道放入一个组（等同于LayerNorm）
>>> m = nn.GroupNorm(1, 6)
>>> # 激活模块
>>> output = m(input)