Table of Contents
Shortcuts

GRU

class torch.nn.GRU(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[源代码]

将多层门控循环单元（GRU）RNN应用于输入序列。 对于输入序列中的每个元素，每一层计算以下函数：

rt=σ(Wirxt+bir+Whrh(t−1)+bhr)zt=σ(Wizxt+biz+Whzh(t−1)+bhz)nt=tanh⁡(Winxt+bin+rt⊙(Whnh(t−1)+bhn))ht=(1−zt)⊙nt+zt⊙h(t−1)\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) \odot n_t + z_t \odot h_{(t-1)} \end{array}

其中 hth_t 是时间 t 的隐藏状态，xtx_t 是时间 t 的输入，h(t−1)h_{(t-1)} 是时间 t-1 的层的隐藏状态或时间 0 的初始隐藏状态，并且 rtr_t， ztz_t，ntn_t 分别是重置门、更新门和新门。 σ\sigma 是 sigmoid 函数，并且 ⊙\odot 是哈达玛积。

在多层 GRU 中，第 ll 层的输入 xt(l)x^{(l)}_t（l≥2l \ge 2）是前一层的隐藏状态 ht(l−1)h^{(l-1)}_t 乘以 dropout δt(l−1)\delta^{(l-1)}_t，其中每个 δt(l−1)\delta^{(l-1)}_t 是一个伯努利随机 变量，其值为 00 的概率为 dropout。

Parameters

  • input_size – 输入 x 中预期的特征数量

  • hidden_size – 隐藏状态 h 中的特征数量

  • num_layers – 循环层的数量。例如，设置 num_layers=2 意味着将两个GRU堆叠在一起形成一个堆叠GRU， 第二个GRU接收第一个GRU的输出并 计算最终结果。默认值：1

  • 偏置 – 如果 False，则该层不使用偏置权重 b_ih 和 b_hh。 默认值：True

  • batch_first – 如果 True，则输入和输出张量以 (batch, seq, feature) 形式提供，而不是 (seq, batch, feature)。 请注意，这不适用于隐藏状态或单元状态。有关详细信息，请参阅下面的输入/输出部分。默认值：False

  • dropout – 如果非零，则在除最后一层之外的每个GRU层的输出上引入一个Dropout层，其dropout概率等于dropout。默认值：0

  • 双向 – 如果 True，则变为双向 GRU。默认值：False

Inputs: input, h_0

  • 输入：形状为 (L,Hin)(L, H_{in}) 的未批量输入张量， (L,N,Hin)(L, N, H_{in}) 当 batch_first=False 或 (N,L,Hin)(N, L, H_{in}) 当 batch_first=True 包含输入序列的特征。输入也可以是打包的可变长度序列。 参见 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence() 了解更多详情。

  • h_0: 形状为 (D∗num_layers,Hout)(D * \text{num\_layers}, H_{out}) 或 (D∗num_layers,N,Hout)(D * \text{num\_layers}, N, H_{out}) 包含输入序列的初始隐藏状态。如果未提供，则默认为零。

其中：

N=batch sizeL=sequence lengthD=2 if bidirectional=True otherwise 1Hin=input_sizeHout=hidden_size\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}
Outputs: output, h_n

  • 输出：形状为 (L,D∗Hout)(L, D * H_{out}) 的张量，用于非批量输入， (L,N,D∗Hout)(L, N, D * H_{out}) 当 batch_first=False 或 (N,L,D∗Hout)(N, L, D * H_{out}) 当 batch_first=True 包含来自GRU最后一层的输出特征 (h_t)，对于每个 t。如果输入是 torch.nn.utils.rnn.PackedSequence，则输出 也将是一个打包序列。

  • h_n: 形状为 (D∗num_layers,Hout)(D * \text{num\_layers}, H_{out}) 或 (D∗num_layers,N,Hout)(D * \text{num\_layers}, N, H_{out}) 的张量，包含输入序列的最终隐藏状态。

Variables

  • weight_ih_l[k] – 第 kth\text{k}^{th} 层的可学习的输入-隐藏权重 (W_ir|W_iz|W_in)，形状为 (3*hidden_size, input_size) 对于 k = 0。 否则，形状为 (3*hidden_size, num_directions * hidden_size)

  • weight_hh_l[k] – 第 kth\text{k}^{th} 层的可学习的隐藏-隐藏权重 (W_hr|W_hz|W_hn)，形状为 (3*hidden_size, hidden_size)

  • bias_ih_l[k] – 第kth\text{k}^{th}层的可学习的输入-隐藏偏置（b_ir|b_iz|b_in），形状为(3*hidden_size)

  • bias_hh_l[k] – 第 kth\text{k}^{th} 层的可学习的隐藏-隐藏偏置（b_hr|b_hz|b_hn），形状为 (3*hidden_size)

注意

所有的权重和偏置都从 U(−k,k)\mathcal{U}(-\sqrt{k}, \sqrt{k}) 其中 k=1hidden_sizek = \frac{1}{\text{hidden\_size}}

注意

对于双向GRUs，正向和反向分别对应方向0和1。 当batch_first=False时，分割输出层的示例： output.view(seq_len, batch, num_directions, hidden_size)。

注意

batch_first 参数在未批处理的输入中被忽略。

注意

新门 ntn_t 的计算与原始论文和其他框架略有不同。 在原始实现中，Hadamard 积 (⊙)(\odot) 在 rtr_t 和前一个隐藏状态 h(t−1)h_{(t-1)} 在乘以权重矩阵 W 和加上偏置之前完成：

nt=tanh⁡(Winxt+bin+Whn(rt⊙h(t−1))+bhn)\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}

这与PyTorch实现形成对比，后者是在Whnh(t−1)W_{hn} h_{(t-1)}

之后完成的。
nt=tanh⁡(Winxt+bin+rt⊙(Whnh(t−1)+bhn))\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}

此实现出于效率目的故意有所不同。

注意

如果满足以下条件： 1) 启用了cudnn， 2) 输入数据在GPU上 3) 输入数据具有dtype torch.float16 4) 使用V100 GPU， 5) 输入数据不在PackedSequence格式中 可以选择持久性算法以提高性能。

示例：

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)
优云智算