Table of Contents
Shortcuts

LSTM

class torch.nn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)[源代码]

将多层长短期记忆（LSTM）RNN应用于输入序列。 对于输入序列中的每个元素，每一层计算以下函数：

it=σ(Wiixt+bii+Whiht−1+bhi)ft=σ(Wifxt+bif+Whfht−1+bhf)gt=tanh⁡(Wigxt+big+Whght−1+bhg)ot=σ(Wioxt+bio+Whoht−1+bho)ct=ft⊙ct−1+it⊙gtht=ot⊙tanh⁡(ct)\begin{array}{ll} \\ i_t = \sigma(W_{ii} x_t + b_{ii} + W_{hi} h_{t-1} + b_{hi}) \\ f_t = \sigma(W_{if} x_t + b_{if} + W_{hf} h_{t-1} + b_{hf}) \\ g_t = \tanh(W_{ig} x_t + b_{ig} + W_{hg} h_{t-1} + b_{hg}) \\ o_t = \sigma(W_{io} x_t + b_{io} + W_{ho} h_{t-1} + b_{ho}) \\ c_t = f_t \odot c_{t-1} + i_t \odot g_t \\ h_t = o_t \odot \tanh(c_t) \\ \end{array}

其中 hth_t 是时间 t 的隐藏状态，ctc_t 是时间 t 的单元状态，xtx_t 是时间 t 的输入，ht−1h_{t-1} 是时间 t-1 的层的隐藏状态或时间 0 的初始隐藏状态，并且 iti_t、ftf_t、gtg_t、oto_t 分别是输入门、遗忘门、单元门和输出门。σ\sigma 是 sigmoid 函数，⊙\odot 是哈达玛积。

在多层 LSTM 中，第 ll 层的输入 xt(l)x^{(l)}_t（l≥2l \ge 2）是前一层的隐藏状态 ht(l−1)h^{(l-1)}_t 乘以 dropout δt(l−1)\delta^{(l-1)}_t，其中每个 δt(l−1)\delta^{(l-1)}_t 是一个伯努利随机变量，其值为 00 的概率为 dropout。

如果指定了 proj_size > 0，将使用带投影的 LSTM。这将以下列方式改变 LSTM 单元。首先，hth_t 的维度将从 hidden_size 变为 proj_size（WhiW_{hi} 的维度也将相应改变）。 其次，每一层的输出隐藏状态将乘以一个可学习的投影矩阵：ht=Whrhth_t = W_{hr}h_t。请注意，由于这一点，LSTM 网络的输出也将具有不同的形状。有关所有变量的确切维度，请参见下面的输入/输出部分。您可以在 https://arxiv.org/abs/1402.1128 找到更多详细信息。

Parameters

  • input_size – 输入 x 中预期的特征数量

  • hidden_size – 隐藏状态 h 中的特征数量

  • num_layers – 循环层的数量。例如，设置 num_layers=2 意味着将两个LSTM堆叠在一起形成一个堆叠LSTM， 第二个LSTM接收第一个LSTM的输出并 计算最终结果。默认值：1

  • 偏置 – 如果 False，则该层不使用偏置权重 b_ih 和 b_hh。 默认值：True

  • batch_first – 如果 True，则输入和输出张量以 (batch, seq, feature) 形式提供，而不是 (seq, batch, feature)。 请注意，这不适用于隐藏状态或单元状态。有关详细信息，请参阅下面的输入/输出部分。默认值：False

  • dropout – 如果非零，则在每个LSTM层的输出上引入一个Dropout层，除了最后一层，dropout概率等于 dropout。默认值：0

  • 双向 – 如果 True，则变为双向 LSTM。默认值：False

  • proj_size – 如果> 0，将使用具有相应大小投影的LSTM。默认值：0

Inputs: input, (h_0, c_0)

  • 输入：形状为 (L,Hin)(L, H_{in}) 的未批量输入张量， (L,N,Hin)(L, N, H_{in}) 当 batch_first=False 或 (N,L,Hin)(N, L, H_{in}) 当 batch_first=True 包含输入序列的特征。输入也可以是打包的可变长度序列。 参见 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence() 了解更多详情。

  • h_0: 形状为 (D∗num_layers,Hout)(D * \text{num\_layers}, H_{out}) 的张量，用于非批量输入或 (D∗num_layers,N,Hout)(D * \text{num\_layers}, N, H_{out}) 的张量，包含输入序列中每个元素的初始隐藏状态。 如果未提供 (h_0, c_0)，则默认为零。

  • c_0: 形状为 (D∗num_layers,Hcell)(D * \text{num\_layers}, H_{cell}) 的张量，用于非批量输入或 (D∗num_layers,N,Hcell)(D * \text{num\_layers}, N, H_{cell}) 的张量，包含输入序列中每个元素的初始单元状态。 如果未提供 (h_0, c_0)，则默认为零。

其中：

N=batch sizeL=sequence lengthD=2 if bidirectional=True otherwise 1Hin=input_sizeHcell=hidden_sizeHout=proj_size if proj_size>0 otherwise hidden_size\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{cell} ={} & \text{hidden\_size} \\ H_{out} ={} & \text{proj\_size if } \text{proj\_size}>0 \text{ otherwise hidden\_size} \\ \end{aligned}
Outputs: output, (h_n, c_n)

  • 输出：形状为 (L,D∗Hout)(L, D * H_{out}) 的未批量输入张量， (L,N,D∗Hout)(L, N, D * H_{out}) 当 batch_first=False 或 (N,L,D∗Hout)(N, L, D * H_{out}) 当 batch_first=True 时，包含来自LSTM最后一层的输出特征 (h_t)，对于每个 t。如果输入是 torch.nn.utils.rnn.PackedSequence，则输出 也将是一个打包序列。当 bidirectional=True 时，输出 将包含序列中每个时间步的前向和反向隐藏状态的连接。

  • h_n: 形状为 (D∗num_layers,Hout)(D * \text{num\_layers}, H_{out}) 的张量，用于未批处理的输入或 (D∗num_layers,N,Hout)(D * \text{num\_layers}, N, H_{out}) 的张量，包含序列中每个元素的最终隐藏状态。当 bidirectional=True 时， h_n 将分别包含最终的前向和反向隐藏状态的连接。

  • c_n: 形状为 (D∗num_layers,Hcell)(D * \text{num\_layers}, H_{cell}) 的张量，用于非批量输入或 (D∗num_layers,N,Hcell)(D * \text{num\_layers}, N, H_{cell}) 的张量，包含序列中每个元素的最终单元状态。当 bidirectional=True 时， c_n 将包含正向和反向最终单元状态的连接。

Variables

  • weight_ih_l[k] – 第 kth\text{k}^{th} 层的可学习的输入-隐藏权重 (W_ii|W_if|W_ig|W_io)，形状为 (4*hidden_size, input_size) 对于 k = 0。 否则，形状为 (4*hidden_size, num_directions * hidden_size)。如果 proj_size > 0 被指定，形状将为 (4*hidden_size, num_directions * proj_size) 对于 k > 0

  • weight_hh_l[k] – 第 kth\text{k}^{th} 层的可学习的隐藏-隐藏权重 (W_hi|W_hf|W_hg|W_ho)，形状为 (4*hidden_size, hidden_size)。如果指定了 proj_size > 0，形状将为 (4*hidden_size, proj_size)。

  • bias_ih_l[k] – 第 kth\text{k}^{th} 层的可学习的输入-隐藏偏置 (b_ii|b_if|b_ig|b_io)，形状为 (4*hidden_size)

  • bias_hh_l[k] – 第kth\text{k}^{th}层的可学习的隐藏-隐藏偏置 (b_hi|b_hf|b_hg|b_ho)，形状为(4*hidden_size)

  • weight_hr_l[k] – 可学习的投影权重，形状为 (proj_size, hidden_size)。仅在指定 proj_size > 0 时存在。

  • weight_ih_l[k]_reverse – 类似于 weight_ih_l[k] 的反向方向。 仅在 bidirectional=True 时存在。

  • weight_hh_l[k]_reverse – 类似于 weight_hh_l[k] 用于反向方向。 仅在 bidirectional=True 时存在。

  • bias_ih_l[k]_reverse – 类似于 bias_ih_l[k] 的反向方向。 仅在 bidirectional=True 时存在。

  • bias_hh_l[k]_reverse – 类似于 bias_hh_l[k] 用于反向方向。 仅在 bidirectional=True 时存在。

  • weight_hr_l[k]_reverse – 类似于 weight_hr_l[k] 的反向方向。 仅在 bidirectional=True 且 proj_size > 0 指定时存在。

注意

所有的权重和偏置都从 U(−k,k)\mathcal{U}(-\sqrt{k}, \sqrt{k}) 其中 k=1hidden_sizek = \frac{1}{\text{hidden\_size}}

注意

对于双向LSTM，正向和反向分别对应方向0和1。 当batch_first=False时，分割输出层的示例： output.view(seq_len, batch, num_directions, hidden_size)。

注意

对于双向LSTM，h_n 不等同于 output 的最后一个元素；前者包含最终的前向和反向隐藏状态，而后者包含最终的前向隐藏状态和初始的反向隐藏状态。

注意

batch_first 参数在未批处理的输入中被忽略。

注意

proj_size 应该小于 hidden_size。

警告

在某些版本的 cuDNN 和 CUDA 上，RNN 函数存在已知的非确定性问题。 您可以通过设置以下环境变量来强制执行确定性行为：

在CUDA 10.1上，设置环境变量 CUDA_LAUNCH_BLOCKING=1。 这可能会影响性能。

在 CUDA 10.2 或更高版本上，设置环境变量（注意前导冒号符号） CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

请参阅cuDNN 8 发布说明以获取更多信息。

注意

如果满足以下条件： 1) 启用了cudnn， 2) 输入数据在GPU上 3) 输入数据具有dtype torch.float16 4) 使用V100 GPU， 5) 输入数据不在PackedSequence格式中 可以选择持久性算法以提高性能。

示例：

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))
优云智算