Table of Contents
Shortcuts

TransformerEncoderLayer

class torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[源代码]

TransformerEncoderLayer 由自注意力机制和前馈网络组成。

这个标准的编码器层基于论文“Attention Is All You Need”。 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, 和 Illia Polosukhin. 2017. Attention is all you need. 在 Advances in Neural Information Processing Systems, 页码 6000-6010. 用户可以在应用中修改或以不同的方式实现。

TransformerEncoderLayer 可以处理传统的 torch.tensor 输入，或者嵌套张量输入。派生类应同样接受这两种输入格式。（在嵌套张量处于原型状态时，并非所有输入组合目前都受 TransformerEncoderLayer 支持。）

如果你正在实现一个自定义层，你可以从 Module 或 TransformerEncoderLayer 类派生它。如果你的自定义层支持 torch.Tensors 和 Nested Tensors 输入，使其成为 TransformerEncoderLayer 的派生类。如果你的自定义层仅支持 torch.Tensor 输入，则从 Module 派生其实现。

Parameters

  • d_model (int) – 输入中预期的特征数量（必需）。

  • nhead (int) – 多头注意力模型中的头数（必需）。

  • dim_feedforward (int) – 前馈网络模型的维度（默认=2048）。

  • dropout (float) – 丢弃率（默认值=0.1）。

  • 激活 (联合[字符串, 可调用[[张量], 张量]]) – 中间层的激活函数，可以是字符串 (“relu” 或 “gelu”) 或一元可调用函数。默认值：relu

  • layer_norm_eps (float) – 层归一化组件中的eps值（默认值=1e-5）。

  • batch_first (bool) – 如果True，则输入和输出张量以 (batch, seq, feature) 的形式提供。默认值：False (seq, batch, feature)。

  • norm_first (bool) – 如果为True，则在注意力和前馈操作之前分别进行层归一化。否则，在之后进行。默认值：False（之后）。

  • 偏差 (布尔值) – 如果设置为 False，Linear 和 LayerNorm 层将不会学习一个加性偏差。默认值：True。

Examples::
>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> src = torch.rand(10, 32, 512)
>>> out = encoder_layer(src)
Alternatively, when batch_first is True:
>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8, batch_first=True)
>>> src = torch.rand(32, 10, 512)
>>> out = encoder_layer(src)
Fast path:

forward() 将使用在 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness 中描述的特殊优化实现，如果满足以下所有条件：

  • 要么自动求导被禁用（使用 torch.inference_mode 或 torch.no_grad），要么没有张量参数 requires_grad

  • 训练被禁用（使用 .eval()）

  • batch_first 是 True 并且输入是批处理的（即，src.dim() == 3）

  • activation 是以下之一："relu", "gelu", torch.functional.relu, 或 torch.functional.gelu

  • 最多只能传递其中一个 src_mask 和 src_key_padding_mask

  • 如果 src 是一个 NestedTensor，则不会传递 src_mask 也不会传递 src_key_padding_mask

  • 这两个 LayerNorm 实例具有一致的 eps 值（除非调用者手动修改了一个而没有修改另一个，否则这将是自然的情况）

如果使用了优化的实现，可以传递一个 NestedTensor 作为 src，以比使用填充掩码更高效地表示填充。在这种情况下，将返回一个 NestedTensor，并且可以预期获得与输入中填充部分比例成正比的额外加速。

forward(src, src_mask=None, src_key_padding_mask=None, is_causal=False)[源代码]

通过编码器层传递输入。

Parameters

  • src (张量) – 传递给编码器层的序列（必需）。

  • src_mask (可选[张量]) – 源序列的掩码（可选）。

  • src_key_padding_mask (可选[张量]) – 每个批次源键的掩码（可选）。

  • is_causal (bool) – 如果指定，应用因果掩码作为 src mask。 默认值: False。 警告: is_causal 提供了一个提示，即 src_mask 是因果掩码。提供错误的提示可能会导致 错误的执行，包括前向和后向 兼容性。

Return type

张量

Shape:

查看 Transformer 文档。

优云智算