Transformer¶

class torch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1, activation=<function relu>, custom_encoder=None, custom_decoder=None, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[源代码]¶

一个转换器模型。

用户可以根据需要修改属性。该架构基于论文“Attention Is All You Need”。Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, 和 Illia Polosukhin. 2017. Attention is all you need. 在 Advances in Neural Information Processing Systems 中, 页码 6000-6010.

Parameters

d_model (int) – 编码器/解码器输入中预期的特征数量（默认=512）。
nhead (int) – 多头注意力模型中的头数（默认=8）。
num_encoder_layers (int) – 编码器中子编码器层的数量（默认=6）。
num_decoder_layers (int) – 解码器中子解码器层的数量（默认=6）。
dim_feedforward (int) – 前馈网络模型的维度（默认=2048）。
dropout (float) – 丢弃率（默认值=0.1）。
激活 (联合[字符串, 可调用[[张量], 张量]]) – 编码器/解码器中间层的激活函数，可以是一个字符串 (“relu” 或 “gelu”) 或一个一元可调用函数。默认值: relu
custom_encoder (可选[任意]) – 自定义编码器（默认=无）。
custom_decoder (可选[任意]) – 自定义解码器（默认=无）。
layer_norm_eps (float) – 层归一化组件中的eps值（默认值=1e-5）。
batch_first (bool) – 如果True，则输入和输出张量以 (batch, seq, feature) 的形式提供。默认值：False (seq, batch, feature)。
norm_first (bool) – 如果为True，编码器和解码器层将在其他注意力和前馈操作之前执行LayerNorms，否则在之后。默认值：False（之后）。
偏差 (布尔值) – 如果设置为 False，Linear 和 LayerNorm 层将不会学习一个加性偏差。默认值：True。

Examples::

>>> transformer_model = nn.Transformer(nhead=16, num_encoder_layers=12)
>>> src = torch.rand((10, 32, 512))
>>> tgt = torch.rand((20, 32, 512))
>>> out = transformer_model(src, tgt)

注意：一个完整的示例，用于应用nn.Transformer模块进行词语言模型的实现，可以在 https://github.com/pytorch/examples/tree/master/word_language_model找到

forward(src, tgt, src_mask=None, tgt_mask=None, memory_mask=None, src_key_padding_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, src_is_causal=None, tgt_is_causal=None, memory_is_causal=False)[源代码]¶

接收并处理带掩码的源/目标序列。

注意

如果为任何一个[src/tgt/memory]_mask参数提供了一个布尔张量，位置上具有True值的将不允许参与注意力计算，这与attn_mask在torch.nn.functional.scaled_dot_product_attention()中的定义相反。

Parameters

src (张量) – 输入到编码器的序列（必需）。
tgt (张量) – 传递给解码器的序列（必需）。
src_mask (可选[张量]) – 源序列的附加掩码（可选）。
tgt_mask (可选[张量]) – 目标序列的附加掩码（可选）。
memory_mask (可选[张量]) – 编码器输出的加性掩码（可选）。
src_key_padding_mask (可选[张量]) – 每个批次源键的张量掩码（可选）。
tgt_key_padding_mask (可选[张量]) – 每个批次的目标键的张量掩码（可选）。
memory_key_padding_mask (可选[张量]) – 每个批次内存键的张量掩码（可选）。
src_is_causal (可选[布尔值]) – 如果指定，则应用因果掩码作为 src_mask。默认值：None；尝试检测因果掩码。警告： src_is_causal 提供了一个提示，即 src_mask 是因果掩码。提供错误的提示可能会导致错误的执行，包括向前和向后兼容性。
tgt_is_causal (可选[布尔值]) – 如果指定，则应用因果掩码作为 tgt_mask。默认值：None；尝试检测因果掩码。警告： tgt_is_causal 提供了一个提示，即 tgt_mask 是因果掩码。提供错误的提示可能会导致错误的执行，包括向前和向后的兼容性。
memory_is_causal (bool) – 如果指定，则应用因果掩码作为 memory_mask。默认值：False。警告： memory_is_causal 提供了一个提示，即 memory_mask 是因果掩码。提供错误的提示可能导致错误的执行，包括向前和向后的兼容性问题。

Return type

张量

Shape:

src: $(S, E)$ 用于非批量输入， $(S, N, E)$ 如果 batch_first=False 或者 (N, S, E) 如果 batch_first=True。
tgt: $(T, E)$ 对于未批处理的输入， $(T, N, E)$ 如果 batch_first=False 或者 (N, T, E) 如果 batch_first=True。
src_mask: $(S, S)$ 或 $(N\cdot\text{num\_heads}, S, S)$ .
tgt_mask: $(T, T)$ 或 $(N\cdot\text{num\_heads}, T, T)$ 。
memory_mask: $(T, S)$ .
src_key_padding_mask: $(S)$ 对于未批处理的输入，否则 $(N, S)$ 。
tgt_key_padding_mask: $(T)$ 对于未批处理的输入，否则 $(N, T)$ 。
memory_key_padding_mask: $(S)$ 对于未批处理的输入，否则 $(N, S)$ 。

注意：[src/tgt/memory]_mask 确保位置 $i$ 可以关注未被掩码的位置。如果提供了 BoolTensor，位置为 True 的将不允许关注，而 False 的值将保持不变。如果提供了 FloatTensor，它将被添加到注意力权重中。 [src/tgt/memory]_key_padding_mask 提供了在键中需要被注意力忽略的指定元素。如果提供了 BoolTensor，值为 True 的位置将被忽略，而值为 False 的位置将保持不变。

输出: $(T, E)$ 对于未批处理的输入, $(T, N, E)$ 如果 batch_first=False 或者 (N, T, E) 如果 batch_first=True.

注意：由于变压器模型中的多头注意力架构，变压器的输出序列长度与解码器的输入序列（即目标）长度相同。

其中 $S$ 是源序列长度， $T$ 是目标序列长度， $N$ 是批次大小， $E$ 是特征数量

示例

>>> output = transformer_model(src, tgt, src_mask=src_mask, tgt_mask=tgt_mask)

static generate_square_subsequent_mask(sz, device=None, dtype=None)[源代码]¶

为序列生成一个方形因果掩码。

掩码位置填充为 float(‘-inf’)。未掩码位置填充为 float(0.0)。

Return type: 张量