torch.nn.attention.bias.causal_lower_right¶

torch.nn.attention.bias.causal_lower_right(*size)[源代码]¶

创建一个右下三角形的因果偏差。

此函数生成一个右下三角矩阵，以表示因果注意力偏差，并设置对角线偏移，使得包含的值与矩阵的右下角对齐。

构建此偏差的等效 pytorch 代码如下：

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如，使用 shape=(3,4)，生成的偏置张量将是：

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]