Shortcuts

torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) 张量[源代码]

门控线性单元。计算:

GLU(a,b)=aσ(b)\text{GLU}(a, b) = a \otimes \sigma(b)

其中 input 沿 dim 被分成两半,形成 abσ\sigma 是 sigmoid 函数,\otimes 是矩阵之间的逐元素乘积。

参见 使用门控卷积网络进行语言建模

Parameters
  • 输入 (张量) – 输入张量

  • dim (int) – 要分割输入的维度。默认值:-1

Return type

张量

优云智算