torch.nn.functional.gelu

torch.nn.functional.gelu(input, approximate='none') → 张量

当近似参数为‘none’时，它对元素应用函数 $\text{GELU}(x) = x * \Phi(x)$

其中 $\Phi(x)$ 是高斯分布的累积分布函数。

当近似参数为‘tanh’时，Gelu 使用以下公式进行估计

$$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt{2 / \pi} * (x + 0.044715 * x^3)))$$

参见 高斯误差线性单元 (GELUs)。