Gelu

Gelu - 20

版本

• 名称: Gelu (GitHub)

• 域名: main

• since_version: 20

• function: True

• support_level: SupportType.COMMON

• 形状推断: True

此版本的运算符自版本20起可用。

摘要

Gelu 接受一个输入数据（Tensor）并生成一个输出数据（Tensor），其中高斯误差线性单元函数， \(y = 0.5 * x * (1 + erf(x/sqrt(2)))\) 被逐元素应用于张量。 如果属性“approximate”设置为“tanh”，则使用函数估计， \(y = 0.5 * x * (1 + Tanh(sqrt(2/\pi) * (x + 0.044715 * x^3)))\) 并将其逐元素应用于张量。

属性

• 近似 - 字符串 (默认是 'none'):

  Gelu近似算法: "tanh", "none"(默认)."none": 不使用近似."tanh": 使用tanh近似.

输入

• X (异构) - T:

  输入张量

输出

• Y (异构) - T:

  输出张量

类型约束

• T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) ):

  将输入和输出类型限制为浮点张量。