LRN

LRN - 13

版本

  • 名称: LRN (GitHub)

  • 域名: main

  • since_version: 13

  • 函数: False

  • support_level: SupportType.COMMON

  • 形状推断: True

此版本的运算符自版本13起可用。

摘要

在AlexNet论文中提出的局部响应归一化。 它对局部输入区域进行归一化。 局部区域在通道之间定义。对于形状为(N x C x D1 x D2, ..., Dk)的张量中的元素X[n, c, d1, ..., dk]，其区域为 {X[n, i, d1, ..., dk] | max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))}。

square_sum[n, c, d1, ..., dk] = sum(X[n, i, d1, ..., dk] ^ 2), 其中 max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2)).

Y[n, c, d1, ..., dk] = X[n, c, d1, ..., dk] / (bias + alpha / size * square_sum[n, c, d1, ..., dk] ) ^ beta

属性

  • alpha - FLOAT (默认值为 '0.0001'):

    缩放参数。

  • beta - FLOAT (默认值为 '0.75'):

    指数。

  • bias - FLOAT (默认值为 '1.0'):

  • size - INT (必填) :

    要求和的通道数量

输入

  • X (异构) - T:

    来自前一个操作符的输入数据张量；对于图像情况，维度为（N x C x H x W），其中N是批量大小，C是通道数，H和W是数据的高度和宽度。对于非图像情况，维度形式为（N x C x D1 x D2 … Dn），其中N是批量大小。可选地，如果维度符号有效，操作期望输入数据张量带有维度符号[DATA_BATCH, DATA_CHANNEL, DATA_FEATURE, DATA_FEATURE …]。

输出

  • Y (异构) - T:

    输出张量，其形状和类型与输入张量相同

类型约束

  • T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) ):

    将输入和输出类型限制为浮点张量。

LRN - 1

版本

  • 名称: LRN (GitHub)

  • 域名: main

  • since_version: 1

  • 函数: False

  • support_level: SupportType.COMMON

  • 形状推断: True

此版本的运算符自版本1起可用。

摘要

在AlexNet论文中提出的局部响应归一化。 它对局部输入区域进行归一化。 局部区域是在通道上定义的。对于形状为(N x C x D1 x D2, …, Dk)的张量中的元素X[n, c, d1, …, dk]，其区域为 {X[n, i, d1, …, dk] | max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))}。

square_sum[n, c, d1, …, dk] = sum(X[n, i, d1, …, dk] ^ 2), 其中 max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2)).

Y[n, c, d1, …, dk] = X[n, c, d1, …, dk] / (bias + alpha / size * square_sum[n, c, d1, …, dk] ) ^ beta

属性

  • alpha - FLOAT (默认值为 '0.0001'):

    缩放参数。

  • beta - FLOAT (默认值为 '0.75'):

    指数。

  • bias - FLOAT (默认值为 '1.0'):

  • size - INT (必填) :

    要求和的通道数量

输入

  • X (异构) - T:

    来自前一个操作符的输入数据张量；对于图像情况，维度为（N x C x H x W），其中N是批量大小，C是通道数，H和W是数据的高度和宽度。对于非图像情况，维度形式为（N x C x D1 x D2 … Dn），其中N是批量大小。可选地，如果维度符号有效，操作期望输入数据张量带有维度符号[DATA_BATCH, DATA_CHANNEL, DATA_FEATURE, DATA_FEATURE …]。

输出

  • Y (异构) - T:

    输出张量，其形状和类型与输入张量相同

类型约束

  • T 在 ( tensor(double), tensor(float), tensor(float16) ) 中:

    将输入和输出类型限制为浮点张量。