torch_frame.nn.encoding.PositionalEncoding

class PositionalEncoding(out_size: int)

基础类: Module

位置编码在“Attention Is All You Need”论文中引入。给定一个形状为(*, )的输入张量，此编码将其扩展为形状为(*, out_size)的输出张量。

Parameters:

out_size (int) – 输出维度大小。

forward(input_tensor: Tensor) → Tensor

定义每次调用时执行的计算。

应该由所有子类覆盖。

注意

尽管前向传递的配方需要在此函数内定义，但之后应该调用Module实例而不是这个，因为前者负责运行已注册的钩子，而后者则默默地忽略它们。