感知器

类似感知器的模块。

class ConcatMLP(input_dim: int, output_dim: int | None = None, dropout: float = 0.1, ratio: int | float = 2, flatten_dims: int = 2)[源代码]

一个带有ReLU激活和dropout的两层MLP应用于展平的令牌表示。

这是为了方便选择与论文类似的配置。对于更复杂的聚合机制,可以传递任意可调用对象来代替。

初始化模块。

Parameters:
  • input_dim (int) – 输入维度

  • output_dim (int | None) – 输出维度。默认为输入维度

  • dropout (float) – 隐藏层上的dropout值

  • ratio (int | float) – 输出维度与隐藏层大小的比率。

  • flatten_dims (int) – 要展平的尾部维度数量

forward(xs: Tensor, dim: int) Tensor[来源]

在给定维度上转发MLP。

Parameters:
Returns:

应用此MLP后的张量

Return type:

Tensor