RMSNorm

class torchtune.modules.RMSNorm(dim: int, eps: float = 1e-06)

fp32中的均方根归一化。

参见：https://pytorch.org/docs/stable/generated/torch.nn.RMSNorm.html

Parameters:

• dim (int) – 嵌入大小

• eps (float) – 用于避免除以零的小值。默认值：1e-6

forward(x: Tensor) → Tensor

Parameters:

x (torch.Tensor) – 要标准化的输入张量

Returns:

归一化和缩放的张量，其形状与x相同。

Return type:

torch.Tensor