torch.nn.functional

卷积函数

conv1d	对由多个输入平面组成的输入信号应用一维卷积。
conv2d	对由多个输入平面组成的输入图像应用二维卷积。
conv3d	对由多个输入平面组成的输入图像应用3D卷积。
conv_transpose1d	对由多个输入平面组成输入信号应用一维转置卷积运算符，有时也称为“反卷积”。
conv_transpose2d	对由多个输入平面组成的输入图像应用二维转置卷积运算符，有时也称为“反卷积”。
conv_transpose3d	对由多个输入平面组成的输入图像应用3D转置卷积操作，有时也称为“反卷积”
unfold	从批量输入张量中提取滑动局部块。
fold	将一组滑动局部块组合成一个大的包含张量。

池化函数

avg_pool1d	对由多个输入平面组成的输入信号应用一维平均池化。
avg_pool2d	在 $kH \times kW$ 区域中应用2D平均池化操作，步长为 $sH \times sW$。
avg_pool3d	在 $kT \times kH \times kW$ 区域中应用3D平均池化操作，步长为 $sT \times sH \times sW$。
max_pool1d	对由多个输入平面组成的输入信号应用一维最大池化。
max_pool2d	对由多个输入平面组成的输入信号应用二维最大池化。
max_pool3d	对由多个输入平面组成的输入信号应用3D最大池化。
max_unpool1d	计算 MaxPool1d 的部分逆。
max_unpool2d	计算 MaxPool2d 的部分逆。
max_unpool3d	计算 MaxPool3d 的部分逆运算。
lp_pool1d	对由多个输入平面组成的输入信号应用一维幂平均池化。
lp_pool2d	对由多个输入平面组成的输入信号应用二维幂平均池化。
lp_pool3d	对由多个输入平面组成的输入信号应用3D幂平均池化。
adaptive_max_pool1d	对由多个输入平面组成的输入信号应用一维自适应最大池化。
adaptive_max_pool2d	对由多个输入平面组成的输入信号应用二维自适应最大池化。
adaptive_max_pool3d	对由多个输入平面组成的输入信号应用3D自适应最大池化。
adaptive_avg_pool1d	对由多个输入平面组成的输入信号应用一维自适应平均池化。
adaptive_avg_pool2d	对由多个输入平面组成的输入信号应用二维自适应平均池化。
adaptive_avg_pool3d	对由多个输入平面组成的输入信号应用3D自适应平均池化。
fractional_max_pool2d	对由多个输入平面组成的输入信号应用2D分数最大池化。
fractional_max_pool3d	对由多个输入平面组成的输入信号应用3D分数最大池化。

注意力机制

The torch.nn.attention.bias 模块包含用于与 scaled_dot_product_attention 一起使用的 attention_biases。

scaled_dot_product_attention

计算查询、键和值张量上的缩放点积注意力，如果传入了可选的注意力掩码，则使用该掩码，并在指定的概率大于0.0时应用dropout。

非线性激活函数

threshold	对输入张量的每个元素应用一个阈值。
threshold_	原地版本的 threshold()。
relu	逐元素应用修正线性单元函数。
relu_	原地版本的 relu()。
hardtanh	逐元素应用HardTanh函数。
hardtanh_	原地版本的 hardtanh()。
hardswish	逐元素应用hardswish函数。
relu6	对每个元素应用函数 $\text{ReLU6}(x) = \min(\max(0,x), 6)$。
elu	逐元素应用指数线性单元（ELU）函数。
elu_	原地版本的 elu()。
selu	逐元素应用，$\text{SELU}(x) = scale * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$，其中$\alpha=1.6732632423543772848170429916717$ 和 $scale=1.0507009873554804934193349852946$。
celu	逐元素应用，$\text{CELU}(x) = \max(0,x) + \min(0, \alpha * (\exp(x/\alpha) - 1))$。
leaky_relu	逐元素应用，$\text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x)$
leaky_relu_	原地版本的 leaky_relu()。
prelu	对元素应用函数 $\text{PReLU}(x) = \max(0,x) + \text{weight} * \min(0,x)$ 其中 weight 是一个可学习的参数。
rrelu	随机化漏泄ReLU。
rrelu_	原地版本的 rrelu()。
glu	门控线性单元。
gelu	当近似参数为'none'时，它对元素应用函数 $\text{GELU}(x) = x * \Phi(x)$。
logsigmoid	逐元素应用 $\text{LogSigmoid}(x_i) = \log \left(\frac{1}{1 + \exp(-x_i)}\right)$
hardshrink	逐元素应用硬收缩函数
tanhshrink	逐元素应用，$\text{Tanhshrink}(x) = x - \text{Tanh}(x)$
softsign	逐元素应用函数 $\text{SoftSign}(x) = \frac{x}{1 + |x|}$
softplus	逐元素应用函数 $\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$.
softmin	应用一个软最小值函数。
softmax	应用一个softmax函数。
softshrink	逐元素应用软收缩函数
gumbel_softmax	从Gumbel-Softmax分布中采样（链接1 链接2）并可选择离散化。
log_softmax	应用一个softmax，然后取对数。
tanh	逐元素应用，$\text{Tanh}(x) = \tanh(x) = \frac{\exp(x) - \exp(-x)}{\exp(x) + \exp(-x)}$
sigmoid	应用逐元素函数 $\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}$
hardsigmoid	逐元素应用Hardsigmoid函数。
silu	逐元素应用Sigmoid线性单元（SiLU）函数。
mish	应用 Mish 函数，逐元素进行。
batch_norm	对一批数据中的每个通道应用批量归一化。
group_norm	对最后若干维度应用组归一化。
instance_norm	对批次中的每个数据样本的每个通道独立应用实例归一化。
layer_norm	对最后若干维度应用层归一化。
local_response_norm	对输入信号应用局部响应归一化。
标准化	对指定维度上的输入执行$L_p$归一化。

线性函数

线性	对传入的数据应用线性变换：$y = xA^T + b$。
双线性	对传入的数据应用双线性变换：$y = x_1^T A x_2 + b$

Dropout 函数

dropout	在训练过程中，以概率 p 随机将输入张量的一些元素置为零。
alpha_dropout	对输入应用alpha dropout。
feature_alpha_dropout	随机遮蔽整个通道（一个通道是一个特征图）。
dropout1d	随机将整个通道置零（一个通道是一个1D特征图）。
dropout2d	随机将整个通道置零（一个通道是一个2D特征图）。
dropout3d	随机将整个通道置零（一个通道是一个3D特征图）。

稀疏函数

embedding	生成一个简单的查找表，用于在固定字典和大小中查找嵌入。
embedding_bag	计算嵌入向量包的总和、均值或最大值。
one_hot	接受形状为 (*) 的 LongTensor 索引值，并返回一个形状为 (*, num_classes) 的张量，该张量在除最后一个维度的索引与输入张量的相应值匹配的位置外，其他位置均为零，在这些匹配位置上值为 1。

距离函数

pairwise_distance	详情请参见 torch.nn.PairwiseDistance
余弦相似度	返回 x1 和 x2 之间的余弦相似度，沿 dim 计算。
pdist	计算输入中每对行向量之间的p范数距离。

损失函数

二元交叉熵	测量目标和输入概率之间的二元交叉熵。
binary_cross_entropy_with_logits	计算目标和输入对数之间的二进制交叉熵。
poisson_nll_loss	泊松负对数似然损失。
cosine_embedding_loss	详情请参见 CosineEmbeddingLoss。
cross_entropy	计算输入logits与目标之间的交叉熵损失。
ctc_loss	应用连接时序分类损失。
gaussian_nll_loss	高斯负对数似然损失。
hinge_embedding_loss	详情请参见 HingeEmbeddingLoss。
kl_div	计算KL散度损失。
l1_loss	函数用于计算逐元素绝对值差异的平均值。
mse_loss	测量元素级的均方误差。
margin_ranking_loss	详情请参见 MarginRankingLoss。
multilabel_margin_loss	详情请参见 MultiLabelMarginLoss。
multilabel_soft_margin_loss	详情请参见 MultiLabelSoftMarginLoss。
multi_margin_loss	详情请参见 MultiMarginLoss。
nll_loss	计算负对数似然损失。
huber_loss	计算Huber损失。
smooth_l1_loss	计算平滑 L1 损失。
soft_margin_loss	详情请参见 SoftMarginLoss。
triplet_margin_loss	计算给定输入张量之间的三重损失，并使用大于0的边际值。
triplet_margin_with_distance_loss	使用自定义距离函数计算输入张量的三元组边缘损失。

视觉功能

pixel_shuffle	重新排列形状为 $(*, C \times r^2, H, W)$ 的张量中的元素为形状为 $(*, C, H \times r, W \times r)$ 的张量，其中 r 是 upscale_factor。
pixel_unshuffle	通过重新排列形状为 $(*, C, H \times r, W \times r)$ 的张量中的元素，反转 PixelShuffle 操作，得到形状为 $(*, C \times r^2, H, W)$ 的张量，其中 r 是 downscale_factor。
pad	填充张量。
插值	对输入进行下采样/上采样。
上采样	上采样输入。
upsample_nearest	使用最近邻像素值对输入进行上采样。
双线性上采样	使用双线性上采样对输入进行上采样。
grid_sample	计算网格采样。
affine_grid	生成二维或三维流场（采样网格），给定一批仿射矩阵 theta。

DataParallel 函数（多GPU，分布式）

数据并行

torch.nn.parallel.data_parallel

在 device_ids 中指定的 GPU 上并行评估模块(input)。