运算符

torchvision.ops 实现了专门用于计算机视觉的运算符、损失函数和层。

注意

所有运算符都原生支持TorchScript。

检测和分割操作符

以下操作符执行对象检测和分割模型中所需的预处理和后处理。

batched_nms(boxes, scores, idxs, iou_threshold)	以批处理方式执行非最大抑制。
masks_to_boxes(masks)	计算提供的掩码周围的边界框。
nms(boxes, scores, iou_threshold)	根据它们的交并比（IoU）对框执行非极大值抑制（NMS）。
roi_align(input, boxes, output_size[, ...])	执行带有平均池化的感兴趣区域（RoI）对齐操作符，如Mask R-CNN中所述。
roi_pool(input, boxes, output_size[, ...])	执行在Fast R-CNN中描述的感兴趣区域（RoI）池化操作
ps_roi_align(input, boxes, output_size[, ...])	执行Light-Head R-CNN中提到的位置敏感感兴趣区域（RoI）对齐操作。
ps_roi_pool(input, boxes, output_size[, ...])	执行R-FCN中描述的位置敏感感兴趣区域（RoI）池化操作

FeaturePyramidNetwork(in_channels_list, ...)	模块，用于在一组特征图之上添加FPN。
MultiScaleRoIAlign(featmap_names, ...[, ...])	多尺度RoIAlign池化，这对于使用或不使用FPN的检测非常有用。
RoIAlign(output_size, spatial_scale, ...[, ...])	参见 roi_align()。
RoIPool(output_size, spatial_scale)	参见 roi_pool().
PSRoIAlign(output_size, spatial_scale, ...)	参见 ps_roi_align()。
PSRoIPool(output_size, spatial_scale)	参见 ps_roi_pool().

盒子操作符

这些实用函数对边界框执行各种操作。

box_area(boxes)	计算一组边界框的面积，这些边界框由其 (x1, y1, x2, y2) 坐标指定。
box_convert(boxes, in_fmt, out_fmt)	将torch.Tensor的框从给定的in_fmt转换为out_fmt。
box_iou(boxes1, boxes2)	返回两组框之间的交并比（Jaccard指数）。
clip_boxes_to_image(boxes, size)	裁剪框，使其位于大小为 size 的图像内。
complete_box_iou(boxes1, boxes2[, eps])	返回两组框之间的完整交并比（Jaccard指数）。
distance_box_iou(boxes1, boxes2[, eps])	返回两组框之间的距离交并比（Jaccard指数）。
generalized_box_iou(boxes1, boxes2)	返回两组框之间的广义交并比（Jaccard指数）。
remove_small_boxes(boxes, min_size)	从boxes中移除每个包含至少一个边长小于min_size的盒子。

损失

以下视觉特定的损失函数已实现：

complete_box_iou_loss(boxes1, boxes2[, ...])	梯度友好的IoU损失，当框不重叠时，附加的惩罚不为零。
distance_box_iou_loss(boxes1, boxes2[, ...])	梯度友好的IoU损失，当框中心之间的距离不为零时，会有额外的惩罚。
generalized_box_iou_loss(boxes1, boxes2[, ...])	梯度友好的IoU损失，当框不重叠时，附加的惩罚不为零，并且随着它们最小包围框的大小而缩放。
sigmoid_focal_loss(inputs, targets[, alpha, ...])	RetinaNet中用于密集检测的损失函数：https://arxiv.org/abs/1708.02002。

层

TorchVision 提供了常用的构建块作为层：

Conv2dNormActivation(in_channels, ...)	用于Convolution2d-Normalization-Activation块的可配置块。
Conv3dNormActivation(in_channels, ...)	用于Convolution3d-Normalization-Activation块的可配置块。
DeformConv2d(in_channels, out_channels, ...)	参见 deform_conv2d()。
DropBlock2d(p, block_size[, inplace, eps])	参见 drop_block2d()。
DropBlock3d(p, block_size[, inplace, eps])	参见 drop_block3d()。
FrozenBatchNorm2d(num_features[, eps])	BatchNorm2d，其中批次统计数据和仿射参数是固定的
MLP(in_channels, hidden_channels, ...)	该模块实现了多层感知器（MLP）模块。
Permute(dims)	该模块返回一个张量输入的视图，其维度被重新排列。
SqueezeExcitation(input_channels, ...)	该模块实现了来自https://arxiv.org/abs/1709.01507的Squeeze-and-Excitation模块（见图。
StochasticDepth(p, mode)	参见 stochastic_depth()。

deform_conv2d(input, offset, weight[, bias, ...])	执行可变形卷积v2，描述在Deformable ConvNets v2: More Deformable, Better Results中，如果mask不是None；如果mask是None，则执行可变形卷积，描述在Deformable Convolutional Networks中。
drop_block2d(input, p, block_size[, ...])	实现来自"DropBlock: A regularization method for convolutional networks" 的DropBlock2d。
drop_block3d(input, p, block_size[, ...])	实现来自"DropBlock: 卷积网络的正则化方法" 的DropBlock3d。
stochastic_depth(input, p, mode[, training])	实现了来自"Deep Networks with Stochastic Depth"的随机深度，用于随机丢弃残差架构的残差分支。