PyTorch 文档

PyTorch 是一个使用 GPU 和 CPU 进行深度学习的优化张量库。

本文件中描述的功能按发布状态分类：

稳定: 这些功能将长期维护，通常不会有重大的性能限制或文档中的空白。 我们还预计将保持向后兼容性（尽管可能会发生重大更改，并且会在发布前一个版本时给出通知）。

Beta: 这些功能被标记为Beta，因为API可能会根据用户反馈进行更改，因为性能需要改进，或者因为运营商的覆盖范围尚未完全。对于Beta功能，我们承诺将其推进到稳定分类。然而，我们并不承诺向后兼容。

原型： 这些功能通常不作为二进制分发版（如PyPI或Conda）的一部分提供，除非有时在运行时标志后面，并且处于早期阶段以供反馈和测试。

社区

• PyTorch 治理 | 构建 + CI
• PyTorch 贡献指南
• PyTorch 设计哲学
• PyTorch 治理 | 机制
• PyTorch 治理 | 维护者

开发者笔记

• CUDA 自动混合精度示例
• 自动求导机制
• 广播语义
• CPU 线程与 TorchScript 推理
• CUDA 语义
• 分布式数据并行
• 扩展 PyTorch
• 使用 autograd.Function 扩展 torch.func
• 常见问题
• FSDP 笔记
• 梯度检查机制
• HIP (ROCm) 语义
• 大规模部署的功能
• 模块
• MPS 后端
• 多进程最佳实践
• 数值精度
• 可重复性
• 序列化语义
• Windows 常见问题

语言绑定

• C++
• Javadoc
• torch::deploy

Python API

• torch
  • 张量
  • 生成器
  • 随机采样
  • 序列化
  • 并行性
  • 局部禁用梯度计算
  • 数学运算
  • 实用工具
  • 符号化数字
  • 导出路径
  • 控制流
  • 优化
  • 操作符标签
• torch.nn
  • 参数
  • 未初始化参数
  • 未初始化缓冲区
  • 容器
  • 卷积层
  • 池化层
  • 填充层
  • 非线性激活函数（加权和，非线性）
  • 非线性激活函数（其他）
  • 规范化层
  • 循环层
  • Transformer 层
  • 线性层
  • Dropout 层
  • 稀疏层
  • 距离函数
  • 损失函数
  • 视觉层
  • 混洗层
  • 数据并行层（多GPU，分布式）
  • 实用工具
  • 量化函数
  • 延迟模块初始化
• torch.nn.functional
  • 卷积函数
  • 池化函数
  • 注意力机制
  • 非线性激活函数
  • 线性函数
  • Dropout 函数
  • 稀疏函数
  • 距离函数
  • 损失函数
  • 视觉函数
  • 数据并行函数（多GPU，分布式）
• torch.Tensor
  • 数据类型
  • 初始化和基本操作
  • 张量类参考
• 张量属性
  • torch.dtype
  • torch.device
  • torch.布局
  • torch.memory_format
• 张量视图
• torch.amp
  • 自动转换
  • 梯度缩放
  • 自动转换操作参考
• torch.autograd
  • torch.autograd.backward
  • torch.autograd.grad
  • 前向模式自动微分
  • 功能性更高级别的API
  • 局部禁用梯度计算
  • 默认梯度布局
  • 张量上的就地操作
  • 变量（已弃用）
  • 张量自动求导函数
  • 函数
  • 上下文方法混合
  • 自定义函数工具
  • 数值梯度检查
  • 分析器
  • 调试和异常检测
  • 自动求导图
• torch.library
  • define()
  • impl()
  • impl_abstract()
  • get_ctx()
  • 低级API
• torch.cpu
  • torch.cpu.current_device
  • torch.cpu.current_stream
  • torch.cpu.is_available
  • torch.cpu.synchronize
  • torch.cpu.stream
  • torch.cpu.set_device
  • torch.cpu.device_count
  • StreamContext
  • 流和事件
• torch.cuda
  • StreamContext
  • torch.cuda.can_device_access_peer
  • torch.cuda.当前_blas_句柄
  • torch.cuda.current_device
  • torch.cuda.当前流
  • torch.cuda.默认流
  • 设备
  • torch.cuda.device_count
  • device_of
  • torch.cuda.get_arch_list
  • torch.cuda.get_device_capability
  • torch.cuda.get_device_name
  • torch.cuda.get_device_properties
  • torch.cuda.get_gencode_flags
  • torch.cuda.get_sync_debug_mode
  • torch.cuda.init
  • torch.cuda.ipc_collect
  • torch.cuda.is_available
  • torch.cuda.is_initialized
  • torch.cuda.memory_usage
  • torch.cuda.set_device
  • torch.cuda.设置流
  • torch.cuda.set_同步调试模式
  • torch.cuda.stream
  • torch.cuda.synchronize
  • torch.cuda.utilization
  • torch.cuda.温度
  • torch.cuda.功率消耗
  • torch.cuda.clock_率
  • torch.cuda.内存不足错误
  • 随机数生成器
  • 通信集体
  • 流和事件
  • 图表 (beta)
  • 内存管理
  • NVIDIA 工具扩展 (NVTX)
  • Jiterator (测试版)
  • 流清理器（原型）
• 理解CUDA内存使用
• 生成快照
• 使用可视化工具
  • 活动内存时间线
  • 分配器状态历史
• 快照API参考
  • _record_memory_history()
  • _snapshot()
  • _dump_snapshot()
• torch.mps
  • torch.mps.synchronize
  • torch.mps.get_rng_state
  • torch.mps.set_rng_state
  • torch.mps.manual_seed
  • torch.mps.seed
  • torch.mps.empty_cache
  • torch.mps.set_per_process_内存_分数
  • torch.mps.current_allocated_内存
  • torch.mps.driver_allocated_内存
  • MPS 分析器
  • MPS 事件
• torch.xpu
  • StreamContext
  • torch.xpu.current_device
  • torch.xpu.current_stream
  • 设备
  • torch.xpu.device_count
  • device_of
  • torch.xpu.empty_cache
  • torch.xpu.获取设备能力
  • torch.xpu.获取设备名称
  • torch.xpu.get_device_properties
  • torch.xpu.init
  • torch.xpu.is_available
  • torch.xpu.is_initialized
  • torch.xpu.set_device
  • torch.xpu.set_stream
  • torch.xpu.stream
  • torch.xpu.synchronize
  • 随机数生成器
  • 流和事件
• Meta 设备
  • 使用元张量的惯用语
• torch.backends
  • torch.backends.cpu
  • torch.backends.cuda
  • torch.backends.cudnn
  • torch.backends.mha
  • torch.backends.mps
  • torch.backends.mkl
  • torch.backends.mkldnn
  • torch.backends.nnpack
  • torch.backends.openmp
  • torch.backends.opt_einsum
  • torch.backends.xeon
• torch.export
  • 概述
  • 导出一个PyTorch模型
  • torch.export 的局限性
  • 阅读更多
  • API参考
• torch.distributed
  • 后端
  • 基础
  • 初始化
  • 初始化后
  • 分布式键值存储
  • 组
  • 设备网格
  • 点对点通信
  • 同步和异步集体操作
  • 集体函数
  • 分析集体通信
  • 多GPU集体函数
  • 第三方后端
  • 启动工具
  • 生成工具
  • 调试 torch.distributed 应用程序
  • 日志记录
• torch.distributed.algorithms.join
  • Join
  • Joinable
  • JoinHook
• torch.distributed.elastic
  • 开始使用
  • 文档
• torch.distributed.fsdp
  • FullyShardedDataParallel
  • BackwardPrefetch
  • 分片策略
  • 混合精度
  • CPUOffload
  • StateDictConfig
  • FullStateDictConfig
  • ShardedStateDictConfig
  • LocalStateDictConfig
  • OptimStateDictConfig
  • FullOptimStateDictConfig
  • ShardedOptimStateDictConfig
  • LocalOptimStateDictConfig
  • StateDictSettings
• torch.distributed.optim
  • DistributedOptimizer
  • PostLocalSGDOptimizer
  • ZeroRedundancyOptimizer
• torch.distributed.tensor.parallel
  • parallelize_module()
  • ColwiseParallel
  • 行级并行
  • 序列并行
  • PrepareModuleInput
  • PrepareModuleOutput
  • loss_parallel()
• torch.distributed.checkpoint
  • save()
  • async_save()
  • save_state_dict()
  • load()
  • load_state_dict()
  • Stateful
  • StorageReader
  • StorageWriter
  • LoadPlanner
  • LoadPlan
  • 读取项
  • SavePlanner
  • SavePlan
  • WriteItem
  • 文件系统读取器
  • 文件系统写入器
  • FsspecReader
  • FsspecWriter
  • 默认保存计划器
  • 默认加载计划器
  • get_state_dict()
  • get_model_state_dict()
  • get_optimizer_state_dict()
  • set_state_dict()
  • set_model_state_dict()
  • set_optimizer_state_dict()
  • StateDictOptions
  • dcp_to_torch_save()
  • torch_save_to_dcp()
  • BroadcastingTorchSaveReader
  • DynamicMetaLoadPlanner
• torch.distributions
  • 评分函数
  • 路径导数
  • 分布
  • 指数族
  • 伯努利
  • 贝塔
  • 二项分布
  • 分类
  • 柯西
  • 卡方
  • 连续伯努利
  • 狄利克雷
  • 指数
  • 费舍尔-斯内德克
  • 伽马
  • 几何分布
  • 耿贝尔
  • 半柯西
  • 半正态
  • 独立
  • 逆伽马
  • Kumaraswamy
  • LKJCholesky
  • 拉普拉斯
  • 对数正态
  • 低秩多元正态分布
  • 相同家族混合
  • 多项式
  • 多元正态分布
  • 负二项分布
  • 正态
  • 独热分类
  • 帕累托
  • 泊松
  • RelaxedBernoulli
  • LogitRelaxedBernoulli
  • 松弛单热分类
  • 学生T
  • 转换分布
  • 均匀
  • 冯·米塞斯
  • 威布尔
  • Wishart
  • KL 散度
  • 变换
  • 约束
  • 约束注册表
• torch.compiler
  • 阅读更多
• torch.fft
  • 快速傅里叶变换
  • 辅助函数
• torch.func
  • 什么是可组合函数变换？
  • 为什么使用可组合的函数变换？
  • 阅读更多
• torch.futures
  • 未来
  • collect_all()
  • wait_all()
• torch.fx
  • 概述
  • 编写转换
  • 调试
  • 符号追踪的局限性
  • API 参考
• torch.fx.experimental
  • torch.fx.experimental.symbolic_shapes
• torch.hub
  • 发布模型
  • 从Hub加载模型
• torch.jit
  • TorchScript 语言参考
  • 创建TorchScript代码
  • 混合追踪和脚本
  • TorchScript 语言
  • 内置函数和模块
  • 调试
  • 常见问题
  • 已知问题
  • 附录
• torch.linalg
  • 矩阵属性
  • 分解
  • 求解器
  • 逆矩阵
  • 矩阵函数
  • 矩阵乘积
  • 张量操作
  • 杂项
  • 实验性函数
• torch.monitor
  • API参考
• torch.信号
  • torch.signal.windows
• torch.special
  • 函数
• torch.overrides
  • 函数
• torch.package
  • 教程
  • 我如何…
  • 解释
  • API 参考
• torch.profiler
  • 概述
  • API 参考
  • 英特尔检测和跟踪技术API
• torch.nn.init
  • calculate_gain()
  • uniform_()
  • normal_()
  • constant_()
  • ones_()
  • zeros_()
  • eye_()
  • dirac_()
  • xavier_uniform_()
  • xavier_normal_()
  • kaiming_uniform_()
  • kaiming_normal_()
  • trunc_normal_()
  • orthogonal_()
  • sparse_()
• torch.nn.attention
  • 工具
  • 子模块
• torch.onnx
  • 概述
  • 基于TorchDynamo的ONNX导出器
  • 基于TorchScript的ONNX导出器
  • 贡献 / 开发
• torch.optim
  • 如何使用优化器
  • 基类
  • 算法
  • 如何调整学习率
  • 权重平均 (SWA 和 EMA)
• 复数
  • 创建复数张量
  • 从旧表示法的过渡
  • 访问实部和虚部
  • 角度和绝对值
  • 线性代数
  • 序列化
  • Autograd
• DDP 通信钩子
  • 如何使用通信钩子？
  • 通信钩子操作的对象是什么？
  • 默认通信钩子
  • PowerSGD 通信钩子
  • 调试通信钩子
  • 通信钩子的检查点
  • 致谢
• 流水线并行
  • 使用多GPU的模型并行
  • 流水线执行
  • PyTorch中的管道API
  • 教程
  • 致谢
• 量化
  • 量化简介
  • 量化API总结
  • 量化栈
  • 量化支持矩阵
  • 量化API参考
  • 量化后端配置
  • 量化精度调试
  • 量化自定义
  • 最佳实践
  • 常见问题
  • 常见错误
• 分布式 RPC 框架
  • 基础
  • 远程过程调用
  • RRef
  • 远程模块
  • 分布式自动求导框架
  • 分布式优化器
  • 设计笔记
  • 教程
• torch.random
  • fork_rng()
  • get_rng_state()
  • initial_seed()
  • manual_seed()
  • seed()
  • set_rng_state()
• torch.masked
  • 介绍
  • 支持的运算符
• torch.nested
  • 介绍
  • 构造
  • 大小
  • 解绑
  • 嵌套张量构造函数和转换函数
  • 支持的操作
• torch.sparse
  • 何时以及为何使用稀疏性
  • 功能概述
  • 操作符概述
  • 稀疏半结构化张量
  • 稀疏COO张量
  • 稀疏压缩张量
  • 支持的操作
• torch.Storage
  • TypedStorage
  • UntypedStorage
  • 双精度存储
  • 浮点存储
  • HalfStorage
  • LongStorage
  • IntStorage
  • 短存储
  • 字符存储
  • 字节存储
  • BoolStorage
  • BFloat16Storage
  • ComplexDoubleStorage
  • ComplexFloatStorage
  • QUInt8Storage
  • QInt8Storage
  • QInt32Storage
  • QUInt4x2Storage
  • QUInt2x4Storage
• torch.测试
  • assert_close()
  • make_tensor()
  • assert_allclose()
• torch.utils
  • torch.utils.重命名_privateuse1_后端
  • torch.utils.generate_methods_for_privateuse1_backend
  • torch.utils.get_cpp_backtrace
  • torch.utils.设置模块
  • torch.utils.交换张量
• torch.utils.benchmark
  • 计时器
  • 测量
  • CallgrindStats
  • FunctionCounts
• torch.utils.bottleneck
• torch.utils.checkpoint
  • checkpoint()
  • checkpoint_sequential()
  • set_checkpoint_debug_enabled()
• torch.utils.cpp_extension
  • CppExtension()
  • CUDAExtension()
  • BuildExtension()
  • load()
  • load_inline()
  • include_paths()
  • get_compiler_abi_compatibility_and_version()
  • verify_ninja_availability()
  • is_ninja_available()
• torch.utils.data
  • 数据集类型
  • 数据加载顺序和Sampler
  • 加载批处理和非批处理数据
  • 单进程和多进程数据加载
  • 内存锁定
• torch.utils.deterministic
  • fill_uninitialized_memory
• torch.utils.jit
• torch.utils.dlpack
  • from_dlpack()
  • to_dlpack()
• torch.utils.mobile_optimizer
  • optimize_for_mobile()
• torch.utils.model_zoo
  • load_url()
• torch.utils.tensorboard
  • SummaryWriter
• 类型信息
  • torch.finfo
  • torch.iinfo
• 命名张量
  • 创建命名张量
  • 命名维度
  • 名称传播语义
  • 通过名称进行显式对齐
  • 操作维度
  • 自动求导支持
  • 当前支持的操作和子系统
  • 命名张量 API 参考
• 命名张量操作符覆盖
  • 保留输入名称
  • 移除维度
  • 统一输入中的名称
  • 置换维度
  • 合约消除维度
  • 工厂函数
  • 输出函数和就地变体
• torch.__config__
  • show()
  • parallel_info()
• torch.__future__
  • set_overwrite_module_params_on_conversion()
  • get_overwrite_module_params_on_conversion()
  • set_swap_module_params_on_conversion()
  • get_swap_module_params_on_conversion()
• torch._logging
  • torch._logging.set_logs
• Torch 环境变量
  • 线程环境变量
  • CUDA 环境变量
  • 调试环境变量
  • 杂项环境变量
  • torch._logging

库

• torchaudio
• TorchData
• TorchRec
• TorchServe
• torchtext
• torchvision
• PyTorch on XLA Devices

索引和表格

• 索引

• 模块索引