no_grad¶
- class torch.no_grad(orig_func=None)[源代码]¶
禁用梯度计算的上下文管理器。
禁用梯度计算在推理时非常有用,当你确定不会调用
Tensor.backward()。这将减少那些原本需要 requires_grad=True 的计算的内存消耗。在这种模式下,每次计算的结果都将具有requires_grad=False,即使输入具有requires_grad=True。但有一个例外!所有工厂函数,或创建新张量并接受requires_grad关键字的函数,将不会受到此模式的影响。
此上下文管理器是线程本地的;它不会影响其他线程中的计算。
也可以作为装饰器使用。
注意
No-grad 是几种可以在本地启用或禁用梯度的机制之一,有关它们如何比较的更多信息,请参见 本地禁用梯度计算。
注意
此API不适用于前向模式自动微分。 如果你想为一个计算禁用前向自动微分,你可以解包你的对偶张量。
- Example::
>>> x = torch.tensor([1.], requires_grad=True) >>> with torch.no_grad(): ... y = x * 2 >>> y.requires_grad False >>> @torch.no_grad() ... def doubler(x): ... return x * 2 >>> z = doubler(x) >>> z.requires_grad False >>> @torch.no_grad ... def tripler(x): ... return x * 3 >>> z = tripler(x) >>> z.requires_grad False >>> # 工厂函数异常 >>> with torch.no_grad(): ... a = torch.nn.Parameter(torch.rand(10)) >>> a.requires_grad True