Shortcuts

no_grad

class torch.no_grad(orig_func=None)[源代码]

禁用梯度计算的上下文管理器。

禁用梯度计算在推理时非常有用,当你确定不会调用 Tensor.backward()。这将减少那些原本需要 requires_grad=True 的计算的内存消耗。

在这种模式下,每次计算的结果都将具有requires_grad=False,即使输入具有requires_grad=True。但有一个例外!所有工厂函数,或创建新张量并接受requires_grad关键字的函数,将不会受到此模式的影响。

此上下文管理器是线程本地的;它不会影响其他线程中的计算。

也可以作为装饰器使用。

注意

No-grad 是几种可以在本地启用或禁用梯度的机制之一,有关它们如何比较的更多信息,请参见 本地禁用梯度计算

注意

此API不适用于前向模式自动微分。 如果你想为一个计算禁用前向自动微分,你可以解包你的对偶张量。

Example::
>>> x = torch.tensor([1.], requires_grad=True)
>>> with torch.no_grad():
...     y = x * 2
>>> y.requires_grad
False
>>> @torch.no_grad()
... def doubler(x):
...     return x * 2
>>> z = doubler(x)
>>> z.requires_grad
False
>>> @torch.no_grad
... def tripler(x):
...     return x * 3
>>> z = tripler(x)
>>> z.requires_grad
False
>>> # 工厂函数异常
>>> with torch.no_grad():
...     a = torch.nn.Parameter(torch.rand(10))
>>> a.requires_grad
True
优云智算