自动微分与 `torch.autograd`¶

创建时间：2021年2月10日 | 最后更新：2024年1月16日 | 最后验证：2024年11月5日

在训练神经网络时，最常用的算法是 反向传播。在这个算法中，参数（模型权重）会根据给定参数相对于损失函数的梯度进行调整。

要计算这些梯度，PyTorch 具有一个内置的微分引擎torch.autograd。它支持任意计算图的自动梯度计算。

考虑最简单的单层神经网络，输入为x，参数为w和b，以及一些损失函数。它可以用以下方式在PyTorch中定义：

import torch

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

张量、函数和计算图¶

此代码定义了以下计算图：

在该网络中，w 和 b 是参数，我们需要优化它们。因此，我们需要能够计算损失函数关于这些变量的梯度。为了做到这一点，我们设置了这些张量的requires_grad 属性。

注意

您可以在创建张量时设置requires_grad的值，或者稍后通过使用x.requires_grad_(True)方法来设置。

应用于张量以构建计算图的函数实际上是一个Function类的对象。该对象知道如何在前向方向上计算函数，并且也知道如何在反向传播步骤中计算其导数。反向传播函数的引用存储在张量的grad_fn属性中。你可以在Function文档中找到更多信息。

print(f"Gradient function for z = {z.grad_fn}")
print(f"Gradient function for loss = {loss.grad_fn}")

Gradient function for z = <AddBackward0 object at 0x7f9c83065180>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x7f9c8118fca0>

计算梯度¶

为了优化神经网络中参数的权重，我们需要计算损失函数对参数的导数，即在某些固定值的 x 和 y 下，我们需计算 \(\frac{\partial loss}{\partial w}\) 和 \(\frac{\partial loss}{\partial b}\) 的导数。为了计算这些导数，我们调用 loss.backward()，然后从 w.grad 和 b.grad 中检索值：

loss.backward()
print(w.grad)
print(b.grad)

tensor([[0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530]])
tensor([0.3313, 0.0626, 0.2530])

注意

我们只能获得计算图中的叶节点的 grad 个属性，这些叶节点的属性集被设置为 True。对于我们图中的其他所有节点，梯度将不可用。
我们只能在给定的图上执行一次梯度计算， backward 由于性能原因。如果我们需要在同一张图上进行多次 backward 调用，我们需要传递 retain_graph=True 到 backward 调用。

禁用梯度跟踪¶

默认情况下，所有带有 requires_grad=True 的张量都会跟踪其计算历史并支持梯度计算。然而，在某些情况下我们不需要这样做，例如当我们训练好模型只想对一些输入数据进行应用，即我们只想通过网络进行前向计算。我们可以通过用 torch.no_grad() 块包围我们的计算代码来停止跟踪计算：

z = torch.matmul(x, w)+b
print(z.requires_grad)

with torch.no_grad():
    z 

自动微分与 torch.autograd¶

张量、函数和计算图¶

计算梯度¶

禁用梯度跟踪¶

自动微分与 `torch.autograd`¶