PyTorch中的自动微分
Pytorch中的自动微分
- 前向与反向传播
- Pytorch的自动微分
- 张量、函数、计算图
- 计算梯度
- 禁用渐变跟踪
- 关于计算图的更多信息
- 张量梯度和雅可比乘积
前向与反向传播——前馈网络
- 前馈神经网络是指单元之间不形成循环的人工神经网络，它与递归神经网络不同。
- 前馈神经网络是设计出来的第一个也是最简单的一类人工神经网络。在这个网络中，信息只向一个方向移动，从输入节点，通过隐藏节点(如果有的话)，再到输出节点，网络中没有循环。
前向与反向传播——导数、梯度、链式法则
- 导数，也叫做导函数值。当函数值增量Δy 与变量 x 的增量Δx 的比值，在Δx 趋近于 0 时，如果极限 a 存在，称 a 为函数 F(x) 在 x 处的导数。
前向与反向传播——导数、梯度、链式法则
- 函数所有偏导数构成的向量就叫做梯度。
- 梯度向量的方向即为函数值增长最快的方向。
- 深度学习模型要学习知识，就要用最快最好的方式来完成，其实就是需要借助梯度来进行。
前向与反向传播——导数、梯度、链式法则
- 深度学习的整个学习过程，其实就是一个更新网络节点之间权重的过程，权重我们一般使用 w 来进行表示。
- 模型就是通过不断地减小损失函数值的方式来进行学习的。让损失函数最小化，通常就要采用梯度下降的方式，即：每一次给模型的权重进行更新的时候，都要按照梯度的反方向进行。
- 因为梯度向量的方向即为函数值增长最快的方向，反方向则是减小最快的方向。模型通过梯度下降的方式，在梯度方向的反方向上不断减小损失函数值，从而进行学习。
前向与反向传播——导数、梯度、链式法则
- 反向传播算法（Backpropagation）是目前训练神经网络最常用且最有效的算法。模型就是通过反向传播的方式来不断更新自身的参数，从而实现了“学习”知识的过程。
-
反向传播的过程是：前向传播→计算误差并传播→迭代
- 前向传播：数据从输入层经过隐藏层最后输出，其过程和之前讲过的前馈网络基本一致。
- 计算误差并传播：计算模型输出结果和真实结果之间的误差，并将这种误差通过某种方式反向传播，即从输出层向隐藏层传递并最后到达输入层。
- 迭代：在反向传播的过程中，根据误差不断地调整模型的参数值，并不断地迭代前面两个步骤，直到达到模型结束训练的条件。
Pytorch中的自动微分
- 自动微分现在已经是深度学习框架的标配，任何模型都需要靠自动微分机制分配模型损失信息，从而更新模型。即在神经网络模型更新计算梯度的时候会用到自动微分的机制。
Pytorch中的自动微分
- 在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。
- 为了计算这些梯度，Pytorch有一个名为torch.autograd的内置微分引擎。它支持自动计算任何计算图形的梯度。
- 考虑最简单的单层神经网络，输入x，参数w和b，以及一些损失函数。可通过以下方式在PyTorch中定义：
Pytorch中的自动微分
import torch
x = torch.ones(5) # input tensor
y = torch.zeros(3) # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)
print('z =',z)
print('loss =',loss)
张量、函数、计算图
- 前面介绍的案例代码定义了这样一张计算图：
- 在这个网络中，w和 b是我们需要优化的参数。因此，我们需要能够计算损失函数相对于这些变量的梯度。为了做到这一点，我们设置了这些张量的requires_grad属性。可以在创建张量时设置requires_grad的值，或稍后使用x.requires_grad_（True）方法设置。
张量、函数、计算图
- 我们应用在张量上来构造计算图的函数，实际是Function类的实例。
- 该对象知道如何计算正向函数，以及如何在反向传播步骤中计算其导数。
- 对反向传播函数的引用存储在张量的grad_fn属性中。
张量、函数、计算图
"""
loss为交叉熵
z为求和函数
"""
print(f"Gradient function for z = {z.grad_fn}")
print(f"Gradient function for loss = {loss.grad_fn}")
计算梯度
- 为了优化神经网络中参数的权重，我们需要计算损失函数对参数的导数，即
∂loss/∂w和∂loss/∂b。在x和y的某些固定值下。为了计算这些导数，我们称之为loss.backward（），然后从w.grad和b.grad中检索值：print(w.grad) print(b.grad) loss.backward() print(w.grad) print(b.grad)
计算梯度(NOTE)
- 我们只能获得计算图的叶节点的梯度属性，其requires_grad属性设置为True。对于图中的所有其他节点，梯度将不可用。
- 出于性能方面的考虑，我们只能在给定的图形上使用backward进行一次梯度计算。如果我们需要在同一个图上执行几个向后调用，我们需要将retain_graph=True传递给向后调用。
禁用渐变跟踪
- 默认情况下，所有requires_grad=True的张量都在跟踪其计算历史并支持梯度计算。然而，在某些情况下，我们不需要这样做，例如，当我们训练了模型，只想将其应用于一些输入数据时，也就是说，我们只想通过网络进行正向计算。我们可以用torch.no_grad()包围计算代码，从而停止跟踪计算。
禁用渐变跟踪
z = torch.matmul(x, w)+b
print(z.requires_grad)
with torch.no_grad():
z = torch.matmul(x, w)+b
print(z.requires_grad)
禁用渐变跟踪
- 实现相同结果的另一种方法是对张量使用detach()方法：
z = torch.matmul(x, w)+b z_det = z.detach() print(z_det.requires_grad)
禁用渐变跟踪
- 禁用渐变跟踪的原因如下：
- 将神经网络中的某些参数标记为冻结参数。这是微调预训练网络的常见场景。
- 当前向传播时可以加快计算速度，因为在不跟踪梯度的张量上计算会更有效。
关于计算图的更多信息
- 从概念上讲，autograd在由function对象组成的有向无环图(DAG，有方向的边在一个图中不会构成一个闭合的环路)中记录数据（张量）和所有执行的操作（以及生成的新张量）。
- 在这个DAG中，叶是输入张量，根是输出张量。通过从根到叶追踪此图，可以使用链规则自动计算梯度。
关于计算图的更多信息
- 在前向传播过程中，autograd同时做两件事：
- 1、运行请求的操作以计算结果张量
- 2、在DAG中维护操作的gradient function。
关于计算图的更多信息
- 在后向传播过程中，从DAG根上调用backward()，然后调用autograd 执行：
- 1、计算每个元素的渐变.grad_fn，
- 2、将它们累加到各自的张量中.grad属性
- 3、使用链式规则，传播到叶张量中。
关于计算图的更多信息(NOTE)
- 在PyTorch中，DAG是动态的。需要注意的一点是，图形是从头开始重新创建的；每次backward（）调用之后，autograd开始生成新的DAG。这正是允许在模型中使用控制流语句的原因；如果需要，可以在每次迭代中更改形状、大小和操作。
张量梯度和雅可比乘积
- 在很多情况下，我们有一个标量损失函数，我们需要计算一些参数的梯度。然而，在某些情况下，输出函数是任意张量。在这种情况下，PyTorch允许您计算所谓的雅可比积，而不是实际的梯度。
张量梯度和雅可比乘积
张量梯度和雅可比乘积
- 对于向量函数y=f(x)，y相对于x的梯度由雅可比矩阵J给出。Pytorch不计算雅可比矩阵本身，而是允许计算给定输入向量v的雅可比积v^T。这是通过以v作为参数向后调用来实现的。v的大小应该与原始张量的大小相同，我们要计算乘积：
张量梯度和雅可比乘积
inp = torch.eye(5, requires_grad=True)
out = (inp+1).pow(2)
out.backward(torch.ones_like(inp), retain_graph=True)
print(f"First call\n{inp.grad}")
out.backward(torch.ones_like(inp), retain_graph=True)
print(f"\nSecond call\n{inp.grad}")
inp.grad.zero_()
out.backward(torch.ones_like(inp), retain_graph=True)
print(f"\nCall after zeroing gradients\n{inp.grad}")
张量梯度和雅可比乘积
- 请注意，当我们第二次使用相同的参数反向调用时，梯度的值是不同的。这是因为在进行反向传播时，Pytork会累积梯度，即计算的梯度值会添加到计算图的所有叶节点的梯度属性中。如果你想计算出合适的梯度，你需要先把梯度属性归零。在实际培训中，优化器可以帮助我们做到这一点。
- 之前我们调用backward()函数时没有参数。这本质上相当于调用backward(torch.tensor(1.0))，这是一种在标量值函数情况下计算梯度的有用方法，例如神经网络训练期间的损失。