pytorch之autograd自动求导系统

是的又是我，端午节安康各位小伙伴。久违地可以在家过一次端午节，今天看了不少的视频学习pytorch，看看我的分享吧：

autograd

autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的.
torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性.

torch.autograd.backward

功能：自动求取梯度

torch.autograd.grad

功能：求取梯度

autograd小贴士：

1、梯度不会自动清零
如果多次循环进行运算的话，梯度会不断上升

2、依赖于叶子结点的结点，require_grad默认为True
这是因为计算叶子结点的梯度必须要经过依赖于叶子结点的结点的梯度。这一点有点不好理解，有机会我出一个关于计算图与动态图的专栏。

3、叶子结点不可以执行in-place
因为后续进行求取梯度的时候运用到的叶子结点是叶子结点的地址，如果叶子结点本身发生变化，而地址没有变化，就会导致计算时提取的叶子结点的故障