PyTorch学习教程（二）-------Autograd：自动微分
%matplotlib inline
Autograd：自动微分
autograd package是PyTorch神经网络的核心。我们先简单看一下，然后开始训练第一个神经网络。
autograd package为张量的所有operations（操作或运算）提供了自动微分。它是一个define-by-run框架，意思是说你的反向传播（backpropagation）是由 如何运行代码 定义的，并且每一个迭代可以是不同的。
用例子和一些简单的术语来看下：
Tensor（张量）
torch.Tensor是包的核心类。如果你设置它的**.requires_grad属性 为 True，它的所有操作都会被跟踪记录。完成计算后可以调用.backward()**方法，并自动计算所有的梯度。这个张量的梯度将会被累积到.grad属性。
你可以调用**.detach()**方法来阻止张量对所有操作的跟踪记录。
阻止跟踪历史的另一种方法是你在代码块外包裹语句 with torch.no_grad(): ，这种方法在模型中训练参数设置了requires_grad=True时依然有效。
实现自动微分的另一个重要的类是Function.(这里function可理解为一个运算。比如加法运算)
Tensor 和 Function相互关联建立了一个非循环图，它记录了完整的计算历史。每一个张量有一个.grad_fn属性，这个属性与创建张量（除了用户自己创建的张量，它们的**.grad_fn**是None）的Function关联。
如果你想要计算导数，你可以调用张量的**.backward()**方法。如果张量是一个标量（例如，它只有一个元素），你不需要指定backward()的参数，然而，如果张量有多个元素，你需要指定一个匹配张量大小的gradient参数。
import torch
创建一个张量，并设置requires_grad=True来跟踪计算。
x = torch.ones(2, 2, requires_grad=True)
print(x)
tensor([[1., 1.],
[1., 1.]], requires_grad=True)
对张量做一个运算:
y = x + 2
print(y)
tensor([[3., 3.],
[3., 3.]], grad_fn=<AddBackward0>)
y是被刚刚的运算（+）创建的，所以它有.grad_fn属性：
print(y.grad_fn)
<AddBackward0 object at 0x00000298859D6278>
对y进行运算：
z = y * y * 3
out = z.mean()
print(z, out)
tensor([[27., 27.],
[27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward1>)
.requires_grad_(…)函数可以改变张量的requires_grad属性。如果该属性未给出，则默认为False。
a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
False
True
<SumBackward0 object at 0x00000298859C8E80>
梯度
有了自动微分，现在我们可以反向传播了。
因为out只是一个简单的标量，out.backward()等价于out.backward(torch.tensor(1))
out.backward()
打印出导数 d(out)/dx
print(x.grad)
tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])
用下图来解释下为什么对out进行反向传播，x的梯度是4.5的矩阵吧：
x = torch.randn(3, requires_grad=True)
y = x * 2
while y.data.norm() < 1000:
y = y * 2
print(y)
tensor([-1016.0380, -869.8464, 611.4693], grad_fn=<MulBackward0>)
你可以用自动微分做更多有趣的事。之前都是对标量进行backward(),不需要参数。下面看下是向量或矩阵时，gradient参数的值对梯度的影响：
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)
print(x.grad)
tensor([5.1200e+01, 5.1200e+02, 5.1200e-02])
如果你不想要跟踪历史并自动微分的时候，你可以在代码块外面包一层：with torch.no_grad():
print(x.requires_grad)
print((x ** 2).requires_grad)
with torch.no_grad():
print((x ** 2).requires_grad)
True
True
False
原文网页：https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html
