残差网络可以缓解梯度消失，在论文中解释的很清楚啊。可以用如下公式解释:

x_l+1 = x_l + F(x_l, W_l)
x_l+2 = x_l+1 + F(x_l+1, W_l+1)
依次类推，可以得到第L层的输入为：
$x_{L} = x_{l} + \sum_{i=1}^{L-1}F(x_i, W_i)$
设损失函数为 $\epsilon$ 则：
$\frac{\partial\epsilon}{\partial{x_l}} = \frac{\partial\epsilon}{\partial{x_L}}\frac{\partial{x_L}}{\partial{x_l}} = \frac{\partial\epsilon}{\partial{x_L}}(1 + \frac{\partial}{\partial{x_l}}\sum_{i=l}^{L-1}F(x_i, W_i))$
从上式可以看出，从第L层到它之前的任意l层有两条传播路径，第一条传播路径不经过任何中间层，这对梯度消失起到了缓解作用。另外，在一个mini-batch中，一般来说，对于所有的样本 $\frac{\partial}{\partial{x_l}}\sum_{i=l}^{L-1}F(x_i, W_i)$ 都是-1的可能性不大。这就意味着即使所有的weights都取很小的值，梯度也不会消失。

至于为什么既然relu的梯度只有0和1，为什么还会梯度消失，可以举一个简单的例子。

假如f(x) = 0.1x，g(x)是relu函数。
x₁ = g(f(x₀))
x₂ = g(f(x₁))
那么：
x₂ = g(f(g(f(x₀))))
假设这个复合函数中relu全部都在正半轴区域，即梯度为1的区域。我们会得到：
$\frac{\partial{x_2}}{\partial{x_0}} = 0.01$
神经网络中不只relu这一种变换，其他的变换同样可以影响梯度值。故relu只是相对于其他激活函数可以缓解梯度消失，并不能消除。

创作者周榜