下面哪些方法有助于解决深度网络的梯度消失问题（）

[不定项选择题]

```
控制网络深度
```
```
使用Sigmoid激活函数
```
```
预训练+微调
```
```
使用ReLU激活函数
```
```
采用Batch Normalization
```
```
使用残差结构
```
```
使用LSTM
```

查看答案及解析

篱微

<p>为什么用预训练 + 微调可以缓解？</p>

发表于 2020-11-18 01:18:20 回复(1)

DeShuiYu

为什么使用Sigmoid激活函数不可以，为什么lstm能解决梯度消失问题

编辑于 2020-09-27 15:46:09 回复(3)

牛客686278979号

relu只是缓解吧，在0-1的范围内是没用的。

发表于 2021-09-29 16:36:08 回复(0)

blackey-endless

AD都能理解，F残差不仅接受上一层的输出还接受原始输入，G长短期记忆所说的梯度消失和CNN等不一样，指的是远距离梯度越穿越弱，因此梯度由近距离掌控，LSTM通过对近距离的适当遗忘来控制。E是通过将输入归一化到函数敏感的区域，来避免梯度消失，需要在每层输入前进行BN操作。为什么选c我就不理解了，个人猜测是将原本的训练任务分成了预训练+微调，等于减少了网络的层数，即预训练时不涉及到后面微调层的参数。个人拙见，欢迎指正

发表于 2021-09-22 17:07:27 回复(0)