首页 > 试题广场 >

如何解决梯度消失和梯度爆炸？

[问答题]

如何解决梯度消失和梯度爆炸？

查看答案及解析
添加回答
牛客Cver头像 牛客Cver
当神经网络很深时，梯度呈指数级增长，最后到输入时，梯度将会非常大，这样能够得到一个非常大的权重更新，这就是梯度爆炸的问题，在循环神经网络中最为常见。
解决方案有：
  • 非饱和的激活函数（如 ReLU）
  • 批量规范化（Batch Normalization）
  • 梯度截断（Gradient Clipping）
发表于 2020-02-14 16:39:57 回复(0)
提交观点

问题信息

算法工程师 金山WPS
来自：金山办公2020校招计...
上传者：小小
难度：
1条回答 1228浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号