BN的归一化操作放在激活前还是激活后,两种有什么区别

大佬们求解答,面试之前被问到了,我回答的是激活函数前,但是好像听说可以放在激活函数之后,不懂啊,两者有什么区别,有大佬解答下吗?谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid:如果先BN再Sigmoid,由于BN后方差接近于1,均值接近于0,使得BN后的数据接近于Sigmoid的线性区域,降低了激活函数的非线性能力,这种情况下建议Sigmoid+BN。Relu:如果先Relu再BN,Relu后部分神经元已经失活,失活的神经元将对BN的归一化产生影响,这种情况下建议BN+Relu。来自知乎,遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
都可以
点赞 回复 分享
发布于 2020-05-03 12:00
&先BN后激活吧,否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
艾玛。。只怪我当初设计模型结构的时候不走心,现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07

相关推荐

整顿职场的柯基很威猛:这种不可怕,最可怕的是夹在一帮名校里的二本选手,人家才是最稳的。
点赞 评论 收藏
分享
评论
3
5
分享
牛客网
牛客企业服务