BN的归一化操作放在激活前还是激活后,两种有什么区别

大佬们求解答,面试之前被问到了,我回答的是激活函数前,但是好像听说可以放在激活函数之后,不懂啊,两者有什么区别,有大佬解答下吗?谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid:如果先BN再Sigmoid,由于BN后方差接近于1,均值接近于0,使得BN后的数据接近于Sigmoid的线性区域,降低了激活函数的非线性能力,这种情况下建议Sigmoid+BN。Relu:如果先Relu再BN,Relu后部分神经元已经失活,失活的神经元将对BN的归一化产生影响,这种情况下建议BN+Relu。来自知乎,遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
都可以
点赞 回复 分享
发布于 2020-05-03 12:00
&先BN后激活吧,否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
艾玛。。只怪我当初设计模型结构的时候不走心,现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07

相关推荐

不愿透露姓名的神秘牛友
02-12 10:05
小米集团 算法工程师 28.0k*15.0
泡沫灬一触即破:楼上那个看来是看人拿高薪,自己又不如意搁这泄愤呢是吧,看你过往评论很难不怀疑你的精神状态
点赞 评论 收藏
分享
肥沃富饶:可能初创公司,老板不懂技术
点赞 评论 收藏
分享
01-26 22:20
已编辑
门头沟学院 Java
Java抽象带篮子:项目很nb了,现在好好准备八股和算法吧,早点找实习,可以看看我的置顶帖子。帖子里写了怎么改简历,怎么包装实习经历,还有2个高质量可速成的项目话术,和我的牛客八股笔记专栏
点赞 评论 收藏
分享
评论
3
5
分享

创作者周榜

更多
牛客网
牛客企业服务