BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#

全部评论

推荐最新楼层

成都孙笑川

华南理工大学算法工程师

一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。

3 回复分享

发布于 2020-05-03 13:50

已注销

都可以

点赞回复分享

发布于 2020-05-03 12:00

OutlawBandit

Delft University of Technology Java

&先BN后激活吧，否则可能失活。

点赞回复分享

发布于 2020-05-03 12:06

一万万

云南大学 Java

艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣

点赞回复分享

发布于 2021-12-22 21:07

11-20 16:02

哈尔滨工业大学（深圳）算法工程师

秋招都快要结束了啊！

怎么感觉周围都没什么动静，是不是只有那些大佬们收获了offer？ 我真的不想相信这一切就这样结束了！希望能有点好消息，不然我真是要崩溃了！

过关斩将结果败给排序：你不是开奖了吗？

牛客创作赏金赛

点赞评论收藏

11-23 09:59

华为_算法工程师

在华为不搞996，我们搞什么？

在华为不搞996，我们搞什么？本文原创首发于公众号：来知晓。楔子读者盆友们晚上好，欢迎来到来知晓。今晚咱们揭秘下之前在推文：华为加班有多“狠”？中埋的那个坑：一个让我每天灵感爆发，神清气爽的一个秘诀。正式开始之前，先问几个问题：你是否总感觉精力不够用？你是否总感觉想什么都抓，可什么都抓不住？你是否会偶尔觉得青春散场大学毕业后，从此生活缺乏许多乐趣？你是否总觉得自己总克服不了拖延，21年就快翻篇，却依然岁岁年年flag相似？如果你的回答大多是：Yes，你可能不是抑郁了，也许是跟我一样，并非缺乏上进的心，只是找不到使劲的力，把大部分精力都耗散在没有焦点的事物上了。下面我将分享个人历时两个多月亲身实...

凯文格拉汉姆：转人工

点赞评论收藏

昨天 15:09

已编辑

北京戏曲艺术职业学院硬件开发

华为报批

和对接人沟通确认意向，地点等信息，属于第一批。已经报批，结果会在12.5号前公布，最晚推迟两个周。武汉终端硬件电源，bg985本。苦等两个月，一定要给我发offer

沉淀一会：1.同学你面试评价不错，概率很大，请耐心等待； 2.你的排名比较靠前，不要担心，耐心等待； 3.问题不大，正在审批，不要着急签其他公司，等等我们！ 4.预计9月中下旬，安心过节； 5.下周会有结果，请耐心等待下； 6.可能国庆节前后，一有结果我马上通知你； 7.预计10月中旬，再坚持一下； 8.正在走流程，就这两天了； 9.同学，结果我也不知道，你如果查到了也告诉我一声； 10.同学你出线不明朗，建议签其他公司保底！ 11.同学你找了哪些公司，我也在找工作。

点赞评论收藏