BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
都可以
点赞 回复 分享
发布于 2020-05-03 12:00
&先BN后激活吧，否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07

相关推荐

昨天 12:32
长春理工大学 金融分析师
重生之我变成了小学生
家人们！大离谱事件发生了！早上我被我妈叫醒，我就想，我都是一个20多岁的成年人了，怎么早上还叫我起床！所以我就没理然后我的屁股遭到了一记重击！等等……这感觉怎么似曾相识……难道是……难道是……我猛然睁开眼睛！日历上显示现在是，，2012年！！我穿越了！！我呆呆地坐在床上，看着我现在幼小的身体，我妈拎着笤帚站在床头，看我愣着出神，超用力地推了一下我的头，顺势我倒在了床上……“你看看这都几点了还不起？不想上学啦！不想上学早说，跟着你爸干活去！别给我浪费钱！”说罢她“嘭”地把门关上离开了难道说……我真的回到了小学？我迅速爬起来，把自己浑身上下摸了一遍，给了自己两耳刮子，啧……真疼啊我，真的回到小学了...
OfferLetters：我可不想再回去从小学开始重新上学，每天起的比鸡早，睡得比狗晚，高中三年透支精神，透支身体，比杀了我还难受
非技术求职现状
点赞 评论 收藏
分享
11-20 23:32
北京科技大学 Java
点赞 评论 收藏
分享
10-09 22:05
666 C++
我这能报啥
找到工作就狠狠玩CSGO：报联合国演讲，报电子烟设计与制造
点赞 评论 收藏
分享
11-20 19:59
已编辑
湖南工业大学 嵌入式工程师
双非本科嵌入式想找工作还有希望吗
微风不断：兄弟，你把四旋翼都做出来了那个挺难的吧
点赞 评论 收藏
分享
昨天 00:30
合肥工业大学 平台产品
点赞 评论 收藏
分享
3 5 评论
分享

招聘动态

查看更多

字节跳动

2025校园招聘

阿里云管培生

2025届校园招聘

快手Star

2025届招聘

快手

销售类投递专区

全站热榜

正在热议
# 25届秋招总结 #
301621次浏览 2672人参与
# 如果不工作真的会快乐吗 #
59366次浏览 517人参与
# 百度开奖 #
162983次浏览 977人参与
# 地方国企笔面经互助 #
3836次浏览 10人参与
# 美团求职进展汇总 #
1327584次浏览 12450人参与
# 选完offer后，你后悔学本专业吗 #
20041次浏览 144人参与
# 阿里云管培生offer #
17555次浏览 295人参与
# 正在实习的你，几点下班 #
52029次浏览 389人参与
# 国央企薪资爆料 #
8448次浏览 68人参与
# 如何一边实习一边秋招 #
992254次浏览 12638人参与
# 提前批简历挂麻了怎么办 #
146493次浏览 1948人参与
# 学历or实习经历，哪个更重要 #
51142次浏览 402人参与
# 海康威视求职进展汇总 #
398898次浏览 3406人参与
# 米哈游求职进展汇总 #
175965次浏览 1458人参与
# 求职遇到的搞笑事件 #
70849次浏览 577人参与
# 投递实习岗位前的准备 #
1179450次浏览 18397人参与
# 面试体验感最好的是哪家？ #
85102次浏览 846人参与
# 实习生应该准时下班吗 #
167444次浏览 1159人参与
# 得物求职进展汇总 #
66288次浏览 682人参与
# 网申一定要掌握的小技巧 #
5338次浏览 53人参与
# 招聘要求与实际实习内容不符怎么办 #
10289次浏览 273人参与
# 0offer是寒冬太冷还是我太菜 #
898506次浏览 8013人参与
牛客网
牛客企业服务