BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
都可以
点赞 回复 分享
发布于 2020-05-03 12:00
&先BN后激活吧，否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07

相关推荐

头像
02-18 17:16
已编辑
大连医科大学 嵌入式软件开发
汇川技术 - 嵌入式软件工程师 - 面经（1）
部分内容为牛客其他同学分享，单击小标题即可跳转至对应链接 如果侵犯了您的权益，请与我取得联系，我将立刻删除对应部分 -1、背景 岗位：【25提前批-联合动力】嵌入式软件工程师 工作职责： 硕士及以上学历，自动化、计算机、电气工程及其自动化等专业等相关专业； 有嵌入式软件编程经验，熟练掌握C/C++，有simulink应用、芯片驱动设计等开发经验者优先。 工作严谨细致，有责任心，有良好沟通能力，具备团队合作精神。 任职资格： 负责新能源汽车相关产品软件开发，汽车电子嵌入式软件设计、开发与测试工作 负责基于ARM、DSP等单板控制器的软件开发 负责软件功能的需求分析、设计及代码开发 协助解...
嵌入式软件名企笔/面试真...
点赞 评论 收藏
分享
02-18 17:46
腾讯_金融科技_后端(准入职员工)
点赞 评论 收藏
分享
01-02 21:17
已编辑
西安理工大学 后端
26届怎么找暑期实习啊啊啊啊
双非本科，准备找开发的实习，现在主要是在学java，但是只做过一些简单的demo单体项目，现在的想法是再准备两个项目，一个单体，一个微服务，现在的打算是做黑马点评和商城项目，不知道这俩可以吗，而且时间也不知道够不够，还要准备八股啥的，感觉要来不及了
程序员小白条：项目不太重要，你的优势的算法竞赛，然后多背相关的八股文，项目可以不作为重点考虑，面试可能就简单带过项目就行了，你可以直接写简历，背项目相关的八股文就行，也不用自己做，时间紧张的情况下，性价比最高
点赞 评论 收藏
分享
02-17 16:59
已编辑
门头沟学院 Java
点赞 评论 收藏
分享
评论
3
5
分享

招聘动态

查看更多

400+企业岗位投递合集

京东 TET管培生

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 听劝，这个简历怎么改 #
17363次浏览 231人参与
# 你见过最离谱的招聘要求是什么？ #
145929次浏览 864人参与
# 水滴春招 #
33643次浏览 570人参与
# 你想留在一线还是回老家？ #
16498次浏览 236人参与
# 分享一个让你热爱工作的瞬间 #
16398次浏览 173人参与
# 25届如何提前做秋招准备？ #
145514次浏览 2288人参与
# 入职第四天，心情怎么样 #
12505次浏览 86人参与
# 面试被问“你的缺点是什么?”怎么答 #
10512次浏览 204人参与
# 参加完秋招的机械人，还参加春招吗？ #
27589次浏览 280人参与
# 如果你有一天可以担任公司的CEO，你会做哪三件事？ #
20694次浏览 415人参与
# 机械校招之路总结 #
80267次浏览 1759人参与
# 第一份工作应该选高薪还是热爱？ #
4630次浏览 82人参与
# 如果重来一次你还会读研吗 #
156887次浏览 1716人参与
# 租房找室友 #
8467次浏览 53人参与
# 职场新人生存指南 #
200763次浏览 5556人参与
# 地方国企笔面经互助 #
18104次浏览 26人参与
# 简历无回复，你会继续海投还是优化再投？ #
48983次浏览 564人参与
# 读研or工作，哪个性价比更高？ #
26465次浏览 357人参与
# 你们的毕业论文什么进度了 #
904492次浏览 8994人参与
# 文科生还参加今年的春招吗 #
4411次浏览 32人参与
# 百度工作体验 #
178189次浏览 1780人参与
牛客网
牛客企业服务