bn函数一般是在激活函数之前,这样激活函数可以保留本身的含义(非线性)。在一些文章里面会有争议说也可以放在之后,放在之后也是可以的,可以使神经网络的线性部分的输入值归一化,但是会有一个问题,从理论上说,那就是激活函数之后的数据和进行归一化之后的数据分布相差过大,也就是修正得可能过多,这样尽管可能在某些网络下效果还可以,可是在其余的网络上面效果并不好。
点赞 1

相关推荐

点赞 评论 收藏
分享
11-20 20:24
门头沟学院 Java
点赞 评论 收藏
分享
牛客网
牛客企业服务