神经网络调节超参数的时候,有没有必要确保不同超参数的验证集结果,对应的初始化权重相同呢?如果不固定的话,感觉不同超参数对应的验证集结果差异会受到每次权重随机初始化的影响,不能完全反映是不同组超参数之间性能的好坏,这个怎么理解呢??希望能得到大家的解答。
全部评论
就算你超参数不变,每次随机初始化,训练的结果都不一样。梯度下降法相当于下山,随机初始化权重相当于随机选择起点,不同的超参数是不同的下山方法,有的超参数能帮你快速到达山谷最低点,有的则很慢。调参就是找到最快到达最低点的参数。随机初始化权重就是随机选择起点,尝试不同的路径去试探。所以我觉得不用固定初始化权重。
相关推荐
点赞 评论 收藏
分享
投票
点赞 评论 收藏
分享