牛客183146708号:在学习率默认1e-3的情况下,batchsize取100更好,10000太大了。正常来说batchsize肯定是越大收敛速度越快,大的batchsize需要的batch数目少,1个小时就可以训练完imageNet。而且大的batchsize梯度更稳定,loss曲线更平滑。但是如果batchsize过大,会导致效果变差(大的batchsize收敛到sharp minimum, 小的batchsize收敛到flat minimum,后者泛化能力更好)。论文中目前研究batchsize超过8000之后,效果就不好了。当然如果能够增大学习率,可能10000是最优的(因为样本量也挺大的)。我觉得面试官这个题目应该多给些条件,比如学习率固定为多少?
投递百度等公司10个岗位 >
0 点赞 评论 收藏
分享
关注他的用户也关注了: