关注
优化器:SGD,Adam,Rmsprop。Adam叫做动量法或者冲量法,提出的原因是:有时候学习率太大一步会走错很多,所以Adam舍弃了线性函数而采用多项式(该点的泰勒展开式)来更贴近目标。不仅如此,他还考虑了在正确的方向上尽可能地加速,在错误的方向上尽可能地减速:将某个梯度方向上的历史数据大小加权求和,如果很长一段时间梯度大小都大于0,那这个方向说明没有问题需要加速,而如果经常正负交替这说明可能方向错误,则需要放缓抖动。
查看原帖
点赞 评论
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 实习进度记录 #
156365次浏览 1752人参与
# 我的求职精神状态 #
3508次浏览 86人参与
# Keep实习校招 #
49086次浏览 252人参与
# 京东美团大战,你怎么看? #
22832次浏览 196人参与
# 好未来求职进展汇总 #
6326次浏览 48人参与
# 大家每天通勤多久? #
31264次浏览 232人参与
# 平安产险科技中心求职汇总 #
244520次浏览 2613人参与
# 大城市找工作会更容易吗 #
16693次浏览 126人参与
# 金山WPS工作体验 #
20954次浏览 133人参与
# 提前批过来人的忠告 #
97694次浏览 1092人参与
# 签约有哪些注意事项 #
27210次浏览 227人参与
# 招银网络科技工作体验 #
18856次浏览 85人参与
# 生化环材还是天坑吗 #
30131次浏览 277人参与
# 4399求职进展汇总 #
17542次浏览 139人参与
# 中兴求职进展汇总 #
579723次浏览 2614人参与
# 华为存储OD事变 #
121751次浏览 681人参与
# 京东工作体验 #
12567次浏览 88人参与
# 生物制药/化工校招攻略 #
39983次浏览 275人参与
# 校招第一份工作你干了多久? #
66768次浏览 334人参与
# 腾讯音乐求职进展汇总 #
82158次浏览 450人参与
# 小红书求职进展汇总 #
49679次浏览 441人参与
# 宁德时代求职进展汇总 #
104994次浏览 622人参与