为啥给定初始值，梯度下降算法能取得最优值？

为啥给定初始值，梯度下降算法能取得最优值？
全部评论
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape  saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
最初版本的GD是不能取得最优的，会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16
不一定啊，得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42

相关推荐

11-26 15:52
西京学院 Java
点赞 评论 收藏
分享
11-28 00:34
亚马逊_sfs_sde
点赞 评论 收藏
分享
10-13 17:47
门头沟学院 Java
小公司0-20人的Java开发招聘
我感觉我说的没毛病😂😂😂
wulala.god：图一那个善我面过，老板网上找的题库面的
点赞 评论 收藏
分享
10-16 09:58
已编辑
门头沟学院 Java
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
11-28 12:40
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

正在热议
# 25届秋招总结 #
433818次浏览 4398人参与
# 实习，投递多份简历没人回复怎么办 #
2450675次浏览 34819人参与
# 北方华创开奖 #
106634次浏览 588人参与
# 地方国企笔面经互助 #
7741次浏览 18人参与
# ai智能作图 #
39577次浏览 481人参与
# 虾皮求职进展汇总 #
105171次浏览 839人参与
# 阿里云管培生offer #
117745次浏览 2069人参与
# 机械人春招想让哪家公司来捞你？ #
157470次浏览 2267人参与
# 发工资后，你做的第一件事是什么 #
11905次浏览 59人参与
# 工作中，努力重要还是选择重要？ #
34835次浏览 381人参与
# 实习想申请秋招offer，能不能argue薪资 #
38853次浏览 314人参与
# 你投递的公司有几家约面了？ #
33020次浏览 188人参与
# 参加完秋招的机械人，还参加春招吗？ #
19908次浏览 239人参与
# 机械求职避坑tips #
24508次浏览 253人参与
# 双非本科求职如何逆袭 #
660693次浏览 7382人参与
# 我的实习求职记录 #
6150959次浏览 84152人参与
# 华为工作体验 #
113372次浏览 877人参与
# 工作两年想退休了 #
56645次浏览 729人参与
# 25届机械人为了秋招做了哪些准备？ #
27051次浏览 368人参与
# 实习必须要去大厂吗？ #
55228次浏览 956人参与
# 软件开发投递记录 #
1485943次浏览 23976人参与
# 机械人怎么评价今年的华为 #
158726次浏览 1354人参与
牛客网
牛客企业服务