为啥给定初始值，梯度下降算法能取得最优值？

为啥给定初始值，梯度下降算法能取得最优值？
全部评论
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape  saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
最初版本的GD是不能取得最优的，会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16
不一定啊，得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42

相关推荐

11-26 00:55
北京工业大学 招聘专员
点赞 评论 收藏
分享
11-15 18:39
已编辑
西安交通大学 Java
悬着的心终于死了。东子
东哥
全村最靓的仔仔：卧槽，佬啥bg呢，本也是西交么
点赞 评论 收藏
分享
11-01 20:03
已编辑
门头沟学院 算法工程师
美团今年给的太多了，晕了看晕过去了，40k如过江之鲫
Amazarashi66：这种也是幸存者偏差了，拿不到这个价的才是大多数
点赞 评论 收藏
分享
头像
11-26 21:26
山东大学 嵌入式软件工程师
关于校招，或许应该改掉这些学生思维
忘了是哪场面试，面试官问我：“秋招这么久了，我看你也有几个offer，你有什么感悟吗？”我的回答也很结构化：秋招的过程也是一个逐步认识自己的过程，这个过程中我能有机会接触不同的公司和岗位，这让我更清楚地认识到自己的技能和兴趣点。再笔面试的过程中我逐渐明确了自己在哪些领域有优势，哪些领域还需要进一步提升。通过与不同行业的公司接触，我对相关行业的现状和发展趋势有了更深入的了解。这不仅帮助我更好地选择适合自己的岗位，也让我对未来的职业发展有了更清晰的认识。然后今天回想这个问题，想一想秋招也确实让自己有不小的进步，尤其是意识到，有一些学生思维其实并不适用：1，为自己设置可能并不存在的标准牛客上一直以来...
小张frog：去码头整点薯条吃吃吧。大家都会有光明的未来！
SAGIMA经验浅谈
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

正在热议
# 25届秋招总结 #
456992次浏览 4672人参与
# 如何排解工作中的焦虑 #
72712次浏览 1012人参与
# 地方国企笔面经互助 #
8526次浏览 18人参与
# 同bg的你秋招战况如何？ #
85299次浏览 629人参与
# 找工作时遇到的神仙HR #
566423次浏览 3855人参与
# 晒一晒我的offer #
10016514次浏览 106300人参与
# 你上一次加班是什么时候？ #
23069次浏览 185人参与
# 比亚迪工作体验 #
45321次浏览 214人参与
# 设计人的面试记录 #
75082次浏览 962人参与
# 虾皮求职进展汇总 #
126004次浏览 933人参与
# 实习，投递多份简历没人回复怎么办 #
2461118次浏览 34899人参与
# 你的秋招进展怎么样了 #
1717088次浏览 24782人参与
# 什么专业适合考公 #
14868次浏览 115人参与
# 如果公司给你放一天假，你会怎么度过？ #
5014次浏览 65人参与
# 现在还是0offer，延毕还是备考 #
827085次浏览 6927人参与
# 投递实习岗位前的准备 #
1198433次浏览 18564人参与
# 如果你有一天可以担任公司的CEO，你会做哪三件事？ #
12974次浏览 338人参与
# 大疆求职进展汇总 #
420508次浏览 2968人参与
# 百度秋招提前批进度 #
88065次浏览 1048人参与
# 你最近一次加班是什么时候？ #
22392次浏览 203人参与
牛客网
牛客企业服务