为啥给定初始值，梯度下降算法能取得最优值？

为啥给定初始值，梯度下降算法能取得最优值？
全部评论
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape  saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
不一定啊，得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42
最初版本的GD是不能取得最优的，会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16

相关推荐

昨天 10:53
联想_后端开发部_语音算法工程师(准入职员工)
海康威视内推，海康威视内推码
岗位：武汉 嵌入式开发timeline：8.30 测评，10.9 一面，10.11 二面一面技术：自我介绍讲下实习经历平常怎么debug项目中有没有遇到什么问题，怎么解决的介绍一下学校经历了解数据结构吗？基本的数据结构？查找搜索效率？有什么方法可以提高效率？具体围绕数据结构问了很多RTOS，多任务操作反问：做存储固件的，具体的进来再分二面HR：北京线下，地点在北京研发中心，具体内容就是唠家常，一些HR面的基本问题销售工程师工作体验，总结累但成长很多。1.大家最先关注的就是HIK的工作压力，只能说体面厂没有辜负盛名！名不虚传！我来这边是销售岗，基本上每天都要差不多11点下班。因为销售不仅需要对接...
点赞 评论 收藏
分享
头像
11-15 13:37
门头沟学院 Java
第一次找实习，这几个建议请收下！
看着身边的同学都去实习了，你还在纠结该怎么开始？还记得我第一次找实习时，连简历都要改十遍，面试前紧张得睡不着觉。现在作为“老司机”，今天就把那些没人告诉你的实习秘籍，用最实在的话分享给大家。  一、准备阶段：别等完美了再开始 在生活中有很多完美主义者，总要自己把事情准备到完美，再提交，可实际上会有很多意外产生，当你在准备的时候，别人也在提升，因此不光是你花的时间多了，别人也是如此，因此有时候抢占先机未尝不是一种策略。双非同学别只把眼光放在中大厂，要明白自己的简历和学历等综合竞争力，如果你都觉得自己的简历吸引不了人，更何况收到几万份简历的 HR 了。 一定要主动收集实习内推的消息，无论是线下还是...
第一次找实习，我建议__
点赞 评论 收藏
分享
11-15 10:25
西南大学 Java
点赞 评论 收藏
分享
11-03 18:50
门头沟学院 Java
这咋回呀
🙀
迷茫的大四🐶：问就是马上到，一周五天，6个月以上，全国可飞
点赞 评论 收藏
分享
11-16 17:20
复旦大学 Java
今天来讲一下后端面试中的自我介绍需要说什么？
各位准备参加后端开发岗位校招或实习面试的同学，这篇内容也适合其他岗位或社招的朋友参考，很多底层逻辑是相通的。1.1 为什么要认真准备自我介绍？在求职面试中，通常与面试官简单问候后，第一个环节就是自我介绍。有的面试可能不要求手撕代码，有的可能不问八股文，有的可能不深挖项目，但所有面试都包含自我介绍，这是你唯一可以百分之百提前准备的环节。一段好的自我介绍不仅能为面试官留下良好的第一印象、展现个人优势，更重要的是能够引导甚至掌控后续提问的方向，从而提升答题准确率与面试通过概率，在整个面试过程中占据主动。2 方案设计2.1 设计原则人的注意力有限，因此自我介绍不能过于冗长，应尽量在3分钟内突出重点与优...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 那些年，我收到的‘奇葩’回复 #
15168次浏览 134人参与
# 材料人，你最希望上岸的是？ #
10097次浏览 54人参与
# 小红书开奖了 #
29347次浏览 150人参与
# OC/开奖 #
180337次浏览 1286人参与
# AI时代，哪些岗位最容易被淘汰 #
8617次浏览 79人参与
# 职场中那些令人叹为观止的八卦 #
24697次浏览 221人参与
# 腾讯音乐秋招 #
428554次浏览 4767人参与
# 秋招你经历过哪些无语的事 #
15808次浏览 205人参与
# 得物求职进展汇总 #
133921次浏览 961人参与
# 秋招吐槽大会 #
75665次浏览 669人参与
# 你找工作想离家近 or 离家远？ #
13967次浏览 221人参与
# 校招薪资来揭秘 #
61506次浏览 410人参与
# 实习学不到东西怎么办？ #
262913次浏览 2483人参与
# 我的职场社死时刻 #
18110次浏览 156人参与
# 第一份工作能做外包吗？ #
80741次浏览 555人参与
# 你秋招最后悔的选择 #
14147次浏览 111人参与
# 哪些公司开始补录了 #
18244次浏览 152人参与
# XX请雇我工作 #
13161次浏览 109人参与
# 来聊聊机械薪资天花板是哪家 #
153637次浏览 829人参与
# 实习心态崩了 #
90833次浏览 480人参与
# 小马智行求职进展汇总 #
16786次浏览 54人参与
# 租房前辈的忠告 #
287058次浏览 7256人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务