为啥给定初始值，梯度下降算法能取得最优值？

为啥给定初始值，梯度下降算法能取得最优值？
全部评论
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape  saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
不一定啊，得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42
最初版本的GD是不能取得最优的，会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16

相关推荐

04-09 16:27
西安电子科技大学 C++
柠檬微趣C++一面
1.说一下你的断点续传怎么实现的？2.分片出错了怎么办？3.CRC校验和MD5校验有啥区别？性能 准确 错误率3.如果串改，攻击 你怎么解决？4.你的分片 怎么保证有序5. 你的文件上传 如何保证文件上传对了的？6. 你说说map 和hashmap的区别7.不考虑范围查询的话 红黑树和hash表有什么区别8. hash冲突你知道吗？ 怎么解决？9. 你知道的hash算法有哪些？10.hash 算出来的是什么 是内存地址吗？举个例子1234 怎么hash的 11.你知道的排序算法有哪些 ？12.快排实现复杂度是多少 最坏 最好 平均？ 为什么平均还是nlogn 怎么算的13.快速排序 的 平均时...
查看23道真题和解析
点赞 评论 收藏
分享
昨天 11:25
齐鲁工业大学 Java
点赞 评论 收藏
分享
03-16 07:53
门头沟学院 嵌入式工程师
点赞 评论 收藏
分享
03-29 13:17
杭州电子科技大学 前端工程师
就业再差，也不要盲目线下面试
最近刷boss 投了一堆公司。公司画像员工100-500人，非互联网公司跟着AI热潮产生的岗位需求，多为AI agent开发/全栈开发，基本都是CTO/老板直接对接，流程混乱，要求线下面试，不报销路费，直接不感兴趣拉黑。现在的互联网开发，非进校园的线下面试本来就少，基本都是借助腾讯/飞书会议线上面。走线下反映两个问题：1. 内部能效极低，线上面效率不比线下高？ 2.不懂互联网工具，不会用好互联网产品，内部怎么做的好开发？ 3. 公司没有融资没有上市没有title，凭什么要浪费时间精力给你们线下筛选？这并不表示我们求职者好高骛远，行情不好就安心沉淀寻找方向，盲目的下注只会浪费自己的时间和资源。
动画梦工厂：让去线下的直接跑就完事了，跟不上时事的公司也没啥发展的必要，去了也是裁员
点赞 评论 收藏
分享
04-10 14:24
小天才（步步高）_算法开发工程师(准入职员工)
小天才内推，小天才内推码
小天才26秋招分享（三面凉经）tl：9.13投递-10.10自主约面-10.10一面-10.11上传作品集-10.14二面-10.16三面（交叉面） 一面：线上邮件通知选择具体面试时间段（大约20mins）面试官问题1. 请先做一个自我介绍（1分钟左右）。2. 简历项目追问3. 在校期间有获得哪些奖学金吗？4. 有挂过科吗？5. 学得最好的课程是哪些？6. 分享一个人力资源领域中你觉得很重要的知识点。7. 根据以上追问若干问题8. 结合实习经历，招聘的具体成果是你直接负责的社招岗位吗？9. 你的导师对你的工作评价是什么样的？10.追问11.综合实习经历，你目前更适合做人力哪个方向的工作？12....
查看25道真题和解析
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 我的求职进度条 #
987221次浏览 6550人参与
# 实习教会我的事 #
73585次浏览 507人参与
# 厦门银行科技岗值不值得投 #
19013次浏览 422人参与
# 哪些公司一直卡在简历筛选 #
106226次浏览 363人参与
# 我想象的实习vs现实的实习 #
332905次浏览 2298人参与
# Agent面试会问什么？ #
39482次浏览 1436人参与
# 米哈游笔试 #
656029次浏览 1160人参与
# 一人分享一个skill #
10284次浏览 243人参与
# 总结:哪家公司最喜欢泡池子 #
168033次浏览 571人参与
# 拿到offer之后，可以做些什么 #
104960次浏览 511人参与
# 春招至今，你收到几个面试了？ #
105470次浏览 1296人参与
# 说说你知道的学历厂 #
401987次浏览 1434人参与
# 米哈游工作体验 #
29961次浏览 145人参与
# 拼多多工作体验 #
55427次浏览 389人参与
# 我是XXX，请攻击我最薄弱的地方 #
73530次浏览 499人参与
# 中国电信笔试 #
40841次浏览 399人参与
# 面试体验最好和最差的公司 #
25885次浏览 173人参与
# 通信/硬件的薪资开多少，才值得去？ #
76838次浏览 408人参与
# 国企秋招，你投了吗？ #
72053次浏览 424人参与
# 给工作过的公司写一条大众点评，你会怎么写？ #
12692次浏览 144人参与
# 你觉得专业和学校哪个对薪资影响最大 #
104605次浏览 620人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务