为啥给定初始值，梯度下降算法能取得最优值？

为啥给定初始值，梯度下降算法能取得最优值？
全部评论
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape  saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
不一定啊，得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42
最初版本的GD是不能取得最优的，会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16

相关推荐

12-02 11:48
曼迪匹艾_人力资源部_HRBP(准入职员工)
MDPI内推，MDPI内推码
常见问题：3.加班吗 目前我是加班的，一般➕0.5-1h，加不加班主要看自己的进度和效率，刚入职，操作慢，一般会加班。 4.加班有加班费吗？ NO，超过晚上七点🕖可以点一份工作餐（必须七点以后才可以点，需要5点之前点餐，如果你确定自己加班会超过七点，就可以点啦） 5.有KPI吗？ 有的，入职3个月（发文15篇）和6个月（发文60篇）都要发文量要求。转正后每个季度30篇，超过30每篇奖励300💰。 6入职后有人带吗？ 有的，入职后每个人都有师傅带，遇到的师傅就像读研选导一样，听天由命，幸运的遇到耐心负责的，运气差点的～，不过一般都还是很好的 7.公司环境如何？ 和你在其他分享中看到的一样，女...
曼迪匹艾公司福利 114人发布
点赞 评论 收藏
分享
12-01 09:47
中南大学 Java
简历中的项目最推荐的方式
项目，无非就分为三种：第一种，网上免费：像是商城、外卖、点评项目，确实有点烂大街，但是再烂大街也建议跟着走一遍，因为确实能学到东西的。第二种，线上付费：比如加知识星球啥的，这个我个人没加过知识星球，不了解，不评价。第三种，包装项目：这个可以用本科打比赛的时候用的项目，也可以用实验室的项目进行包装。其实最推荐的方式还是通过上述的烂大街项目或者包装项目早点找个中小厂的日常实习，当然如果能找到大厂的日常，那是更好（日常实习还是比较容易找的），然后用日常实习经历的项目作为自己的主项目之后跟面试官聊，因为有了实习经历之后，面试官一般很少会问你项目怎么样的，大部分都是会问你实习经历相关的内容的。我个人就是...
一人推荐一个值得做的项目
点赞 评论 收藏
分享
10-23 12:04
北京信息科技大学 材料工程师
这个简历有点强
这简直就是我
双尔：你就写拥有ai开发经历，熟练运用提示词，优化ai，提高ai回答质量
点赞 评论 收藏
分享
11-06 11:16
已编辑
安阳工学院 嵌入式软件开发
点赞 评论 收藏
分享
12-03 11:42
三七互娱_游戏开发_系统开发(准入职员工)
图拉斯内推，图拉斯内推码
ai面总结：AI调教的很好，问的问题很有意思，整场面试不会有很大的压迫感，追问大多是根据你的回答提问。总时长：35分钟Q1:自我介绍，重点介绍一下个人背景和大学期间的主要经历。Q2：你对于在一家公司长期发展有什么看法？你认为哪几点因素会让你在一家公司长期工作？（有追问）Q3：你取得过的最大成就是什么？过程中最大的难点是什么？你是如何突破的？最终的结果怎么样？（有追问2个）Q4：请描述一个过往遇到的最有压力困难或最具挑战的一个场景，你是如何解决的？对你有什么影响？（有追问）Q5：依你的看法，请描述一个你近期完成的项目任务，如果重来一次，你会做哪些不同的事情来提升结果？（有追问2个）Q6：电商运营...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 为了去实习，我赌上了___ #
18539次浏览 196人参与
# 摸鱼被leader发现了怎么办 #
70599次浏览 407人参与
# 百融云创求职进展汇总 #
150次浏览 0人参与
# uu们，春招你还来吗？ #
10669次浏览 77人参与
# 2025年终总结 #
11281次浏览 200人参与
# 十二月请对我好一点 #
23458次浏览 325人参与
# 父母对你找工作是助力还是阻力？ #
12559次浏览 192人参与
# 如果可以，你希望哪个公司来捞你 #
154647次浏览 650人参与
# 降低公积金和取消房补怎么选 #
23298次浏览 79人参与
# 工作中哪个瞬间让你想离职 #
109266次浏览 771人参与
# 哪一瞬间让你觉得“这班不如不上” #
10143次浏览 143人参与
# 高薪高压 vs 低薪wlb，你怎么选？ #
9864次浏览 108人参与
# 一人推荐一个值得做的项目 #
8296次浏览 114人参与
# 运营每日一题 #
112589次浏览 885人参与
# 第一份工作能做外包吗？ #
85697次浏览 574人参与
# 这些公司卡简历很严格 #
80179次浏览 366人参与
# 硬件人的简历怎么写 #
317037次浏览 3063人参与
# 工作前VS工作后，你的心态变化 #
12314次浏览 150人参与
# 学历or实习经历，哪个更重要 #
201794次浏览 1068人参与
# 秋招提前批启动你开冲了吗 #
160650次浏览 2244人参与
# 工作中出现了XX情况正常吗 #
30129次浏览 208人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务