为啥给定初始值，梯度下降算法能取得最优值？

全部评论

推荐最新楼层

浙江交通职业技术学院算法工程师

首先，泰勒展开，负梯度方向是descent direction。其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。非凸情况下，改进的GD（比如随机初始化，escape saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。

点赞回复分享

发布于 2017-08-16 11:12

haolexiao

北京大学 C++

泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降

点赞回复分享

发布于 2017-08-16 11:08

我不是渣神

中国科学院大学算法工程师

个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。

点赞回复分享

发布于 2017-08-16 10:58

256785

南开大学 Java

不一定啊，得是凸优化才行吧

点赞回复分享

发布于 2017-08-16 11:42

已删除

最初版本的GD是不能取得最优的，会陷入局部最优。

点赞回复分享

发布于 2017-08-16 11:16

01-21 11:05

已编辑

南京邮电大学 Java

考研+转行-前端面经-华为od

点赞评论收藏

01-21 15:46

快手_快STAR广告引擎(准入职员工)

光峰科技内推，光峰科技内推码

结构工程师面试经验： 1. 自我介绍 2. 项目介绍 3. 使用的三维软件、仿真软件是什么？ 4. 建的模型里几个零部件之间的约束方式 5. 对身边常见的一些产品的内部构件有什么了解？ 6. 它们通过什么方式组装/连接？ 7. 如果给你个鼠标让你设计，首先要了解什么参数和内容？ 8. 对结构工程师岗位的认知 9. 未来的职业规划 10. 工作地点的选择 11. 家庭情况 12. 反问环节光峰科技2026届校园招聘进行中~【招聘岗位】光学 / 硬件 / 算法岗 / 产品研发类 / 技术研发类 / 产品类【我们提供】极具竞争力的薪酬回报机制+产品技术重大创新奖金、专利奖、国际三大工业设计奖等专项激...

点赞评论收藏

2025-12-28 16:32

重庆邮电大学 Java

28双非一段实习，这简历能冲中大厂吗

菜菜，救救，帮帮😭😭😭   

程序员花海：1.技能放最后，来面试默认你都会，技能没啥用 2.实习写的看起来没啥含金量，多读读部门文档，包装下接LLM这个没含金量也不要用重构这种不会给实习生做的 3.抽奖这个还是Demo项目，实际在公司里面要考虑策略，满减，触发点，触发规则库存之类的，不是这个项目这么简单 4.教育背景提前，格式为教育背景实习项目技能自我评价

简历被挂麻了，求建议

点赞评论收藏