为啥给定初始值,梯度下降算法能取得最优值?

为啥给定初始值,梯度下降算法能取得最优值?
全部评论
首先,泰勒展开,负梯度方向是descent direction。 其次,梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下,才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下,改进的GD(比如随机初始化,escape  saddle等trick等等)也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
泰勒定理展开取第一项,当delta x取导数的相反数的时候其稳定为负,所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
个人见解:梯度下降求解无约束最优化问题实现简单,好用。例如LR中的目标函数是光滑的凸函数,这时候保证能找到全局最优解,因为负梯度的方向朝向函数下降最快的方向,永远朝向全局最小值(最大值则反之)。当有多个极大值或极小值时,需要对梯度下降进行优化,比如动量,NAG,Adagrad,RMSprop等,可以减少陷入极大值极小值的可能性,设置得当可以得到全局最优解,但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
不一定啊,得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42
最初版本的GD是不能取得最优的,会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16

相关推荐

2025-12-13 12:38
惠州学院 直播运营
点赞 评论 收藏
分享
01-12 14:08
门头沟学院 Java
有寒假来武汉小米总部实习的大学生嘛,我也是小米的员工,想找合租舍友,仅限女生可免租半月,二月初可入住,也就是说房租是2.15开始算的哦~也可以将行李提前放过来~房屋介绍:1、房子情况:有电梯;租的是三室一厅一卫一厨, 但是有个卧室比较小,不打算找人,只住两个人就可以了;衣柜也很大,可以放下很多衣服;房屋采光真的很好,早上起来可以在床上晒太阳的那种,十分惬意(夏季晚上十分好看!)2. 楼下离我们很近的地方有小吃街和一个两层大超市(大概步行两分钟多就可以走到) ,还有一个新开的麦当劳,晚上可以去吃小吃,购买物资也可以去大超市;3. 房子基本设施齐备(洗衣机,冰箱,空调,油烟机,热水器);4. 我有稳定的工作,生活中很注意卫生,周末有时间会自己做饭,可以投喂哦~5. 出行:距离公交站步行10分钟不到,距政务中心,武汉小米总部三站(晚上我都是走回来的,很近的~);一个比较进的地铁,距离大概1km左右;出入我觉得很方便;6. 房租:1150每月,押一付二,无物业费,也没有中介费和其他额外费用。7. 民用水电燃气,用多少交多少,水电费正常平摊。希望你是:1. 女生(本人女),不带异性回家,如有同性朋友来玩,最多过夜一晚;2. 爱干净,讲卫生,作息正常,不吵闹,有稳定工作;3. 好沟通,有任何问题一定要沟通,不要闷着!中介勿扰,非诚勿扰!!!希望不要浪费彼此的时间诚心有意向的可以联系我看房
租房找室友
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务