首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
牛客674377号fighting
2017-08-16 11:10
已编辑
Akademia Rolnicza w Szczecinie Java
关注
已关注
取消关注
为啥给定初始值,梯度下降算法能取得最优值?
为啥给定初始值,梯度下降算法能取得最优值?
提示
全部评论
推荐
最新
楼层
我不是渣神
中国科学院大学 算法工程师
个人见解:梯度下降求解无约束最优化问题实现简单,好用。例如LR中的目标函数是光滑的凸函数,这时候保证能找到全局最优解,因为负梯度的方向朝向函数下降最快的方向,永远朝向全局最小值(最大值则反之)。当有多个极大值或极小值时,需要对梯度下降进行优化,比如动量,NAG,Adagrad,RMSprop等,可以减少陷入极大值极小值的可能性,设置得当可以得到全局最优解,但并不能100%保证获得全局最优解。
点赞
回复
分享
发布于 2017-08-16 10:58
haolexiao
北京大学 C++
泰勒定理展开取第一项,当delta x取导数的相反数的时候其稳定为负,所以就能一直下降
点赞
回复
分享
发布于 2017-08-16 11:08
骏博日博的迷弟
浙江交通职业技术学院 算法工程师
首先,泰勒展开,负梯度方向是descent direction。 其次,梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下,才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下,改进的GD(比如随机初始化,escape saddle等trick等等)也只能保证以概率无限接近于1取得局部最优。
点赞
回复
分享
发布于 2017-08-16 11:12
已删除
最初版本的GD是不能取得最优的,会陷入局部最优。
点赞
回复
分享
发布于 2017-08-16 11:16
256785
南开大学 Java
不一定啊,得是凸优化才行吧
点赞
回复
分享
发布于 2017-08-16 11:42
还没有回复哦~
相关推荐
11-27 00:00
南方科技大学 整车软件集成工程师
我才知道秋招不值得焦虑
昨天我经历了美团面试官的“拷打”,整整50分钟后被秒挂。面试中我问到校招生能提供什么价值,面试官直言不讳地说,校招生的价值不大,主要是用来培养的。虽然这话听着有点扎心,但他笑着说的,让我反而松了口气。实习经历再多,如果不思考也没用,毕竟公司并不期待我们一进门就能立刻上手。求职其实是双向选择,挂了也没什么,说明我们不合适。所以我觉得也没必要焦虑了,你们觉得呢?
人生有无限可能:
我美团七面挂 三轮复活赛 我只觉得焦虑
牛客创作赏金赛
点赞
评论
收藏
分享
11-29 00:27
已编辑
麻城理工学校 算法工程师
秋招大结局来啦
你可以建造自己的塔,创造一个没有邪恶的地方, 一个充满富足,和平与美丽的世界 --宫崎骏《你想活出怎么的人生》 bg双9机械,课题组传统力学方向,无论文无项目,两段自驾实习。我原本不会想到我会十二月才把三方寄出去,算上暑期实习,这场春天到深秋的秋招,持续了半年多才结束。回想起一路的历程,心态比较好再加上期望没有那么高,还是算比较满意的秋招吧。二十二"他常会想要能回到那年他一十二,只需要好好上学生活单纯没忧愁",不说回到十年前,回到二十一,可能我也是这样的状态,不知道leetcode刷题,不知道牛客,不知道未来要干什么,跟风考研,所幸考上了喜欢的城市的学校。第一天来...
牛客刘北:
我也说不出什么动听的话“”小舟从此逝,江海寄余生“”
华为成长空间 480人发布
25届秋招总结
点赞
评论
收藏
分享
11-30 19:12
已编辑
影石创新科技股份有限公司_测试开发工程师
12月了,25届同学可以考虑准备找实习冲春招了!!
哈喽,大家好,最近看到很多25届的小伙伴都陆续开奖了,也是恭喜这些小伙伴在今年这么内卷的环境下成功上岸,但是目前0offer的同学依然是很多,那么目前绝大部分公司的秋招流程都已经陆续结束了,官网投递通道已经早早关闭了,很多小伙伴已经有了准备春招的打算了,那么今天就给大家分享一下春招的一些注意事项一、明确如何准备春招?1.春招的时间是在 25年的3-5月份,到时候流程和秋招差不多,很多大厂有自己的招聘公众号,到时候会发文春招开始的时间,然后大家去官网投递简历即可,很多小伙伴秋招已经投过一遍了,到时候要记得更新简历欧~ 2.其实这个是正常流程的招聘时间,春招是一直持续到你毕业之前为止的,...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
1
...
各位有缘再见了
2.5W
2
...
25秋招小结以及心得
1.8W
3
...
从露宿街头到百万级种子轮融资③——获得投资(本文终章)
1.5W
4
...
又到开奖时,我的秋招结束2年了
9680
5
...
华为2012开奖
7296
6
...
cpp选手秋招之路
6302
7
...
24届工作5个月被劝退
5597
8
...
终于等到度子offer | 附上秋招总结
5028
9
...
成功不见得是金子
4983
10
...
拼多多转正还没开奖
4634
正在热议
#
25届秋招总结
#
456992次浏览
4672人参与
#
如何排解工作中的焦虑
#
72712次浏览
1012人参与
#
地方国企笔面经互助
#
8518次浏览
18人参与
#
找工作时遇到的神仙HR
#
566423次浏览
3855人参与
#
同bg的你秋招战况如何?
#
85299次浏览
629人参与
#
你上一次加班是什么时候?
#
23069次浏览
185人参与
#
虾皮求职进展汇总
#
125920次浏览
933人参与
#
设计人的面试记录
#
75072次浏览
961人参与
#
比亚迪工作体验
#
45321次浏览
214人参与
#
实习,投递多份简历没人回复怎么办
#
2461118次浏览
34899人参与
#
你的秋招进展怎么样了
#
1717088次浏览
24782人参与
#
什么专业适合考公
#
14865次浏览
115人参与
#
如果公司给你放一天假,你会怎么度过?
#
5014次浏览
65人参与
#
现在还是0offer,延毕还是备考
#
827085次浏览
6927人参与
#
大疆求职进展汇总
#
420508次浏览
2968人参与
#
投递实习岗位前的准备
#
1198433次浏览
18564人参与
#
如果你有一天可以担任公司的CEO,你会做哪三件事?
#
12961次浏览
338人参与
#
百度秋招提前批进度
#
88065次浏览
1048人参与
#
你最近一次加班是什么时候?
#
22390次浏览
203人参与
#
提前批简历挂麻了怎么办
#
150607次浏览
1984人参与
牛客网
牛客企业服务