首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
牛客482869769号
2019-03-22 10:56
已编辑
关注
已关注
取消关注
请教一下各位牛油,为何激活函数需要具备单调性?
可微是为了保证单向传播梯度计算,单调性的目的是什么呢?看到有的论文说,是能够保证单层模型具有凸函数性能,不是很理解,求大佬们指点一下。
提示
全部评论
推荐
最新
楼层
GoKuSon
北京大学 算法工程师
从最简单的角度考虑,凸函数容易优化啊,不存在鞍点或者局部最优解这种问题,事实上在训练复杂模型的时候很容易跑到局部最优解,你考虑一个小坑挨着一个大坑,大坑的最低点是你想要的最优解,结果你一不小心掉到了小坑里,学习率和扰动不足以使你跳出小坑,那就很坑爹了😂激活函数的目的无非就是信息压缩和到概率空间的映射;单调性这块,我觉得应该就是出于凸优化的这个考虑,不在最简单的地方摔跟头
点赞
回复
分享
发布于 2019-03-21 23:35
找完工作和实习继续找工作
美团_算法工程师
因为激活函数基本都是对0-1跳变函数的近似,而0-1跳变函数本来就是单调的。我猜的。
点赞
回复
分享
发布于 2019-03-21 23:07
找完工作和实习继续找工作
美团_算法工程师
你看的这个说法的来源可能是凸函数复合一个单增凸函数还是凸函数,但是激活函数本身不一定是凸的,所以我觉得存疑。
点赞
回复
分享
发布于 2019-03-21 23:09
还没有回复哦~
相关推荐
11-05 18:26
门头沟学院 Java
去哪儿oc!
看到各位佬的oc 本来都绝望了 刚接到hr口头oc 秋招可以暂时告一段落了😭
爱_信_等_:
xdm别慌 hr意思是这几天都有打电话 爱信等!
点赞
评论
收藏
分享
11-12 09:44
河北工业大学 测试工程师
经纬 AE VIT测试部
#经纬恒润裁员##经纬恒润求职进展汇总#经纬恒润 天津 AE VIT测试部部门听说公司裁应届生,不知道这个部门咋样呀,目前手里只有这一个offer,求助各位大佬#经纬##经纬润恒##经纬恒润审批#
经纬创投稳定性 47人发布
投递经纬创投等公司10个岗位
经纬恒润求职进展汇总
点赞
评论
收藏
分享
11-06 13:06
已编辑
门头沟学院 算法工程师
二选一
投票
目前手上已经有offer了,但都是和AI无关的开发岗,个人更偏向和AI有关联的岗位,所以找了两个实习打算到时候转正或者春招再试试。华测导航:这个岗位是某博导找到我的,他有些想法需要用到深度学习相关的内容,希望我帮他做相关的研究,给我华测导航的实习offer。我担心只是白嫖我六个月,最后如果该研究项目进展不顺或者其他原因项目结束了就直接把我踢掉了。优点:平台可以,能转正的话工资高,岗位是算法岗(个人比较倾向算法)芯动科技:ai软件栈开发业务和大模型部署相关的,从算子库的开发到最后部署到公司的gpu上全链条都包括,可以让我选其中一个环节作为实习工作(暂定的算子开发)。实习满六个月可转正
投递芯动科技等公司10个岗位
点赞
评论
收藏
分享
10-31 09:28
齐齐哈尔大学 测试开发
吉利控股集团-软件测试岗
求一个吉利控股集团-软件测试岗的面经,球球了
点赞
评论
收藏
分享
不愿透露姓名的神秘牛友
11-15 11:08
已编辑
大家来帮我选选,实在不知道怎么选了
投票
某移动储能电源公司
电池结构开发
18.6*14
本科211
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
3
分享
评论
提到的真题
返回内容
全站热榜
1
...
校招两方/三方违约模板
2.7W
2
...
从露宿街头到百万级种子轮融资②——我的实习期都经历了什么
7954
3
...
秋招圆满结束!!
6644
4
...
秋招结束!!!
3190
5
...
今年谨慎等华为
3047
6
...
【发帖有奖💰】爆料秋招开奖进展❗
2956
7
...
大家怎么看待计算机的各个方向
2956
8
...
秋招也许结束了
2614
9
...
入职1年,胖了15斤是什么体验
2259
10
...
避雷浙江大应科技,恶人应该有恶报!!
2235
正在热议
#
拼多多求职进展汇总
#
240639次浏览
2051人参与
#
实习,投递多份简历没人回复怎么办
#
2447606次浏览
34795人参与
#
北方华创开奖
#
67974次浏览
558人参与
#
25届秋招总结
#
425188次浏览
4296人参与
#
虾皮求职进展汇总
#
100500次浏览
810人参与
#
地方国企笔面经互助
#
7371次浏览
18人参与
#
阿里云管培生offer
#
65369次浏览
1766人参与
#
ai智能作图
#
35442次浏览
434人参与
#
中兴求职进展汇总
#
471065次浏览
2453人参与
#
我在牛爱网找对象
#
75233次浏览
556人参与
#
双非有机会进大厂吗
#
106175次浏览
1333人参与
#
实习想申请秋招offer,能不能argue薪资
#
37975次浏览
313人参与
#
机械求职避坑tips
#
24211次浏览
252人参与
#
发工资后,你做的第一件事是什么
#
10593次浏览
52人参与
#
25届机械人为了秋招做了哪些准备?
#
26803次浏览
366人参与
#
投格力的你,拿到offer了吗?
#
47873次浏览
337人参与
#
我的实习求职记录
#
6144856次浏览
84084人参与
#
投递实习岗位前的准备
#
1193691次浏览
18510人参与
#
机械人怎么评价今年的华为
#
158454次浏览
1354人参与
#
在职场上,你最讨厌什么样的同事
#
6477次浏览
96人参与
#
实习与准备秋招该如何平衡
#
725997次浏览
8568人参与
#
华为工作体验
#
112483次浏览
871人参与
牛客网
牛客企业服务