求问xgboost损失函数！

我的理解是xgb用的泰勒展开近似损失函数，对近似函数求导令其为0，来得到当前拟合值，相较于gbdt的直接对损失函数求导令其为0得到当前拟合值，不应该是xgb用到更少的信息刻画损失函数，防止过拟合吗？但是看到面经都是千篇一律gbdt一阶导刻画损失，xgb一阶二阶刻画损失，xgb学到更多信息。明明gbdt的损失一点没变啊……

不知道描述清楚了吗？

全部评论

推荐最新楼层

43967

门头沟学院算法工程师

只不过gbdt和xgb是在函数空间优化，梯度下降和牛顿法在参数空间优化

2 回复分享

发布于 2019-10-18 01:32

43967

门头沟学院算法工程师

gbdt是一阶泰勒，xgb二阶泰勒，类比于梯度下降(一阶泰勒)和牛顿法(二阶泰勒)

1 回复分享

发布于 2019-10-18 01:30

43967

门头沟学院算法工程师

所以xgb收敛速度比gbdt更快(牛顿法收敛速度比梯度下降更快)，为什么不用更高阶的泰勒展开，因为会使损失函数为非凸函数，无法令其导为0

1 回复分享

发布于 2019-10-18 01:42

Dejavu_Get

天津大学算法工程师

泰勒展开越多阶越接近原值

点赞回复分享

发布于 2019-10-18 00:20

丶Pio

上海交通大学数据分析师

gbdt每次训练的y不就是那个损失函数的一阶梯度嘛，这个和一阶泰勒展开有啥区别嘛

点赞回复分享

发布于 2019-10-18 00:41

Jonariguez

拼多多_算法工程师

GBDT:L(yi, y*_[t-1])对y*_[t-1]求导作为目标函数 XGB: L(yi, y*_[t-1]+ft)对y*_[t-1]求导作为目标函数他们是一样的吗？

点赞回复分享

发布于 2019-10-18 01:16

今天 16:27

北京体育大学运营

大厂实习遇到秃头mentor职场冷暴力。。

大三上寒假千里迢迢、怀着一腔热忱来北京某大厂实习，通过了三轮面试本以为是走运，却不知即将经历职场第一课第一天报到的时候，因为到得太早了，联系HR已读不回，在公司楼下等了一小时才回复我，进去以后热情地和mentor大哥打招呼，他真的是一脸不耐烦地抬了抬眼皮瞥了一眼，无奈地点了点头，瞬间感觉热脸贴了冷屁股随后，mentor大哥撇给了我一堆sop，给我安排任务，但大多数都是简单重复的活，可能因为组里只有我一个实习生，大家陆陆续续的有什么dirty work都交给我，学不到什么东西，虽然事先有心理准备，但是时间长了还是觉得非常痛苦偶尔有什么疑问去问mentor,只是得到一句&...

职场破防瞬间

点赞评论收藏

03-21 10:19

同济大学 ARM工程师

明显感觉到嵌入式的风向已有变化

明显感觉到嵌入式的风向已经彻底变了.. 现在直接去招聘市场转一圈，就知道当下是一个什么样的就业环境，和几年前已经不能比了，甚至很多人都把嵌入式方向当成了天坑，对于那些在读计算机学生转嵌入式，也不用过于焦虑，比着其他专业，嵌入式优势其实还好，多利用大学的时间，为自己的未来铺路。学好线基础语言和早接触单片机它是项目、后行物联网机器，处理这些研究方向的一个基础嵌入式是很庞杂的，软件加硬件硬件的都可以称作嵌入式，所以要学习的东西是蛮多的，你可能并不知道要学习哪些知识；你学的知识可能并非是企业所需要的；网上的资料非常多，你可能并不知道哪些是重点；不是学习了嵌入式就万事大吉，不同的行业千差万别，同一个企业...

点赞评论收藏

02-25 23:53

西北工业大学 Java

简历求拷打

26届92硕（中下游985），准备用这个简历冲大厂暑期，求简历拷打#简历被挂麻了，求建议# #那些拿到大厂offer的简历长啥样# #如何写一份好简历# #听劝，我这个简历该怎么改？# #java# #计算机# #互联网# #后端# #实习# #暑期实习#

神哥不得了：神哥来啦~自我评价和校园经历的话可以直接删了，从大厂暑期的话应该没有什么太多问题，应该是能拿到很多大厂面试机会的，就是在面试的时候表示的好一点就行，可以在面试前先把高频top 50的八股多巩固几遍，千万不要看那些假高频八股，这两个项目的话问题不是很大，应该能够帮你找到大厂实习的，算法的话一定要刷起来，因为大厂有些还是比较看重算法的