大佬们面试的时候怎么介绍gbdt,xgboost

我介绍gbdt的时候说在函数空间中做梯度下降,xgboost是对目标函数关于当前模型做二阶泰勒展开,但是貌似效果不好?面试官期待 "每一步是拟合上一步的残差”的答案,我说拟合残差是一般的boosting方法,拟合残差可以看作是gbdt的特例,面试官:…  大家来讨论一下,面试的时候怎么说比较好?
全部评论
不能说拟合残差是一般的boosting方法,boosting的思想是每一个基分类器纠正前一个基分类器的错误,至于纠正的方式不同所以有不同的boosting算法,比如通过调整样本权值分布训练基分类器对应的AdaBoost,通过拟合前一个基分类器与目标值的误差的负梯度(也不能说是残差,只有在损失函数是平方损失时才能叫残差,一般的损失函数是近似残差)来学习下一个基分类器的方法是gradient boosting
25 回复 分享
发布于 2017-08-30 19:38
我是这么理解的,adaboost是前向分布算法+指数损失函数,gbdt是前向分布算法在较难优化的损失函数情况时的一种近似的优化,用损失函数的负梯度作为残差的近似值,用到泰勒一阶展开,xgb支持任意损失函数,只要一阶二阶可导即可,用到泰勒二阶展开。
6 回复 分享
发布于 2017-08-30 19:52
...
点赞 回复 分享
发布于 2017-08-30 16:29
拟合上一步的残差
点赞 回复 分享
发布于 2017-08-30 16:13
拟合残差是对应于平方loss
点赞 回复 分享
发布于 2017-08-30 17:05

相关推荐

KPLACE:首先是板面看起来不够,有很多奖,比我厉害。项目要精减,大概详细描述两到三个,要把技术栈写清楚,分点,什么算法,什么外设,怎么优化,不要写一大堆,分点,你写上去的目的,一是让别人知道你做了这个知识点,然后在面试官技术面的时侯,他知道你会这个,那么就会跟你深挖这个,然后就是个人评价改为专业技能
点赞 评论 收藏
分享
起名字真难233:人家只有找猴子的预算,来个齐天大圣他们驾驭不住呀😂😂
点赞 评论 收藏
分享
评论
1
26
分享

创作者周榜

更多
牛客网
牛客企业服务