boosting算法族之GBDT

GBDT 是通过采用加法模型(即基函数的线性组合),以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。
图片说明

训练过程:
图片说明

GBDT是通过多次迭代,每轮迭代产生一个弱分类器(一般选择CART树),每个分类器在上一轮分类器残差的基础上进行训练。
如果我们选用平方损失函数,那这个差值就是残差。我们关注的是希望损失函数不断减小且尽可能快的减小,从而尽快的收敛到局部最优解或全局最优解,所以让损失函数沿着梯度方向减小,这就是GBDT的GB的核心。

全部评论

相关推荐

书海为家:实习是成为大厂正式员工很好的敲门砖,看您的简历中有一段实习经历,挺好的。我来给一点点小建议,因为毕竟还在学校不像工作几年的老鸟有丰富的项目经验,面试官在面试在校生的时候更关注咱们同学的做事逻辑和思路,所以最好在简历中描述下自己实习时做过项目的完整过程,比如需求怎么来的,你对需求的解读,你想到的解决办法,遇到困难如何找人求助,最终项目做成了什么程度,你从中收获了哪些技能,你有什么感悟。
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务