boosting算法族之GBDT

GBDT 是通过采用加法模型(即基函数的线性组合),以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。
图片说明

训练过程:
图片说明

GBDT是通过多次迭代,每轮迭代产生一个弱分类器(一般选择CART树),每个分类器在上一轮分类器残差的基础上进行训练。
如果我们选用平方损失函数,那这个差值就是残差。我们关注的是希望损失函数不断减小且尽可能快的减小,从而尽快的收敛到局部最优解或全局最优解,所以让损失函数沿着梯度方向减小,这就是GBDT的GB的核心。

全部评论

相关推荐

三年之期已到我的offer快到碗里来:9硕都比不上9本
点赞 评论 收藏
分享
斑驳不同:还为啥暴躁 假的不骂你骂谁啊
点赞 评论 收藏
分享
点赞 收藏 评论
分享
牛客网
牛客企业服务