boosting算法族之GBDT
GBDT 是通过采用加法模型(即基函数的线性组合),以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。
训练过程:
GBDT是通过多次迭代,每轮迭代产生一个弱分类器(一般选择CART树),每个分类器在上一轮分类器残差的基础上进行训练。
如果我们选用平方损失函数,那这个差值就是残差。我们关注的是希望损失函数不断减小且尽可能快的减小,从而尽快的收敛到局部最优解或全局最优解,所以让损失函数沿着梯度方向减小,这就是GBDT的GB的核心。
GBDT 是通过采用加法模型(即基函数的线性组合),以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。
训练过程:
GBDT是通过多次迭代,每轮迭代产生一个弱分类器(一般选择CART树),每个分类器在上一轮分类器残差的基础上进行训练。
如果我们选用平方损失函数,那这个差值就是残差。我们关注的是希望损失函数不断减小且尽可能快的减小,从而尽快的收敛到局部最优解或全局最优解,所以让损失函数沿着梯度方向减小,这就是GBDT的GB的核心。
相关推荐
程序员小白条:简历写的有点太多了,一般两页是实习经历比较多的情况下,要么自己有一些有影响力的开源项目,如果你走软件,硬件没必要实习,学校安排总是没区分度的,央国企最好有中大厂实习,另外学历比较重要,不是都要求硕士的,技术会比互联网要求低一些