点击上方卡片链接就可以进入专栏，专栏右上角有订阅选项，欢迎大家订阅～

前言

大家好，我是鬼仔，今天带来《机器学习高频面试题详解》专栏的第1.12节：GBDT算法。这是鬼仔第一次开设专栏，每篇文章鬼仔都会用心认真编写，希望能将每个知识点讲透、讲深，帮助同学们系统性地学习和掌握机器学习中的基础知识，希望大家能多多支持鬼仔的专栏～

目前这篇是试读，后续的文章需要订阅才能查看哦，专栏预计更新30+篇文章（只增不减），具体内容可以看专栏介绍，大家的支持是鬼仔更新的动力！

一、原理

1. 提升树模型

Boosting策略采用加法模型（基分类器的线性组合）与前向分布算法，将多个弱分类器集成为一个强分类器。提升树算法是以分类树或回归树作为基分类器的提升算法，可以表示为：

，其中表示决策树，为决策树的参数，为树的个数。

提升树采用前向分布算法，先初始化提升树，假设第步的模型为，则下一步模型为：

，

通过极大似然估计可以确定第颗树的参数：

不同问题对应着不同的损失函数，比如分类问题常用指数损失函数：，回归问题常用平方损失函数：。

以平方损失函数为例，损失函数为：，其中是当前模型拟合数据的残差。所以，对于回归问题的提升树算法来说，只需简单地拟合当前模型的残差。

2. 梯度提升树

当损失函数是平方损失和指数损失函数时，前向分布算法的每一步优化是比较简单的，但对于一般损失函数而言，与优化目标的拟合不好度量，损失函数各种各样，需要找到一种通用的拟合方法。

梯度提升树GBDT参考