决策树 （DecisioTreeRegressor）
一、原理
相似的输入必会产生相似的输出，底层是cart树，二叉树
决策树通过把样本数据分配到树状结构的某个叶子节点来确定数据集中样本所属的分类。
当用于回归时，预测结果为叶子节点所有样本的均值。
二、终止条件
1.特征已经用完：没有可提供使用的特征再进行分裂，树停止分裂
2.子节点中没有样本
3.树达到了预先设定的最大深度
4.节点的样本数量达到了人为设定的阈值：当样本数量<min_samples_split
三、集合算法
（一）常用的集合模型Boosting类模型和Bagging类模型
Boosting : AdaBoost，GBDT
Bagging ：自助聚合、随即森林
1. AdaBoost模型（正向激励）
首先为样本矩阵中的样本随机分配初始权重，由此构建一颗带有权重的决策树，再由该决策树提供预测输出时，通过加权平均或者加权投票的方式产生预测值。将训练样本带入模型，得到预测y，对那些预测值与实际值不同的样本，提高其权重，由此形成第二颗决策树。
自适应增强决策树模型
Model=se.AdaBoostRegressor(model,n_estimators=400)多少棵树
2.GBDT模型（梯度提升树）
求损失函数最小的过程
import sklearn.ensemble as se #集成学习
model=se.GradientBoostingRegressor(max_depth=6,n_estimators=400)
3.自助聚合
从样本矩阵中有放回的抽取，随机抽取部分样本构建决策树，削弱某些强势样本对模型预测结果的影响，提高模型的泛化特性。
4.随即森林
在自助聚合的基础上，不仅随机选取部分样本，还随机选取部分特征。
投递牛客等公司7个岗位
海尔一面23人在聊