决策树 (DecisioTreeRegressor)

一、原理

相似的输入必会产生相似的输出,底层是cart树,二叉树
决策树通过把样本数据分配到树状结构的某个叶子节点来确定数据集中样本所属的分类。
当用于回归时,预测结果为叶子节点所有样本的均值

二、终止条件

1.特征已经用完:没有可提供使用的特征再进行分裂,树停止分裂
2.子节点中没有样本
3.树达到了预先设定的最大深度
4.节点的样本数量达到了人为设定的阈值:当样本数量<min_samples_split

三、集合算法

(一)常用的集合模型Boosting类模型和Bagging类模型

Boosting :   AdaBoost,GBDT
Bagging  :自助聚合、随即森林

1. AdaBoost模型(正向激励)

首先为样本矩阵中的样本随机分配初始权重,由此构建一颗带有权重的决策树,再由该决策树提供预测输出时,通过加权平均或者加权投票的方式产生预测值。将训练样本带入模型,得到预测y,对那些预测值与实际值不同的样本,提高其权重,由此形成第二颗决策树。
自适应增强决策树模型
Model=se.AdaBoostRegressor(model,n_estimators=400)多少棵树

2.GBDT模型(梯度提升树)

求损失函数最小的过程

import sklearn.ensemble as se #集成学习

model=se.GradientBoostingRegressor(max_depth=6,n_estimators=400)

3.自助聚合

从样本矩阵中有放回的抽取,随机抽取部分样本构建决策树,削弱某些强势样本对模型预测结果的影响,提高模型的泛化特性。

4.随即森林

在自助聚合的基础上,不仅随机选取部分样本,还随机选取部分特征。





#机器学习#
全部评论
一直不太懂,感谢楼主分享
点赞 回复 分享
发布于 2022-10-23 16:29 陕西

相关推荐

就前几天旅游的时候,打开抖音就经常刷到这类视频:以前是高学历学生、老师、主持人,现在做着团播、擦边主播的工作,以及那些经过精心包装的“职业转型”故事——从铺天盖地的VLOG到所谓的“04年夜场工作日记”,这些内容在初中升学、高考放榜等关键时间节点持续发酵。可以说非常直接且精准地在潜移默化地影响着心智尚未成熟的青少年,使其对特殊行业逐渐脱敏。那我就想问了:某些传播公司、平台运营者甚至某些夜场的老板,你们究竟在传递怎样的价值观?点开那些视频,评论区里也是呈现明显的两极分化:一种是​​经济下行论​​:“现在就业市场已经艰难到这种程度了吗?”​​一种是事实反驳派​​:这些创作者往往拥有名校背景,从事着...
牛客刘北:被环境教育的,为了能拿到足够的钱养活自己,不甘心也得甘心,现在的短视频传播的思想的确很扭曲,但是很明显,互联网玩上一年你就能全款提A6,但你全心全意不吃不喝工作一年未必能提A6,但是在高考中考出现这个的确很扭曲,在向大家传播“不上学,玩互联网也可以轻松年入百万”,不是人变了,是社会在变
预测一下26届秋招形势
点赞 评论 收藏
分享
风中翠竹:真的真的真的没有kpi。。。面试官是没有任何kpi的,捞是真的想试试看这个行不行,碰碰运气,或者是面试官比较闲现在,没事捞个人看看。kpi算HR那边,但是只有你入职了,kpi才作数,面试是没有的。
双非有机会进大厂吗
点赞 评论 收藏
分享
仁者伍敌:牛子这些人还会点一个自动回复,boss都不带回复的
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
今天 12:04
毕业生招你惹你了,问一个发薪日来一句别看网上乱七八糟的你看哪个工作没有固定发薪日扭头就取消了面试就问了一句公司都是这个态度吗还搞上人身攻击了...
程序员小白条:呃呃呃,都还没面试,我都不会问这么细,何况通不通过,去不去都另说,你没实力和学历的话,在外面就这样,说实话没直接已读不回就不错了,浪费时间基本上
点赞 评论 收藏
分享
评论
点赞
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务