决策树 (DecisioTreeRegressor)

一、原理

相似的输入必会产生相似的输出,底层是cart树,二叉树
决策树通过把样本数据分配到树状结构的某个叶子节点来确定数据集中样本所属的分类。
当用于回归时,预测结果为叶子节点所有样本的均值

二、终止条件

1.特征已经用完:没有可提供使用的特征再进行分裂,树停止分裂
2.子节点中没有样本
3.树达到了预先设定的最大深度
4.节点的样本数量达到了人为设定的阈值:当样本数量<min_samples_split

三、集合算法

(一)常用的集合模型Boosting类模型和Bagging类模型

Boosting :   AdaBoost,GBDT
Bagging  :自助聚合、随即森林

1. AdaBoost模型(正向激励)

首先为样本矩阵中的样本随机分配初始权重,由此构建一颗带有权重的决策树,再由该决策树提供预测输出时,通过加权平均或者加权投票的方式产生预测值。将训练样本带入模型,得到预测y,对那些预测值与实际值不同的样本,提高其权重,由此形成第二颗决策树。
自适应增强决策树模型
Model=se.AdaBoostRegressor(model,n_estimators=400)多少棵树

2.GBDT模型(梯度提升树)

求损失函数最小的过程

import sklearn.ensemble as se #集成学习

model=se.GradientBoostingRegressor(max_depth=6,n_estimators=400)

3.自助聚合

从样本矩阵中有放回的抽取,随机抽取部分样本构建决策树,削弱某些强势样本对模型预测结果的影响,提高模型的泛化特性。

4.随即森林

在自助聚合的基础上,不仅随机选取部分样本,还随机选取部分特征。





#机器学习#
全部评论
一直不太懂,感谢楼主分享
点赞 回复 分享
发布于 2022-10-23 16:29 陕西

相关推荐

今天 08:58
已编辑
门头沟学院 Java
ttl:&nbsp;3.19一面晚上过3.20二面3.23oc3.25offerbase:末9有一段中小厂实习一面面经:(总体时长一个小时二十分钟左右没什么八股,主要都是问项目和场景题1.实习(问了有四十分钟,感觉面试官很看重实习这一块,一直在拷打,问到后面我都要疯了,好在准备得比较充分1️⃣用的是什么中间件,有参与技术选型吗,实习的项目里为什么选这个RabbitMQ而不是kafka,为什么不用RocketMQ,为什么放弃异步,自己的项目里面使用的是kafka,那你觉得项目和实习的中间件选型有差异的原因是什么,他们之间的区别在哪里,底层的原因知道吗(高柱到这里已经快疯了,但是硬着头皮答完了,主要是从一致性吞吐量和框架的契合度答,面试官说答得挺好的,应该是没什么问题,这一块就问了快半个小时,到这里我已经快疯了2️⃣项目怎么对接上下游3️⃣介绍项目的难点重点4️⃣微服务(高柱实习是单体项目没涉及这一块5️⃣Redis的使用2.项目:1️⃣智能客服是怎么应用在项目里的(langchain4j➕rag➕functioncalling)2️⃣RAG了解多少3️⃣文本向量化的难点是什么,了解哪些大模型的知识(我一点不懂,纯瞎扯,但貌似扯对了4️⃣对ai的态度是什么,aicoding相关5️⃣怎么保证多节点下Caffeine缓存里面数据都是一致的(答的是短ttl,面试官不是很满意,但是我确实不太懂这个怎么保证,后来查了还是不懂怎么保证6️⃣Redis的使用,和你的实习项目的使用有区别吗,还有一些引申问题3.八股(含量不高,就是走个过场1️⃣进程的内存布局2️⃣Redis三剑客3️⃣微服务相关知识(高柱已经忘得差不多了…勉强答上来4️⃣JVM5️⃣线程状态6️⃣线程安全,在你的实习项目里怎么保证线程安全的(又绕回来了4.智商题找异常球5.手撕:1️⃣五道sql,不难2️⃣力扣不重叠的滑动窗口数组,贪心➕双指针秒了强度拉满了这个一面,高柱到后面人都是傻的二面面经:(就半个小时实习拷打,简历上写了几点就问了几点,问完就结束了,无手撕
查看19道真题和解析
点赞 评论 收藏
分享
评论
点赞
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务