决策树 Decision Tree 一.基础知识 树的基本类型: 结点(内部节点,叶结点)+有向边 决策树也叫判断树,树的结构是满足 if-then 条件规则的. 树的特点:可读性性高,分类速度快 二.思想脉络 决策树=从训练数据集中归纳出一组分类规则(模型)+以损失函数为目标函数的最小化(策略)+递归的选择最优特征(算法) 三.算法推导 决策树的生成特征选择(递归的选择最优特征,算法) 信息熵: \[Ent(D)=-\sum_{k=1}^{\left| y \right|} p_{k} \log_{2} p_{k}\] 信息熵是度量样本集合纯度...