决策树通过预剪枝和后剪枝提升模型的泛化能力。（）

[单选题]

```
正确
```
```
错误
```

查看正确选项

迷茫中的星星火

预剪枝是要对划分前后泛化性能进行评估。对比决策树某节点生成前与生成后的泛化性能。后剪枝表示先从训练集中生成一颗完整决策树。

发表于 2020-10-02 09:48:55 回复(0)

樂子吱吱吱_

剪枝（pruning）是决策树学习算法对付“过拟合”的主要手段。在决策树学习中，为了尽可能正确分类训练样本，节点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因为训练样本学得“太好了”，以致于把训练集自身的一些特点当做所有数据都具有的一般性质而导致过拟合。因此可通过主动去掉一些分支来降低过拟合的风险。决策树剪枝的基本策略包括预剪枝和后剪枝：

（1）预剪枝（prepruning）是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分，并将当前结点标记为叶结点。

（2）后剪枝（postpruning）是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该节点对应的子树替换为叶结点能带来决策树泛化性能的提升，则将该子树替换为叶结点。

《机器学习》——周志华

上述剪枝过程中的“评估”、“考察”在书中用性能评估方法中的留出法举了一个例子，把数据集划分为训练集和验证集，后剪枝直接用训练集训练一棵树，然后在通过剪枝判断其验证集上的性能是否有所提升，然后决定是否剪枝，预剪枝则是通过分析每个分类节点在展开成树和直接作为叶子节点时的验证集精度。

发表于 2021-08-19 11:17:14 回复(0)