random forest 小记

random forest是一种典型的集成学习算法，主要思想是用多颗决策树来集成结果。

RF设置超参的策略：①有这些超参数，比如多少棵树，树分别有多深，分几层等等需要尽量设置的不一样，这样才能让每棵树的能力不同。②随机选取子集，让每棵树看到的样本都不一样，进一步加大区别，让集成学习更加有意义。

结果：对回归问题去均值，对分类问题取众数

优缺点，
优点：①对异常值不敏感，也不容易过拟合，效果稳定。②处理速度快，因为去了子集 ③树状结构可解释性好。
缺点：由于集成度过高，会导致难以处理困难样本，只关注更多的好处理的样本。从而导致起点高，上限低。