Bagging与Boosting

摘自https://www.cnblogs.com/xiaoyun94/p/7382221.html

Bagging是从原数据集中有放回的抽样，得到一组和原训练集同样大小的数据集用于模型训练得到一组分类器/回归模型，再这一组模型的输出通过投票/求平均得到最终结果。是一种并行集成的方法。（bagging+决策树=随机森林）
Boosting是用弱分类器不断对拟合误差进行学习、累加，得到一个强的、新的分类器。是一种串行集成的方法（AdaBoost + 决策树 = 提升树；Gradient Boosting + 决策树 = GBDT）

Bagging和Boosting的区别：摘自http://www.cnblogs.com/liuwu265/p/4690486.html
样本选择

1. Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间相互独立
2. Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

样本权重

1. Bagging：使用均匀取样，每个样例的权重相等
2. Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大

分类器权重
4. Bagging：所有分类器的权重相等
5. Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重

并行
7. Bagging：各个分类器可以并行生成
8. Boosting：各个分类器只能顺序生成，因为后一个模型参数需要前一轮模型的结果

Boosting有两个主要的思考点，一是如何改变训练数据的概率分布来学习到一系列弱分类器；二是如何将弱分类器组合成一个强分类器