KNN有监督。如果一个样本在特征空间中的 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。L1范数距离与L2范数距离K值选择1）选择较小的K值，就相当于用较小的领域中的训练实例进行预测，“学习”近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大，换句话说，K值的减小就意味着整体模型变得复杂(指的是数值发生一点点改变，分类结果就不相同了，模型的泛化性不佳)，容易发生过拟合；2）选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学习的估计误差，但缺点是学习的近似误差会增大。...

我们可能已经构建好了一些不错的分类器，这时我们可以通过集成方法将他们组合成一个更强的预测器。目前有几种流行的集成方法，包括bagging、boosting、stacking等。1.投票分类器聚合每个分类器的预测，将得票最多的结果作为预测类别，被称为硬投票分类器。如果所有分类器都能估算出类别的概率，那么可以将概率取平均数，以概率最高的类别作为预测，这被称为软投票法。2.bagging与pasting投票分类器的方法是使用不同的训练算法。还有另一种方法是每个预测器使用的算法相同，但是在不同的训练集随机子集上进行训练。采样时如果将样本放回，这种方法叫作bagging，采样时样本不放回，叫pastin...