模型评估与选择

模型评估与选择

• 检验误差与过拟合

1、错误率：分类错误的样本数a占总样本数m的比例 E=a/m

2、精度：1-E=1-(a/m) 误差：学习器预测输出与样本的真实输出之间的差异叫“误差”。

学习出来的学习器在训练集上的误差叫‘“训练误差”。

在新样本上的误差叫“泛化误差”。

过拟合：学习能力过于强大，学习到不是一般特征的特征。
欠拟合：通常由于学习能力过于弱导致。

• 模型的选择

1、理想方案：

对候选模型的泛化误差进行评估，选择泛化误差最小的模型。
通常泛化误差无法直接获得，而训练误差又存在过拟合现象。

2、评估方法 需要用测试集来测试学习器在新的样本上的预测能力，通过“测试误差” 来近似“泛化误差”

3、交叉验证法

先将数据集D划分为k个大小相似的互斥子集，即D=D1∪D2....
每个子集尽可能保持数据分布的一致性。
每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集；这样
就获得K组训练/测试集，从而可以进行k次训练和测试，最终返回的就是
k个测试结果的均值。显然，交叉验证法评估结果的稳定性和保真性在很大程度上
取决于k的取值，通常交叉验证法又叫“k折交叉验证”。k最常用的取值是10。

4、调参与最终模型 基于验证集上的性能来进行模型选择和调参。

5、性能度量 即模型泛化能力的衡量

• 错误率
• 精度
• 查全率、查准率、F1 对于二分问题，根据真实样本和分类器的预测可以分为 真正例TP、假正例FP、真反例TN、假反例FN

  查准率P=TP/TP+FP
  查全率p=TP/TP+FN