模型评估与选择
模型评估与选择
- 检验误差与过拟合
1、错误率:分类错误的样本数a占总样本数m的比例 E=a/m
2、精度:1-E=1-(a/m) 误差:学习器预测输出与样本的真实输出之间的差异叫“误差”。
学习出来的学习器在训练集上的误差叫‘“训练误差”。
在新样本上的误差叫“泛化误差”。
过拟合:学习能力过于强大,学习到不是一般特征的特征。
欠拟合:通常由于学习能力过于弱导致。
- 模型的选择
1、理想方案:
对候选模型的泛化误差进行评估,选择泛化误差最小的模型。
通常泛化误差无法直接获得,而训练误差又存在过拟合现象。
2、评估方法 需要用测试集来测试学习器在新的样本上的预测能力,通过“测试误差” 来近似“泛化误差”
3、交叉验证法
先将数据集D划分为k个大小相似的互斥子集,即D=D1∪D2....
每个子集尽可能保持数据分布的一致性。
每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集;这样
就获得K组训练/测试集,从而可以进行k次训练和测试,最终返回的就是
k个测试结果的均值。显然,交叉验证法评估结果的稳定性和保真性在很大程度上
取决于k的取值,通常交叉验证法又叫“k折交叉验证”。k最常用的取值是10。
4、调参与最终模型 基于验证集上的性能来进行模型选择和调参。
5、性能度量 即模型泛化能力的衡量
- 错误率
- 精度
- 查全率、查准率、F1 对于二分问题,根据真实样本和分类器的预测可以分为
真正例TP、假正例FP、真反例TN、假反例FN
查准率P=TP/TP+FP 查全率p=TP/TP+FN