模型评估与选择

模型评估与选择

  • 检验误差与过拟合

1、错误率:分类错误的样本数a占总样本数m的比例 E=a/m

2、精度:1-E=1-(a/m) 误差:学习器预测输出与样本的真实输出之间的差异叫“误差”。

学习出来的学习器在训练集上的误差叫‘“训练误差”。

在新样本上的误差叫“泛化误差”。

过拟合:学习能力过于强大,学习到不是一般特征的特征。
欠拟合:通常由于学习能力过于弱导致。
  • 模型的选择

1、理想方案:

对候选模型的泛化误差进行评估,选择泛化误差最小的模型。
通常泛化误差无法直接获得,而训练误差又存在过拟合现象。

2、评估方法 需要用测试集来测试学习器在新的样本上的预测能力,通过“测试误差” 来近似“泛化误差”

3、交叉验证法

先将数据集D划分为k个大小相似的互斥子集,即D=D1∪D2....
每个子集尽可能保持数据分布的一致性。
每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集;这样
就获得K组训练/测试集,从而可以进行k次训练和测试,最终返回的就是
k个测试结果的均值。显然,交叉验证法评估结果的稳定性和保真性在很大程度上
取决于k的取值,通常交叉验证法又叫“k折交叉验证”。k最常用的取值是10。

image

4、调参与最终模型 基于验证集上的性能来进行模型选择和调参。

5、性能度量 即模型泛化能力的衡量

  • 错误率
  • 精度
  • 查全率、查准率、F1 对于二分问题,根据真实样本和分类器的预测可以分为 真正例TP、假正例FP、真反例TN、假反例FN
    查准率P=TP/TP+FP
    查全率p=TP/TP+FN
    
    image
全部评论
暖贴(。・ω・。)
点赞 回复 分享
发布于 2017-04-20 14:48

相关推荐

11-07 13:31
怀化学院 Java
勇敢牛牛不怕难:又疯一个
点赞 评论 收藏
分享
点赞 收藏 评论
分享
牛客网
牛客企业服务