机器学习面经-评估方法与评价指标

一、简介

在机器学习中,评价方法和评价指标用于衡量模型在给定数据上的性能和预测能力。不同的任务和问题可能会选择不同的评价方法和评价指标。如准确率、召回率、均方误差、AUC等。

二、面经

1、请问模型常用的评估方法有哪些?

2、请问常用的评价指标有哪些?

3、你知道准确率(Accuracy)、精确率(Precision)、召回率(Recall)是怎么算的吗?

4、讲讲F1-score是怎么算的?

5、针对上面提到的一些指标,当训练集中类别不均衡,哪个最不准确?

6、ROC、AUC、PR曲线是什么关系?

7、AUC为什么比其他指标好?

8、AUC高是否一定说明auc高的模型排序能力更强?AUC对均匀正负样本采样不敏感?

9、AUC 值本身的理论上限是1吗?

10、AUC 与线上业务指标的宏观关系?

11、ROC曲线和PR曲线的区别?各自的适用场景?

三、面经参考回答

1、请问模型常用的评估方法有哪些?

参考回答:常用的评估方法包括以下几种:

  • 训练集和测试集划分:将数据集划分为训练集和测试集,通常按照一定比例(如70%训练集,30%测试集)划分数据。训练集用于训练模型,测试集用于评估模型的性能和泛化能力。
  • 交叉验证:K折交叉验证:将数据集划分为K个子集,依次选取其中一个子集作为验证集,剩余K-1个子集作为训练集,进行K次训练和测试,最后将K次评估结果取平均值。K折交叉验证可以更充分地利用数据集,得到更稳定的性能评估结果。留一交叉验证:特殊情况下,K折交叉验证中K等于数据集大小,即每次只留一个样本作为验证集。
  • 自助法(Bootstrap):自助法是一种有放回的采样方法,从原始数据集中随机采样得到一个新的训练集,然后使用剩余样本作为测试集。由于自助法采样可能会产生多个相似的数据集,因此可以得到多个模型性能评估结果,通过取平均值来得到最终评估结果。
  • 留出集法(Hold-out):将数据集划分为训练集、验证集和测试集三部分。训练集用于模型训练,验证集用于调参和模型选择,测试集用于评估模型在未知数据上的泛化能力。
  • 时间序列交叉验证:对于时间序列数据,为了避免训练集包含未来的信息,常用的交叉验证方法有滚动交叉验证和时间序列分割交叉验证。

2、请问常用的评价指标有哪些?

参考回答:当评估机器学习模型的性能时,常用的评价指标根据任务类型可以分为以下几类:

分类任务评价指标:

  • 准确率(Accuracy):分类正确的样本数占总样本数的比例。
  • 精确度(Precision):真阳性样本数占所有被模型预测为正样本的样本数的比例。
  • 召回率(Recall):真阳性样本数占所有真实正样本的样本数的比例。
  • F1分数(F1 Score):精确度和召回率的调和平均,用于综合考虑模型的准确性和召回性能。
  • ROC曲线和AUC:ROC曲线绘制了灵敏度(召回率)和特异度之间的关系,AUC用于度量ROC曲线的性能,越接近1表示模型性能越好。

回归任务评价指标:

  • 均方误差(Mean Squared Error,MSE):预测值与真实值之间的平方差的均值。
  • 平均绝对误差(Mean Absolute Error,MAE):预测值与真实值之间的绝对值差的均值。
  • R2分数(R-squared):模型预测值的方差占总方差的比例,越接近1表示模型拟合效果越好。

聚类任务评价指标:

  • 轮廓系数(Silhouette Coefficient):衡量聚类的紧密性和分离性,越接近1表示聚类效果越好。
  • 互信息(Mutual Information):衡量聚类结果与真实标签之间的信息量,越大表示聚类效果越好。

排序任务评价指标:

  • 平均精确率(Mean Average Precision,MAP):对多个查询的平均精确率的平均值。

多标签分类任务评价指标:

  • Hamming Loss:平均每个样本上错误的标签比例。
  • Jaccard Similarity Score:真实标签和预测标签的交集与并集之间的比例。

不同的评价指标适用于不同的任务和场景,根据具体的问题选择合适的评价指标是非常重要的。在实际应用中,通常需要综合考虑多个评价指标,并根据业务需求来选择最适合的评价指标。

3、你知道准确率(Accuracy)、精确率(Precision)、召回率(Recall)是怎么算的吗?

参考回答:先说一下含义:TP、FP、FN、TN分别为真阳性、假阳性和假阴性、真阴性。简单来说,就是:

真阳性(TP):标签为正类,预测为正类;

假阳性(FP):标签为负类,预测为正类;

真阴性(TN):标签为负类,预测为负类;

假阴性(FN):标签为正类,预测为负类;

准确率(Accuracy):T

剩余60%内容,订阅专栏后可继续查看/也可单篇购买

小白机器学习面试指南 文章被收录于专栏

林小白的机器学习指南,从本人面试的机器学习算法岗位出发,对机器学习“八股文”做详细的介绍、推导;

全部评论
m
点赞 回复 分享
发布于 2023-07-28 02:25 北京
mark
点赞 回复 分享
发布于 2023-07-28 12:41 江苏
mark
点赞 回复 分享
发布于 2023-07-28 22:10 安徽
mark
点赞 回复 分享
发布于 2023-07-28 22:58 安徽

相关推荐

10-12 13:55
企业号
10月10日,信也科技在巴基斯坦宣布其在该国布局的金融科技平台正式上线,将为巴基斯坦用户提供深度本地化、安全高效的普惠金融服务。信也科技高级副总裁孙晓冬、巴基斯坦监管机构代表和商业合作伙伴共同见证了发布仪式。巴基斯坦地处南亚次大陆重要位置,与我国长期保持睦邻友好和互利合作。我国是巴基斯坦最大的贸易伙伴,随着中巴经济走廊建设的推进,双方在各领域的经贸往来和文化交流持续深化。巴基斯坦人口基数庞大、结构年轻,且金融覆盖率低。同时,当地金融科技市场线上化趋势明确,市场空间充足。信也科技将依托其在金融科技领域17年的科技优势和成熟的新市场本土化经验,推进巴基斯坦数字化普惠金融发展。信也科技首席执行官李铁铮表示:“信也科技巴基斯坦平台上线,是公司全球化战略布局的新里程碑。信也科技将坚持以合规和本土化经营为基础,稳步推进国际化布局,把中国金融科技的经验落地到更多的海外市场。”信也科技高级副总裁孙晓冬表示:“基于巴基斯坦广阔的市场空间和信也科技成熟的海外拓展经验,我们对在该国成功落地金融科技业务充满信心。信也科技将严格遵守当地法律法规,并尊重当地文化,为本地用户提供更安全、优质的数字化普惠金融服务。”此前,信也科技获得由巴基斯坦证券和交易委员会(SECP)颁发的非银行金融公司(Non Banking Financial Company,简称NBFC)牌照,为公司在当地持牌合规经营奠定基础。自2018年启动国际化战略以来,信也科技秉持合规先行的原则进行海外业务拓展。今年,公司在海外市场接连获得重要金融牌照,除巴基斯坦外,信也科技还在印尼获得由印尼金融服务监管局(OJK)颁发的“多元金融牌照”(Multi-finance),在菲律宾取得当地监管颁发的征信牌照。目前,信也科技已在印尼、菲律宾建立了深度本地化的金融科技平台,在拉美等地区开展科技服务业务,并持续在更多海外市场探索商业机会。公司财报显示,截至2024年第二季度末,信也科技在海外累计服务560万用户,海外业务在信也科技集团营收的占比接近20%,成为公司业务增长新引擎。#信也科技##信也科技校招#   https://mp.weixin.qq.com/s/zGSF29Okg-4uIIZPfmOdbw
投递信也科技等公司10个岗位
点赞 评论 收藏
分享
5 16 评论
分享
牛客网
牛客企业服务