3-7 机器学习在业务面试中的应用

【一、数据预处理】

这里说的数据预处理主要是数据的清洗和转化。我们重点说下面试中最常遇到的缺失值、异常值、数据转化、数据规范化等处理。

1.缺失值

（1）一般来说，若缺失率高达50%以上，且重要性较低，可以考虑删除变量。比如在这样一个风控数据中，有一个变量为“距最高学历毕业时长”，缺失值高达70%，且现有的变量和用户是否有违约行为之间并不存在显著的相关关系，可以考虑删除变量。

（2）如果缺失率比较低，可以通过各种方式进行缺失值的填充，常见方法包括：

①均值填充，中位数填充，众数填充等——如果变量分布较均匀可以用均值填充，如果存在偏态分布可以用中位数填充，如果是离散变量可以用众数填充；比如针对“信用卡数量”这一变量，可能会优先考虑中位数填充，因为绝大多数的人信用卡数量集中在1-3张的区间里，这个变量很可能是偏态分布的。

②模型预测填充，可以采用回归，随机森林等模型对缺失值进行预测，利用模型结果填充数据。

③哑变量填充，又叫虚拟变量填充，主要用于离散数据的处理。例如有一列sex（性别），利用哑变量转化时，可以拆分为3列：sex_is_male, sex_is_female, sex_is_na。若该样本为男性用户，则sex_is_male=1, sex_is_female=0, sex_is_na=0。  

2.异常值

（1）3倍标准差原则，比如数据与均值的差异大于3倍标准差，可以粗略的定义为离群点；

（2）根据聚类算法，远离主要簇的小簇或者个别样本点可以视为异常值；

（3）基于分位数判断离群点，这里可以利用python或者R快速的计算判断。在这里，异常值被定义为小于Q1-K(Q3-Q1)或大于Q3+K(Q3-Q1)。Q1和Q3分别代表下四分位数和上四分位数，K一般取值1.5，代表中度异常，若K=3，可代表极度异常。

针对异常值，可以选择和缺失值一样的处理方法进行填充。

3.数据转化

（1）针对定序型的数据，可以用序号进行编码，如客户对风险的理解层次，分为Good，Average，Bad三档，在进行序号编码时，可以根据大小关系进行赋值，如Good标记为3，Average标记为2，Bad标记为1。

（2）对于定类型的数据，可以采用one-hot编码，比如学历数据为高中，本科，硕士，那么高中表示为(1,0,0)，本科表示为(0,1,0)，硕士表示为(0,0,1)。

4.数据分箱

常用的分箱方法有：

（1）卡方分箱，卡方分