求问一道阿里算法工程师面试题

在Logistic Regression中,如果有两个特征线性相关或者完全一致,问此时训练得到的模型和只用两个中的某一个得到的模型在特征权重上有什么区别,存在什么关系,如果加了正则化约束呢,又会有什么变化?

求大神指点
全部评论
不加正则时,运用单个特征的权重应该等于两个特征都用时两个权重的和(两个特征线性相关时需要考虑两特征的比例关系。加了正则的话,如果是l1,则有线性相关特征中的一个特征的权重会衰减到0;如果是l2,有一个特征的权重会变小 但不为0
点赞 回复 分享
发布于 2017-03-13 23:45
理论上特征共线性会导致特征权重变为0,但实际中影响不大。
点赞 回复 分享
发布于 2017-03-13 23:34

相关推荐

评论
点赞
13
分享
牛客网
牛客企业服务