支持向量机
一、基本概念
支持向量机是一种二分类模型,目的是寻找一个超平面来对样本进行分割,分割的原则是间隔最大化。
二、SVM最优边界要求
1.正确性:对大部分样本都可以正确划分类别
2.安全性:支持向量,即离分类边界最近的样本之间的距离最远
3.公平性:支持向量与分类边界的距离相等
4.简单性:采用线性方程表示分类边界,也称分割超平面。
三、核函数
1.线性核函数:表示不通过核函数进行升维,仅在原始空间寻求线性分类边界,主要用于线性可分问题。
2.多项式核函数:用增加高次项特征的方法做升维变换,当多项式阶数高时复杂度会很高。
3.径向基核函数:具有很强的灵活性,应用很广泛。
四、总结
1.支持向量机是二分类模型
2.通过寻找最优线性模型作为分类边界
3.边界要求:正确性、公平性、安全性、简单性
4.可以通过核函数将线性不可分转换为线性可分问题,核函数:线性核函数、多项式核函数、径向基核函数
5.适合少量样本的分类
五、网格搜索
获取一个最优超参数的方式可以绘制验证曲线,但是验证曲线只能每次获取一个最优超参数。网格搜索通过多个超参数有很多排列组合,寻找最优超参数组合。
model = ms.GrideSearchCV(模型,params,cv=交叉验证次数)