SVM十问十答

什么是线性分类器?

线性分类器试图通过训练集中的样本得出一个分类超平面,目标是最大程度地区分训练集中不同类别的样本,最终把这个分类超平面应用于新样本的分类。

SVM相比一般的线性分类器有什么不同?

SVM以最大化不同类别之间的间隔为优化目标。

SVM和逻辑回归有什么区别?

  • 逻辑回归通过sigmoid函数缩小了远离分类超平面那些点的信息,而SVM直接忽略了那些点的信息。
  • 逻辑回归输出样本归属于某一类别的概率,而SVM无法直接输出这一概率。

最大化间隔会带来什么好处?

间隔与分类问题的结构风险有关,最大化间隔等于最小化结构风险,从而得到一个更好的分类器。

什么是结构风险?

结构风险是经验风险和置信风险的和。
通常人们在构建一个分类器的时候,首先会关注这个分类器在当前的训练集上的分类误差,误差越小,经验风险也就越小,说明模型越好地拟合了经验。但是仅仅追求分类器在训练集上的性能最优,就会带来过拟合的问题,造成分类器在训练集上天下无双,遇到真实问题却一塌糊涂的现象。于是人们又提出了第二个指标,用来衡量一个分类器的泛化能力,称之为置信风险,大白话就是我能多大程度上信任这个模型,去帮我解决新样本的问题。然而置信风险是很难精确衡量的,目前只能给出一个区间,而模型越简单,置信风险也就越小。

什么是支持向量?

最大化间隔在正样本和负样本的集合上各形成一个边界,位于这两个边界上的样本就是支持向量。后续新样本的分类就只依赖于这些支持向量的信息,从而降低了存储和计算的复杂性。

为什么要变换问题的形式?

为了凑成一个二次规划问题,从而能保证求出全局惟一的最优解。

为什么要转换成拉格朗日对偶问题?

转换为对偶问题能得到更高效的解法,也方便了核函数的引入。

SVM怎么解决线性不可分的问题?

特征空间向更高维的投射可以使原来特征空间里的曲线转化成直线,也就是我们可以获得一个在更高维空间的线性可分问题,同样的也在这个更高维的空间里判断新的样本。

核函数有什么作用?

特征空间升维之后,维数是非线性膨胀的(2维变5维,3维变19维……),很容易造成维灾难。核函数想办法让你在原属性的空间里计算高维空间的决策边界。

标注差错的情况怎么处理?

通过软边缘(Soft Margin)。为所有不满足条件的约束条件引入一个松弛变量,同时在目标函数添加一个惩罚项。惩罚项的乘数因子C在训练中利用试错法确定。

怎样进行多分类?

两种办法:一是「一对其余」,即把每个类别和其余所有类别分别作为正负样本输入;二是「一对一」,两两类别比较后看落入哪一类别,再拿这个类别与第三个类别比较。

2shou wechat
更多精彩内容,欢迎关注微信公众号「极客思享」