【机器学习】SVM支持向量机模型

大家好，欢迎来到IT知识分享网。

本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com

本文解说SVM的硬间隔损失函数的定义和思想，以及硬间隔损失函数的推导

一. SVM的目标和思想

1.1 SVM硬间隔模型的原始目的

SVM硬间隔模型用于样本线性可分的二分类，

声明
本文所说的SVM都是指硬间隔模型，它基于样本线性可分，
硬间隔是相对软间隔模型而言，软间隔不要求样本线性可分

1.2 SVM的直接目标

1.3 什么是支持向量

也就是说，看起来用很多样本训练模型，但最关键的样本其实并不多

二. SVM的支持平面的表示方式

2.1 支持面表示方式的初步思路

一组支持面可以由(w,b,d)指定，

2.2 初步思路的缺陷与改进

初步思路中的缺陷
初步思路中，用(w,b,d)来表示支持面
这种表述最大的问题是，
由于wx+b=0与k(wx+b)=0表示的是同一个平面，
虽然最优支持面只有一组，假设为(w,b,d)
但对所有k>0, (kw,kb,d)都能表示这组最优支持平面，
即最后的解(的表述)存在无限多个

改进思路
注意到d的取值范围为 $(0,+\infty )$
对平面wx+b=0， $\dfrac{1}{\left \| w \right \| }$ 的取值范围也是 $(0,+\infty )$ ，

不妨用 $\dfrac{1}{\left \| w \right \| }$ 来替代d,这样可以消去d，
这样的表示能让解的表述较为唯一，
如下

（w,b）表示的是以Wx+b=0为中心面两边展开 $\dfrac{1}{\left \| w \right \| }$ 距离的一组支持面

而（kw,kb）虽然与(W,b)的中心面一致，但撑开的距离为 $\dfrac{1}{\left \| kw \right \| }$ ,
所以两者表示的不是同一组支持面（k=-1除外）

2.3 支持面的最终表示方式

注：同时，wx+b=0也就是最后需要得到的判别面

三. SVM模型表达式

3.1 SVM模型表达式

特别说明

共三个平面，如图：

这家伙是带翅膀的！

虽然最后的判断核心是依靠判别面，

但支持面提供了样本可信程度的一个参考

3.2 wx+b的意义

四. SVM模型损失函数

本节讲解SVM模型(硬间隔)的损失函数和解读损失函数的意义

4.1 损失函数

SVM硬间隔损失函数如下

4.2 损失函数解说

损失函数的优化目标
损失函数的优化目标 $L(w,b) = \dfrac{1}{2} \left \| w \right \|^2$ 的本质是最小化 $\left \| w \right \|$ ，
又 $\left \| w \right \|=\dfrac{1}{d}$ ，所以本质是最大化两个支持面平间的距离(2d)
将 $\left \| w \right \|$ 改成 $\dfrac{1}{2} \left \| w \right \|^2$ ，
加平方是为了可以去掉2范数里的根号，同时乘以 $\dfrac{1}{2}$ ，
进一步方便损失函数求导后的简洁

损失函数的约束条件
下面我们分析约束条件 $\text{y}_i\left ( w x_i +b\right ) \geqslant 1$ ，
将它拆成 $\text{y}_i=1$ 和 $\text{y}_i=-1$ 两种场景：
$\begin{cases} w x_i +b \geqslant 1, & \text{y}_i=+1 \\ w x_i +b \leqslant -1, & \text{y}_i=-1 \end{cases}$

上面已经分析过，
wx+b 的意义就是样本与判别平面的距离(带符号，以支持距离为单位)，
所以约束条件就是，
y=+1 时，即正样本，不能在正支持面的负侧
y= -1时，即负样本，不能在负支持面的正侧

损失函数意义总结
损失函数总的意思，
就是约束两个支持面必须在正负样本之间，
且两个支持面之间不能有样本，
然后最大化两个支持面之间的距离

笔者小故事

相关文章

《老饼讲解|【逻辑回归】逻辑回归损失函数交叉熵形式的理解》

《老饼讲解|【原理】CART决策树算法实现流程》

《老饼讲解|【原理】逻辑回归原理》

免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/114713.html

【机器学习】SVM支持向量机模型

一. SVM的目标和思想

1.1 SVM硬间隔模型的原始目的

1.2 SVM的直接目标

1.3 什么是支持向量

二. SVM的支持平面的表示方式

2.1 支持面表示方式的初步思路

2.2 初步思路的缺陷与改进

2.3 支持面的最终表示方式

三. SVM模型表达式

3.1 SVM模型表达式

3.2 wx+b的意义

四. SVM模型损失函数

4.1 损失函数

4.2 损失函数解说

相关推荐

发表回复