统计学习方法—李航

大家好，欢迎来到IT知识分享网。

统计学习方法笔记

第一章:统计学习概论

1.1 统计学习

统计学习( statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statistical machine learning). 机器学习称为统计学习更学术化。

Herbert A.simon对“学习”的定义我觉得挺好的：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。

1.2 监督学习

统计学习包括：监督学习、非监督学习、半监督学习以及强化学习。本书主要讨论监督学习的问题。

这个就很基础了，没有什么值得记录的。

1.3 统计学习三要素

方法 = 模型+策略+算法

第二章 感知机

感知机是二分类的线性分类模型。

第三章 k 近邻法

k近邻算法没有显示的学习过程。

第四章 朴素贝叶斯法

上面的方法可以解决条件概率为0的情况。

第五章 决策树

决策树的剪枝

第六章 逻辑斯谛（logistic）回归与最大熵模型

最大熵模型

然后一般通过最大熵来学习回归模型。

第七章 支持向量机

支持向量机（SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。
当训练数据线性可分时，即线性可分支持向量机
当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机
当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

当输入空间为欧式空间或离散集合、特征空间为希尔伯特空间时，核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的内积，通过核函数可以学习非线性支持向量机，等价于隐式地在高维特征空间中学习线性支持向量机。
内积：

线性可分支持向量机

一般的当训练数据集可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小策略，求得分离超平面，不过这时有无穷多个。线性可分支持向量机利用间隔最大化求最优超平面，这时，解是惟一的。
函数间隔：来表示分类的正确性以及确信度。同号表示正确，大小表示确信度（离平面越远分类置信度越高）
几何间隔：就是点到平面的距离
最小几何距离：所有点到平面的最小距离
最大间隔分离超平面：最大化–最小几何距离。

支持向量机：训练数据集的样本点中与分离超平面距离最近的样本点的实例。
叫这个名字的原因是：决定超平面时，只有支持向量机起作用，而其他实例点并不起作用，如果移动支持向量将改变所求的解，但移动其他点，甚至去掉这些点，解是不会改变的。所以支持向量在确定分离超平面中起着决定性作用，所以将这类分类模型成为支持向量机。
那对于线性不可分的数据集而言，怎么用线性支持向量机呢，就在上面的优化式子里面加一个松弛变量：

然后目标函数变成：

这样就可以求解了。

上面的优化问题可以转变为合页损失，即

非线性支持向量机与核函数。

非线性分类问题分两步：1.首先使用一个变换将原空间的数据映射到新空间；2.然后再在新空间里用线性分类器学习方法从训练数据中学习分类模型。核技巧就是这样的方法。
核函数：设X是输入空间，又设H为特征空间（希尔伯特空间），如果存在一个从X到H的映射：


*核技巧*的想法就是，在学习与预测中只定义核函数K(x,z)，而不显示的定义映射函数φ。通常直接计算K(x,z)比较容易，而通过φ(x)和φ(z)计算K(x,z)并不容易。注意φ是输入空间到特征空间的映射，特征空间一般是高维的，甚至是无穷维的。可以看到对于给定的核K(x,z)，特征空间和映射函数φ的取法并不唯一，如下例所示：

核技巧在支持向量机的作用：在支持向量的对偶问题中，目标函数 内积可以用核函数来代替

x.x是原空间内积，K(x,z)是特征空间的内积。
上面等价于，经过映射函数φ将原来的输入空间变换到一个新的特征空间。
核函数选择的有效性需要通过实验验证！
构建希尔伯特空间的步骤：首先定义映射φ并构成向量空间S，然后在S上定义内积构成内积空间，最后将S完备化构成希尔伯特空间。
定义映射：

希尔伯特空间也叫可再生希尔伯特空间，因为可再生核：

常用的核：
多项式核和高斯核：

*内积换成核函数！！！*就是核函数的技巧。

第八章 提升方法

AdaBoost算法

主要思想：

1. 改变训练数据的权值： 提高那些被前一轮弱分类器错误分类样本的权重，而降低那些被正确分类样本的权值；
2. 弱分类器组合成一个强分类器： 加大分类误差率小的弱分类器的权值

提升数

提升树部分没太看懂。

第九章 EM算法及其推广

EM算法：是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计
EM每次迭代由两部分组成：
E步：求期望（expectation）
M步：求极大（maximization）
如果概率模型的变量都是观测变量，那么给定数据，可以直接利用最大似然估计法，或贝叶斯估计方法估计模型参数。但是当模型含有隐变量，就不能简单使用这些估计方法。
那什么是隐变量？
通过一个扔硬币的例子理解什么是隐变量：

这里未观测到掷硬币A的结果，但这个结果会对观测值造成影响，这样的变量称作隐变量。
这样的问题解法一般是：
1.列出概率模型：

我们用极大似然估计即可求出对应的参数。
这个问题没有解析解（未知参数不能直接由已知参量表示），只有通过迭代的方法求解。
2. 给出此时隐变量的概率分布时，的条件概率均值

3.用极大化似然估计，根据2求出的式子，算参数，更新参数，迭代。

每次迭代相当于在求Q函数及其最大。

第十章 隐马尔可夫模型