深入理解泛化

大家好，欢迎来到IT知识分享网。

1.引言

什么是泛化呢？

先举个栗子：

  小明和小李都上了高三。小明头脑机灵，一边刷着五年高考三年模拟一边总结做题规律，而小李一门心思刷题，一套完了又一套，刷的试卷堆成山了却没有对错题进行总结。高考结束成绩公布，小明超出一本线几十分，而小李却勉强上了二本线。这是为什么呢？

  原来高考试题一般是新题，谁也没做过，平时的刷题就是为了掌握试题的规律，能够举一反三、学以致用，这样面对新题时也能从容应对。这种对规律的掌握便是泛化能力。

  在这个例子中，小明善于总结做题规律，可以说是他的泛化能力好；而小李只知道刷题却没有掌握做题规律，可以说是他的泛化能力差。

2.泛化的定义

  机器学习（深度学习）的根本问题是优化和泛化之间的对立。

  优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习），而泛化（generalization）是指训练好的模型在前所未见的数据上的性能好坏。

  机器学习的目的当然是得到良好的泛化，但你无法控制泛化，只能基于训练数据调节模型。

对泛化能力可以从以下六个方面来理解：

1. 泛化能力最直接的定义是训练数据和真实数据间的差异，训练模型的目地是要模型在完全陌生的数据上进行测试的；
2. 泛化能力还可以看成模型的稀疏性。正如奥卡姆的剪刀指出的，面对不同的解释时，最简单的解释是最好的解释。在机器学习中，具有泛化能力的模型中应该有很多参数是接近0的。而在深度学习中，则是待优化的矩阵应该对稀疏性有偏好性。
3. 泛化能力的第三种解释是生成模型中的高保真能力。具有泛化能力的模型应在其每个抽象层次具有重构特征的能力。
4. 第四种解释是模型能够有效的忽视琐碎的特征，或者说在无关的变化下都能找到相同的特征。
5. 泛化能力还可以看成模型的信息压缩能力。

     这里涉及到解释为什么深度学习有效的一种假说，信息瓶