深度学习 — Hopfield神经网络详解（吸引子的性质、网络的权值的设计、网络的信息存储容量）

大家好，欢迎来到IT知识分享网。

上一节我们详细的讲解了Hopfield神经网络的工作过程，引出了吸引子的概念，简单来说，吸引子就是Hopfield神经网络稳定时其中一个状态，不懂的请看Hopfield神经网络详解，下面我们就开始看看吸引子有什么性质：

1.吸引子的性质

         性质1：若是网络的一个吸引子，且阈值，在处，，则也一定是该网络的吸引子。

              证明： 因为是吸引子，即,从而有：

                          所以也一定是该网络的吸引子。

         性质2： 若是网络的一个吸引子，则与的海明距离的一定不是吸引子。

                注：所谓海明距离是通信的含义就是说状态位不一样的个数，如1100和1000，其海明距离为1，因为不同的位就只有1位，

              证明：两个向量的海明距离是指两个向量中不同元素的个数，不妨设 

                          ,因为,由吸引子定义，有：

                         由假设条件知，,故：

                          所以一定不是吸引子。

            性质3：

                           若有一组向量均是网络的吸引子，且在sgn(0)处，,则有该组向量线性组合而成的向量也是该网络的吸引子。

2.吸引子的吸引域

          能使网络稳定在同一吸引子的所有初态的集合，称该吸引子的吸引域，下面给出吸引域的定义：

          定义1： 若是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态演变到，则称弱吸引到；若对于任意调整次序，网络都可以从状态演变到，则称强吸引到

          定义2：若对于某些，有弱吸引到吸引子，则称这些的集合为的弱吸引域；若对某些，有强吸引到吸引子，则称这些的集合为的弱吸引域。

           欲使反馈网络具有联想能力，每个吸引子应该都具有一定的吸引域，这样这样带噪声和缺失信息的初始样本，网络才能经过动态演变而稳定到某一个吸引子状态，从而实现正确的联想。反馈网络设计的目的就是要使网络能落到期望的稳定点上，并且具有最可能大的吸引域，以增强联想的功能即抗干扰的能力。

下面举个例子来说明是如何联想的：

          这里就不画图了，直接从书中截图过来，然后详细讲解：

先解释一下，（a）图是说明的权值和阈值，其中圆圈内的是阈值即，连线旁边的是权值，状态的排列是这样的即：,假设的状态的更新顺序为,在假设初始状态为000，那么下面开始第一步更新：

      设各节点状态取值为1或者0,3节点的DHNN网络应有种状态，设,更新顺序为：，下面开始：

第一步更新：       ,其他节点状态不变，网络的状态由变为，如果先更新或者,网络状态仍为，因此初始状态保持不变的概率为，而变为的概率为。

第二步，此时的网络为，更新后，得到其他节点保持不变，网络状态仍为，如果本步先更新或者，网络的状态将为和，因此本状态保持不变的概率为，为变为为。

第三步，此时的网络状态为，更新得到，

同理可算出其他状态的直接的演变过程和状态转移概率，如上图b给出八种状态，从图中我们看到是一个吸引子，网络从任意状态更新后都将达到此稳定状态。

上面就是网络的转移过程和联想过程，下面我们来看看，如何设计吸引子，即如何设置网络权值。

3.网络的权值设计

       从上面我们知道了网络是如何动态的更新到吸引子的，那么我们现在如何设计吸引子呢？

吸引子的分布是由权值决定的，设计吸引子的核心是如何设计一组合适的权值，为了使所设计的权值满足要求，权值矩阵应符合如下要求：

1.  为保证异步方式工作时网络收敛，应该为对称阵
2.   为保证同步方式工作时网络收敛，应该为非负定对称阵
3.  保证给定的样本是网络的吸引子，并且要有一定的吸引域

根据所要求的的吸引子的数量，可以采用不同的方法设计吸引子，如下：

联立方程法：

             下面根据上图的3个节点继续设计吸引子，设要求设计的吸引子为和,权值和阈值在【-1,1】区间取值，试求权值和阈值。

             考虑到,对于状态，各节点净输入应该满足如下：

                                    0″>

               对于状态，各节点净输入应满足：

                                    0″>

                                    0″>

                                     0″>

联立可以接得：权值的范围，在范围内选择一个权值就可以，下面直接给出答案了，权值不唯一：

因此该参数的从初态最终会演变到我们设计的两个吸引子中。

但是此种方法只适合吸引子较少的时候计算，如果吸引子较多时就需要采用外积和法。

外积和法：

         更为通用的权值设计方法是采用Hebb规则的外积和法，设给定P个模式样本,,并且设样本两两正交，且n>p，则权值矩阵为记忆样本的外积和：

          若,上式写为：

            式中，为单位矩阵，上式写成分量形式，可写为：

              所以上面w必然满足对称性要求，下面还需要检查一下是否为吸引子。

              因P个样本，是两两正交的，有：

                所以：

                    因为n>p,所以有：

可见给定样本，是吸引子，但是需要指出来的是我们设计时有时候并不能正好的设计那么多，例如我需要60个吸引子，但是我需要设计64个吸引子，因此会多出4个吸引子，该吸引子称为伪吸引子。下面画个图给大家理解一下什么意思，伪吸引子并不是我们想要的，但是它存在：                

假如吸引子a，b，c是我们设计的吸引子，但是后面的就是伪吸引子，如何处理伪吸引子，我们将在下节继续讨论，这里先提一下。

4.网络的信息存储容量

       当网络规模一定时，所能记忆的模式是有限的，对于所容许的联想出错率，网络所能存储的最大模式数称为网络容量，网络的容量与网络的规模、算法以及记忆模式向量的分布都有关系，下面给出DHNN网络存储容量的有关定理：

      定理1： 若DHNN网络的规模为n，且权矩阵主对角线元素为0，该网络的信息容量上界为n。

      定理2： 若P个记忆模式，是两两正交的，n>p,且权值矩阵按照进行求得，则所有P个记忆模式都是DHNN网的吸引子.

       定理3：若P个记忆模式，是两两正交的，n>p,且权值矩阵按照进行求得，则所有P个记忆模式都是DHNN网的吸引子.

从上面的定理可知，当用外积设计DHNN网络时，如果记忆模式都满足两两正交的条件，则规模为n维网络最多可记忆n个模式，一般情况，模式样本不可能都满足正交条件，对于非正交模式，网络的信息存储会大大降低。

    事实上，当网络规模n一定时，要记忆的模式越来越多，联想时出错的可能性很大，反之，要求出错率越低，网络的信息存储容量上限越小。研究表明当存储模式数P超过0.15n时，联想时就有可能出错，错误结果对应的是能量的局部极小点，或称为伪吸引子。

    提高网络存储容量有两个基本途径：

              1.改进网络拓扑结构

              2.改进网络的权值设计方法

常用的改进方法有：反复学习法、纠错学习法、移动兴奋门限法、伪逆法、忘记规则和非线性谢谢规则等。

我们们知道了， Hopfield神经网络的最大问题在于伪吸引子的存在，一旦存在伪吸引子，因此容易造成错误，如何处理伪吸引子就是我们下一节所要解决的。

到这里DHNN就结束了，CHNN这里不讲了，感兴趣的自行查阅资料了解。