人工智能之Hopfield神经网络（HNN）‘yabo手机版登陆’

神经网络在1980年代兴起得益于物理学家约翰·霍普菲尔德（Hopfield）。1982年，霍普菲尔德明确提出了一种新的神经网络，可以解决问题众多类模式识别问题，还可以得出一类人组优化问题的近似于解法。这种神经网络模型后被称作Hopfield神经网络。

Hopfield神经网络是一种循环神经网络[请求参看公众号“科技优化生活”之人工智能（23）]，由约翰·霍普菲尔德发明者，他将物理学的涉及思想（动力学）引进到神经网络的结构中，从而构成了Hopfield神经网络。贝尔实验室在1987年顺利在Hopfield神经网络的基础上研制出了神经网络芯片。Hopfield神经网络是一种迭代神经网络，从输入到输出皆有对系统相连，每一个神经元跟所有其他神经元相互连接，又称作仅有互联网络。

Hopfield神经网络阐述：Hopfield神经网络HNN（HopfiledNeuralNetwork)是一种融合存储系统和二元系统的神经网络。它确保了向局部大于的发散，但发散到错误的局部极小值（localminimum），而非全局大于（globalminimum）的情况也有可能再次发生。Hopfield神经网络也获取了仿真人类记忆的模型。

Hopfield神经网络是对系统神经网络，其输入末端又不会对系统到其输出末端，在输出的鼓舞下，其输入不会产生大大的状态变化，这个对系统过程不会仍然重复展开。假如Hopfield神经网络是一个发散的平稳网络，则这个对系统与递归的计算出来过程所产生的变化更加小，一旦超过了平稳的平衡状态，Hopfield网络就不会输入一个平稳的恒值。对于一个Hopfield神经网络来说，关键在于确认它在平稳条件下的权系数。Hopfield神经网络分成两种：1）线性型Hopfield神经网络；2）连续型Hopfield神经网络。

线性型Hopfield神经网络：Hopfield最先明确提出的网络是二值神经网络，各神经元的激励函数为阶跃函数或双极值函数,神经元的输出、输入只取{0，1}或者{-1，1}，所以也称作线性型Hopfield神经网络DHNN（DiscreteHopfiledNeuralNetwork）。在DHNN中，所使用的神经元是二值神经元；因此，所输入的线性值1和0或者1和-1分别回应神经元正处于激活状态和诱导状态。线性Hopfield神经网络DHNN是一个单层网络，有n个神经元节点，每个神经元的输入皆收到其它神经元的输出。

各节点没自对系统。每个节点都可正处于一种有可能的状态（1或－1），即当该神经元蒙受的性刺激多达其阀值时，神经元就正处于一种状态（比如1），否则神经元就一直正处于另一状态（比如－1）。DHNN有两种工作方式：1）串行（异步）方式：在时刻t时，只有某一个神经元j的状态发生变化，而其他n-1个神经元的状态恒定，称作串行工作方式。并且有：2）分段（实时）方式：在任一时刻t，所有的神经元的状态都产生了变化，称作分段工作方式。

并且有：DHNN稳定性：假设一个DHNN，其状态为Y(t):如果对于任何Δt0，当神经网络从t=0开始，有初始状态Y(0)。经过受限时刻t，有：Y(t+Δt)=Y(t)则指出该DHNN网络是平稳的，称之为其状态为为稳定状态。

DHNN网络的稳定状态X就是网络的更有子(attractor)，用作存储记忆信息。串行方式下的稳定性称作串行稳定性；分段方式下的稳定性称作分段稳定性。DHNN是一种多输出、所含阈值的二值非线性动态系统。

在动态系统中，均衡稳定状态可以解读为系统某种形式的能量函数（energyfunction）在系统运营过程中，其能量大大增加，最后正处于最小值。DHNN平稳的充分条件：如果DHNN的权系数矩阵W是一个平面矩阵，并且对角线元素为0，则这个网络是平稳的。

即在权系数矩阵W中，如果：则该DHNN是平稳的。W是一个平面矩阵仅有是充分条件，不是必要条件。

DHNN误解记忆功能：DHNN一个最重要功能是可以用作误解记忆，即误解存储器，这是人类的智能特点之一。要构建误解记忆，DHNN必需具备两个基本条件：1)网络能发散到平稳的平衡状态，并以其作为样本的记忆信息；2)具备回想能力，需要从某一残缺不全的信息回忆起所属的原始的记忆信息。

DHNN构建误解记忆过程分成两个阶段：1)自学记忆阶段:设计者通过某一设计方法确认一组适合的权值，使DHNN记忆希望的平稳平衡点。2)误解回想阶段:DHNN的工作过程。记忆是分布式的，而误解是动态的。

对于DHNN，由于网络状态是受限的，不有可能经常出现浑沌状态。DHNN局限性：1）记忆容量的有限性；2）伪平稳点的误解与记忆；3）当记忆样本较相似时，网络无法一直回想出有准确的记忆等；4）DHNN均衡平稳点不可以给定设置，也没一个标准化的方式来事前告诉均衡平稳点。连续型Hopfield神经网络：倒数Hopfield神经网络CHNN（ContinuousHopfieldNeuralNetwork）与DHNN在流形结构上是完全一致的。

CHNN稳定性：CHNN平稳条件拒绝：CHNN与DHNN不同之处在于其函数g不是阶跃函数，而是S型的连续函数。一般所取：CHNN在时间上是倒数的，所以CHNN网络中各个神经元是正处于实时方式工作的。当CHNN网络的神经元传递函数g是倒数且有界的（如Sigmoid函数），并且CHNN网络的权值系数矩阵平面，则这个CHNN网络是平稳的。优化问题：在实际应用于中的系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么CHNN网络和优化问题必要对应。

这样，大量优化问题都可以用CHNN网络来解法。这也是Hopfield网络用作神经计算的基本原因。CHNN与DHNN主要区别：CHNN与DHNN的主要差异在于：CHNN神经元转录函数用于Sigmoid函数，而DHNN神经元转录函数用于了软无限大函数。

Hopfield神经网络应用：Hopfield神经网络早期应用于还包括按内容传输速率存储器，模数转换及优化组合计算出来等。具备代表意义的是解决问题TSP问题，1985年Hopfield和Tank用Hopfield网络解法N=30的TSP问题，从而创立了神经网络优化的新途径。

除此之外，Hopfield神经网络在人工智能之机器学习、误解记忆、模式识别、优化计算出来、VLSI和光学设备的分段构建等方面具有广泛应用。结语:Hopfield神经网络（HNN）是一种具备循环、迭代特性，融合存储和二元系统的神经网络。由约翰·霍普菲尔德在1982年发明者。

对于一个Hopfield神经网络来说，关键在于确认它在平稳条件下的权系数。Hopfield神经网络分成线性型和连续型两种，主要差异在于转录函数的有所不同。

Hopfield神经网络（HNN）获取了仿真人类记忆的模型。它在人工智能之机器学习、误解记忆、模式识别、优化计算出来、VLSI和光学设备的分段构建等方面具有广泛应用。

本文来源：yabo手机版登陆-www.todddiedrich.com