人工神经网络及其应用第5讲hopfield网络

人工神经网络及其应用第5讲hopfield网络内容摘要：

的存储的加入并不改变原有的存储，且与原存储无关 2020/11/4 29 联想记忆与优化计算  联想记忆问题 – 稳定状态已知并且通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中  优化计算 – 权值矩阵 W已知，目的为寻找具有最小能量 E的稳定状态 – 主要工作为设计相应的 W和能量函数公式 2020/11/4 30 三、 DHNN 神经元状态更新方式 网络学习 网络记忆容量 权值设计 2020/11/4 31 状态更新  由 1变为 1；由 1变为 1；状态保持不变  串行异步方式 – 任意时刻随机地或确定性地选择网络中的一个神经元进行状态更新，而其余神经元的状态保持不变  并行同步方式 – 任意时刻网络中部分神经元 (比如同一层的神经元 )的状态同时更新。 如果任意时刻网络中全部神经元同时进行状态更新，那么称之为全并行同步方式 2020/11/4 32 状态更新  串行异步方式 – 任一时刻，网络中只有一个神经元被选择进行状态更新或保持，所以异步状态更新的网络从某一初态开始需经过多次更新状态后才可以达到某种稳态。 – 实现上容易，每个神经元有自己的状态更新时刻，不需要同步机制； – 异步状态更新更接近实际的生物神经系统的表现  并行同步方式 2020/11/4 33 网络学习  联想记忆 – 联想记忆功能是 DHNN的一个重要应用范围。 – DHNN用于联想记忆有两个突出的特点，即记忆是分布式的，而联想是动态的 – 反馈网络实现联想记忆必须具备的两个基本条件 • 网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息； • 具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息  学习目的 – 具有 q个不同的输入样本组 Pr q＝ [P1, P2 … Pq] – 通过学习方式调节计算有限的权值矩阵 W – 以每一组输入样本 Pk， k=1， 2， … ， q 作为系统的初始值 – 经过网络工作运行后，系统能收敛到各自输入样本矢量本身 2020/11/4 34 网络学习  DHNN中运用海布调节规则 – 海布法则是一种无指导的死记式学习算法 – 当神经元输入与输出节点的状态相同 (即同时兴奋或抑制 )时，从第 j个到第 i个神经元之间的连接强度则增强，否则减弱  当 k＝ 1时，对于第 i个神经元，由海布学习规则可得网络权值对输入矢量的学习关系式为 – 其中， α ＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。 在实际学习规则的运用中，一般取 α ＝ 1或 1/r 2020/11/4 35 网络学习  当 k由 1增加到 2，直至 q时，是在原有己设计出的权值的基础上，增加一个新量 pjkpik， k＝ 2… , q  对网络所有输入样本记忆权值的设计公式为 – 其中， α ＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。 在实际学习规则的运用中，一般取 α ＝ 1或 1/r 2020/11/4 36 网络学习  向量形式表示  α ＝ 1时  神经网络工具箱中采用海布公式求解网络权矩阵变化的函数为。 后者为带有衰减学习速率的函数 – dW＝ 1earnh(P， A， lr) – dW＝ learnhd(W， P， A， lr， dr)； – 对于简单的情况 ， lr可以选择 1；对于复杂的应用 ， 可取 lr＝~， dr＝ lr／ 3 2020/11/4 37 网络学习  简单验证 – q＝ 1， α ＝ l – 求出的权值 wij是否能够保证 ai＝ pi。 – 对于第 i个输出节点，有 2020/11/4 38 记忆容量  设计 DHNN网络的目的，是希望通过所设计的权值矩阵 W储存多个期望模式  当网络只记忆一个稳定模式时，该模式肯定被网络准确无误地记忆住，即所设计的 W值一定能够满足正比于输入和输出矢量的乘积关系  但当需要记忆的模式增多时，网络记忆可能出现问题 – 权值移动 – 交叉干扰 2020/11/4。