基于matlab神经网络仿真毕业论文

基于matlab神经网络仿真毕业论文内容摘要：

┊ ┊ ┊ ┊ 1． 3． 1 研究目的 在人工神经网络发展历史中，很长一段时间里没有找到隐 含 层的连接权值调整问题的有效算法。 直到误差反向传播算法（ BP 神经网络 算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络 权值 调整问题。 目前， BP 神经 网络已成为广泛使用的网络 ， 可用于语言综合、语言识别、自适应控制等。 它是一种多层前馈网络，采用最小均方差的学习方式，缺点是仅为有导师训练，训练时间长，易限于局部极小。 鉴于神经网络的广泛应用，特别是 BP 神经 网络的发展，对于 神经网络（比如 BP神经 网络）的研究具有重要意义。 研究的主要目的是： 理解 BP 网络结构模型；学习误差反向传播算法和 BP神经 网络的学习算法；分析关键因素，得出 BP 网络的优缺点；综合各种因素并使用启发式方法 对 BP神经网络 算法进行改进；应用数学软件 MATLAB对 BP 神经网络 标准算法和改进算法进行仿真编程；利用仿真结果和图表得出各个算法适用条件；进而研究实际问题的 BP神经 网络构建和仿真。 1． 3． 2 研究 方法 通过参考 研究 学习 神经网络 研究和 工作者的著作和文章，理解神经网络，特别是BP 神经网络的结构模型 和理论 ；利用现有的 数学理论知识和方法，推导反向传播算法计算；利用计算机程序设计理论编写 BP神经网络 学习算法的步骤和流程； 分析 BP标准算法关键因素，利用现有数学相关方法 （ 如启发式方法 ， MATLAB 中几种典型的BP神经网络算法： traingdm， 增 加动量法 ； trainrp，弹性 BP算法； traingda， traingdx，自适应学习速率法； traincgf，共轭梯度法； trainbfg，拟牛顿法 ； trainlm，LevenbergMarquardt 算法 ） 对 BP 神经网络 算法改进和理论推导； 利用优秀数学软件 MATLAB 进行 BP 网络 学习算法的仿真编程，分别建立 BP 神经网络 标准算法、改进算法的编程程序，利用 MATLAB 得出相关图表，分析其关键因素 ；应用实例对 BP神经网络的应用和仿真进行验证；通过自己的理解和学习得出自己对神经网络（ BP 神经网络）的思考。 1． 3． 3 研究 问题 研究问题 1： BP神经网络的学习过程，工作信号正向传播，误差信号反向传播。 得到如下 图 11 示意模型： （多层前馈型网络） 第 9 页 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 研究问题 2： BP神经网络 的 不足，训练时间较长，有时完全不能训练， 失败的可能性也较大， 易 陷于局部极小 而 得 不到全局最优 ， 隐含节点个数难以确定， 训练过程有暂时遗忘的现象即学习新样本有遗忘旧样本的趋势。 研究问题 3： BP 神经网络学习算法的改进有 （ MATLAB 神经网络工具箱中 ） ： 增 加动量法 (traingdm)、 弹性 BP 算法（ trainrp）， 自适应学习速率法 (traingdx)、 共轭梯度法 (traincgf)、 拟牛顿法 (trainbfg)以及 LevenbergMarquardt 算法（ trainlm） 等。 注：在 MATLAB R2020 版本中 traingdx 为动量及自适应 lrBP 的梯度递减训练函数。 研究问题 4： 误差要求和网络复杂程度将影响 BP各种算法的选择； 比如拟牛顿法需要 Hessian矩阵，不适用于复杂的大型网络，但对于中型网络其收敛效果仅次于 LM算法，且需要的内存也相对较小，但对于小型网络 LM算法最好最快，仿真效果要好；又如 当误差要求比较高时，弹性 BP算法和自适应学习速率法需要很长的训练时间，在设定的训练步骤范围内 不 能达到期望误差。 研究问题 5： 在实例的网络模型的建立和 MATLAB仿真的过程中，发现没有确定隐含层神经元数目的有效方法，隐含层神经元的数目直接影响分类精度，神经元数目过多或过少 都会使网络性能下降， 一般只能由经验设定，再经过多次调试确定最佳数目。 其次 网络的泛化能力与训练能力 的矛盾，一般情况下，训练能力差时，预测能力也差，并且一定程度上 随训练能力地提高， 泛化 能力也提高。 但这种趋势有一个极限，当达到此极限时，随训练能力的提高， 泛化 能力反而下降，即出现所谓“过拟合”现象。 此时，网络学习了过多的样本细节，而不能反映样本内含的规律。 输入层 隐含层 输出层 误 差 信 号 图 BP神经网络示意模型 输 入 信 号 第 10 页 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 神经网络 BP 神经网络相关原理 2． 1． 1 神经元非线性模型 ① 加法器，也称线性组合 器，将求输入信号突触 权值 被神经元的相应突触加权和； ②激活函数是用来限制神经元的振幅，主要有 [0,1]或 [1,+1]； ③ 阈值 的作用是根据其为正或负，相应的增加或减低激活函数的网络输入。 注：这里的 K为实例。 模拟的是生物神经元的电位脉冲原理。 2． 1． 2 有教师监督学习 f（ ） ∑ θ k wk1 wk2 wkI 固 定 输 入x0=+1 x1 x2 阈值 μ k ν k 激活函数 输出 yk 图 神经元非线性模型 加法器 xI 环境 教师 学习系统 实际响应 描述环境状态向量 期望模式 输入模式  + 误差信号 ek 图 有教师学习方框图 期望响应 第 11 页 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 有教师学习采用的是纠错规则，在网络的学习训练过程给神经网络一个期望模式和输入模式，所期望的模式就是教师信号，因此可以将输入模式所得的结果与期望模式的结果相比较，当不相符时，可以根据相关规则进行权值调整，比如上述的 Delta规则，直到满 足一定误差  范围内，这将更接近期望模式结果。 由此可见，在执行具体任务之前必须经过学习，直到“学会”为止。 2． 1． 3 神经元数学模型 设在 n 时刻，神经元 i 到神经元 j 的信息传递，其输入信息为 xi(n),输出为Oj(n)，则神经元 j的数学表达式为 (式 ) 其中 ijw 是神经元 i到 j的突触连接 权值 ij 是 输入和输出间的突触时延 j 是神经元 j 的阈值 f 是神经元激活函数 如果 TIjjjj W ),. ..,( 21 , TIxxxX ),...,( 21 ,又 0x =1, jw0 = j （ kb ）可得：)( XWfO Tjj 。 2． 1． 4 Delta 学习规则 Delta 学习规则，也称连 续感知器学习规则，与离散感知器学习规则并行。 其规则的学习信号规定为： (式 ) 为了方便计算，定义神经元 j 的期望误差与实际输出之间的计算误差为 (式 ) 按照误差的负梯度修正权值，即： (式 ) (式 ) 其中  是学习率， 0 1，在多层前馈网络中，权值可以初始化为任意值。 由式 Delta 规则要求连续可导的激活函数，如 Sigmoid 函数。 综合式 至式 得： (式 ) 其中 iij xnw  )( 式 中 jE （包括 jd 和 jo ）为 n 学习时刻的计算误差， Delta 学习规则的学}])({[)(1 jIi ijiijjnxwfnO   fodXWfXWfd jjTjTjj  )()()]([2)(21 jjj odE )()()()()()1(nwnEnwnwnwnwijjijijijijiijijjijij xnwxfodnwnw   )()()()1( 第 12 页 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 习信号  也为在 n时刻。 2． 1． 5 神经元激活函数 在神经元的激活函数中分为阈值激活函（包括阶跃型和符号），线性激活函数（包括纯线性型 和分段线性型，在图中未标识），非线性激活函数（主要是 S 型函数，分为 S型对数函数和 S 型正切函数， 这两种是 BP神经网络主要使用的 ，即 Sigmoid函数 及其改进 ），还有一种概率型激活函数（其神经元状态分布与热力学的 Boltzmann分布相似，故称这种模型为神经网络热力学模型）。 2． 1． 6 BP 神经网络收敛准则 在实际问题上，实际输出往往很难达到期望输出，因此需要一个准则停止权值的调整，这就需要考虑关于误差曲面的局部或全局最小的性质。 以下有两种收敛准则： ① Kramer amp。 SangiovanniVincentelli 准则 : 当梯度向量的欧几里德范数达到一个充分小的梯度阈值时，认为反向传播算法已经收敛。 注：欧几里德（ Euclidean）范 数指得就是通常意义上的距离范数， 比如 22221 nxxxx   ② Simon Haykin 建议准则： 当每一个回合的均方差的变化的绝对速率足够小时，认为反向传播算法已经收敛。 分析：第一个准则为了达到期望值，学习时间可能会很长，而第二个准则则有可能过O +1 +1 1 +1 +1 1 O O O （ a）阶跃阈值函数 （ b）符号阈值函数 （ c） S 型对数函数 （ d） S 型正切函数 图 神经元激活函数图形 第 13 页 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 早的终止学习。 然而都需要计算一个梯度或变化率。 然而根据网络对输入数据集合参数化的学习过程，我们可以 通过网络的泛化能力即预测能力判断网络的收敛，当泛化能力达到了比较强的一个标准时，可以认为学习过程的停止，即已经收敛。 关于泛化方法（如结构设计方法、主动学习、在样本随机输入中添加随机噪声、表决网、基于先验知识、最优停止法等）内容请参考相关文献。 BP 神经网络学习过程描述 2． 2． 1 BP 神经网络计算模型建立 注 ： Wpq是隐含层 P中 p（输出）神经元到隐含层 Q中 q（输入）神经元的连接 权值。 神经元输入用μ，激励输出用ν，激励函数用 Sigmoid， μ Ii表示 I 层的第 i 个神经元输入 ,在这里即 xi； 训练样本集 X=[x1,x2,„ ,xI]T，训练实例 K 样本集 Xk=[xk1,xk2,„ ,xkI]T； 实际输出 Yk=[yk1,yk2,„ ,ykO]T,期望输出 dk=[dk1,dk2,„ ,dkO]T； 假设 n为迭代次数，即训练步长，权值和实际输出是 n 的函数。 2． 2． 2 BP 神经网络学习过程描述。