基于神经网络的数字识别系统的设计毕业设计论文(编辑修改稿)

基于神经网络的数字识别系统的设计毕业设计论文(编辑修改稿)内容摘要：

算 ： )()](),(),([)()1( tXtidtXtiWcrtiWtiW  式（ 24） 离散学习步骤可写成 kkikkikiki XdXWcrWW ],[1  式 （ 25） 其中 c是一个正常数，成为学习常数，决定学习的速率。 Delta 学习规则 仅对连续激活函数，并只对有监督学习模型有效。 学习信号为    )( XWfXWfdr TiTii  式 （ 26） )( XWf Ti 是激活函数 )(f 对 XW Ti 的导数。 ]13[ 这个学习规则可以从 iO 与 id 最小方差得出。 方差  221 ii OdE  式 （ 27）  2)(21 XWfdE Tii  式 （ 28） 误差梯度矢量 XXWfOdE Tiii )()(  式（ 29） 梯度矢量分量 jTiiiij XWfOdWE )()(  ),2,1( nj  式 （ 210） 由于最小误差要求权 变换是负梯度方向，所以取 EciW  式（ 211） 式中 c—— 正常数。 Xn etfOdcW iiii )()(  式 （ 212） 天津大学仁爱学院 2020届本科生毕业设计（论文） 7 XW Tii  式 （ 213） jiiiij Xn etfOdcW )()(  ),2,1( nj  式 （ 214） X1 X2 X3 Xn W1 W 2 W3 W 4 f (n e t ) Oi di _ + di Oi + + r c X Δ W i 连续激活函数 图 24 Delta 学习过程 BP 网络 神经网络有很多种，本设计采用使用最广泛的 BP 网络。 对多层网络的训练方法 即 误差逆传播算法 （ Error BackPropagation Training）。 主要意思是从后向前计算，所以把这种算法进行误差校正的多层前馈网络 称 为 BP网络。 误差逆传播校正方法 误差逆传播 校 正方法是利用实际输出与期望输出 的 差 值 对网络的各层连接权由后向前逐层 的 进行校正的一种计算方法。 下面 分析 一个三层网络模型的误差逆传播学习规则的原理。 这个网络的输入层有 n个神经元，输出层有 q个神经元，中间层有 P 个神经元。 由于中间层与输入、输出端没有直接的联系，所以也常把中间层成为隐含层。 首先把网络的变量设置如下： 输入层至中间层的连接权 ijW 中间层至输出层的连接权 jtV 中间层各单元的阈值 j 输出层各单元的阈值 t 天津大学仁爱学院 2020届本科生毕业设计（论文） 8 其中 ni ,2,1  ； pj ,2,1  ； qt ,2,1  ； mk ,2,1  这里 激活函数采用 S 型函数 ： xexf 1 1)( 式（ 215） 这里之所以 选择 S 型函数作为 BP 网络神经元的激活函数，是因为它是连续可微分的 ，而且更接近生物神经元的信号输出形式。 激活函数的导数为 )](1)[()(39。 xfxfxf  式（ 216） 这里的学习规则实际上是一种 Delta 学习规则， 应使 jtV 的调整量 jtV 与jtkVE 的负值成正比例变化，所以中间层至输出层连接权的调整量应为 jtVjtkVE  式（ 217） 通过推到 ，可得 jtV kjbktcktck  )1( 式（ 218） 为了进一步简化，设 ktd 为 kE 对输出层输入 ktl 的负偏导，则 ktd )1( ktcktcktktlktcktc kEktl kE   式（ 219） 所以 kjbktdjtV   式（ 220） 10  ， qt ,2,1  ， pj ,2,1  ， mk ,2,1 。 同理，输入层至中间层连接权的调整仍按梯度下降法的原则进行。 与 jtV 类似，连接权 ijW 的调节量为 ： kikjijkij aeWEW   式（ 221） 其中， 10  ),2,1。 ,2,1( pjni   同样也可求出阈值的调整量，利用对于连接权的调整公式 kjktjt bdV   ， 取输出层的输入 kjb 1 带入 上式，则输出层阈值的调整量为 ： ktt d  ),2,1( qt  式（ 222） 天津大学仁爱学院 2020届本科生毕业设计（论文） 9 同理根据 kikjij aeW   ， 取中间层的输入 1kia ，则中间层的阈值的调整量为 ： kjej   ),2,1( pj  式（ 223） 以上的推到仅是针对某一组学习模式进行的 ，其误差也是某一组的误差。 对于全部的输入模式，我们有网络的全局误差 :E 2/1 1 2)(1    mk qt ktcktymk kEE 式（ 224） 从以上推倒可以看出，各个连接权的调整量是分别于各个学习模式对的误差函数 kE 成正比例变化的，这种方法称为标准误差逆传播算法。 BP 网络的学习规则实现的是学习模式集合上平方和误差 kE （或 E ）的梯度下降，而不是特定某个分量的绝对误差 kj 的梯度下降。 因此，每次校正完后，网络输出端的误差对于某些神经元来说也有可能增加，但在进行多次反复计算后，其误差还是应该变小的。 BP 网络的学习规则与计算方法 图 25 多层前馈网络结构示意图 这是 一种三层 的 BP 网络，一般来讲， BP 网是一种具有三层或三层以上的多层神经元网络，它的左、右各层之间各个神经元 之间 实现全连接，即左层的每一个神经元与右层的每个神经元都有连接，而同层内的各神经元无 相互 连接。 BP 网 络按有教师学习方式进行训练，当一对学习模式提供给网络后，其神经元的激活值将从输入层经各中间层 （隐层） 向输出层传播，在输出层的各个神经元输出对应于输入模式的网络响应。 然后，在减少希望输出与 实际输出误差的原则，天津大学仁爱学院 2020届本科生毕业设计（论文） 10 从输出层经各中间层、最后回到输入层逐层修正 连接权。 由于这种修正过程是从输出到输入逐层进行的，所以称它为 “误差逆传播算法 ”。 由于 BP 网 络 有处于中间位置的隐含层，并有相应的学习规则可循，可训练这种网络，使其具有对非线性 模式的识别能力。 特别是它的数学意义明确、步骤分明的学习算法，更 使它 具有广泛 的 应用前景。 BP 网络的学习过程主要由四部分组成： （ 1） 输入模式顺传播（输入模式由输入层经中间层向输出层传播计算）， （ 2） 输出误差逆传播（输出的误差由输出层经中间层传向输入层）， （ 3） 循环记忆训练（模式顺传播与误差逆传播的计算经过反复交替循环进行）， （ 4） 学习结果判别（判定全局误差是否趋向极小值）。 BP 网络 学习整体 步骤 （ 1） 初始化，给各连接权 ijW 、 jtV 及阈值 j 、 t 赋予  1,1 之间的随机值。 （ 2） 随机选取一 个 模式对量为  knakakakA ,2,1  ，  kqykykykY ,2,1  提供给网络。 （ 3） 用输入模式  knakakakA ,2,1  ，连接权 ijW 和阈值 j 计算中间层各神经元的输入 js （激活值），然后用 js 通过激活函数计算中间层各单元的输出 jb ： jb )( jsf 式（ 225） 式中： jiani ijWjs  1 式（ 226） （ 4）用中间层的输出 jb 、连接权 jtV 和阈值 t 计算输出层个单元的输入 tl （激活值），然后用 tl 通过激活函数计算输出层各单元的响应 tc tc )(tlf 式（ 227） 式中： tl tjbpj jtV  1 ),2,1( qt  式（ 228） （ 5）用希望输出模式  kqykykykY ,2,1  ，网络实际输出 tc 计算输出层个单元天津大学仁爱学院 2020届本科生毕业设计（论文） 11 的校正误差 ktd ： ktd )1()( tctctckty  )1(1 kjbkjbqt jtVktd    式（ 229） （ 6）用 jtV ， ktd ， jb 计算中间层的校正误差 kje ： kje )1(1 kjbkjbqt jtVktd    ),2,1( pj  式（ 230） (7)用 jtV ， ktd ， jb 和 t 计算下一次的中间层和输出层之间的新连接权：   jbktdNjtVNjtV  )(1 式（ 230）   ktdNtNt   )(1 式（ 231） 式中： N—— 学习次数。 （ 8）由 kje ， kia ， ijW 和 j 计算下一次的输入层和中间层之间的新连接权：   kiakjeNijWNijW  )(1 式（ 232）   kjeNjNj   )(1 式（ 233） （ 9）随机选取下一个学习模式对提供给网络，返回到第（ 3）步，直至全部 m个模 式对训练完。 （ 10）重新从 m 个学习模式对中随机选取一个模式对，返回到第（ 3）步，直至网络全局误差函数 E 小于预先设定的限定值（网络收敛），或学习回数大于预先设定的数值（网络无法收敛）。 （ 11）学习结束 在以上学习步骤中（ 3） （ 6）为输入学习模式的“顺传播过程”，（ 7） （ 8）为网络误差的“逆传播过程”，（ 9）和（ 10）则完成训练和收敛过程。 BP 网络学习过程框图如下图所示。 天津大学仁爱学院 2020届本科生毕业设计（论文） 12 开 始连 接 权 及 阈 值 初 始 化学 习 模 式 对 提 供 给 网 络计 算 中 间 层 各 单 元 的 输 入 、 输 出计 算 输 出 层 各 单 元 的 输 入 、 输 出计 算 输 出 层 各 单 元 的 校 正 误 差计 算 中 间 层 各 单 元 的 校 正 误 差调 整 中 间 层 至 输 出 层 之 间 的 连 接 权及 输 出 层 各 单 元 的 输 出 阈 值调 整 输 入 层 至 中 间 层 之 间 的 连 接 权及 输 出 层 各 单 元 的 输 出 阈 值更 新 学 习 输 入 模 式更 新 学 习 次 数全 部 模 式 训 练 完。 误 差 ε 或 学 习 次 数 N。 学 习 结 束NNYY 图 26 BP 网络学习过程图 天津大学仁爱学院 2020届本科生毕业设计（论文） 13 第三章 图像的预处理 系统的程序实 现 分 为图像 预处理 和神经网络识别两大模块。 本章主要介绍图像 预处理 过程。 在图像预处理过程中，采用了许多图像处理技术，最后把每个数字的特征提取出来。 这些技术包括图像数据提取，图像的灰度化、二值化、图像的调整、离散。