基于遗传算法的神经网络设计本科生毕业设计(编辑修改稿)

基于遗传算法的神经网络设计本科生毕业设计(编辑修改稿)内容摘要：

情况需考虑的： 如果 k＝ m，则是输出层，这时有 iY 是输出期望值，它是常数。 由 于公式 (211)中有 )( imiX eXe YXmiki    (224) 从而有 md1 = mX1 (1 mX1 )( mX1 Yi) (225) 2．如果 km，则该层是隐层。 这时应考虑上一层对它的作用，故有： 江西理工大学 20xx 届本科生毕业设计（论文） kikkki XUi UeXe    1111 . （ 226） 从 公式 (218)中，可知有： 1111   kU e dk （ 227） 从 公式 (210)中，可知有： ijiX XWXU Wkikiikik  |1)( 111 （ 228） 故而有 ： 111 .   ki iXe dWki （ 229） 最后有：   i lkiikikiki dWXXd 1)1( （ 230） 从上述过程可知：多层网络的训练方法是把一个样本加 到输入层，并根据向前传播的规则： )( kiki UfX  （ 231） 不断一层一层向输出层传递，最终在输出层可以得到输出 kiX。 把 imX 和期望输出 iY 进行比较．如果两者不等，则产生误差信号 e，接着则按下面公式反向传播修改权系数： 11   kjj ijkikjkiij XWUXdW  （ 232） 其中 ))(1( imimimimi YXXXd  （ 233）   i lkiikikiki dWXXd 1)1( （ 234） 上面公式中，求取本层 kd1 时，要用到高一层的 11kd ；可见，误差函数的求取是从输出层开始，到输入层的反向传播过程。 在这个过程中不断进行递归求误差。 通过多个样本的反复训练，同时向误差渐渐减小的方向对权系数进行修正，以达最终消除误差。 从上面公式也可以知道，如果网络的层数较多时，所用的计算量就相当可观，故而收 敛速度不快。 为了加快收敛速度，一般考虑上一次的权系数，并以它作为本次修正的依据之一，故而有修正公式： 江西理工大学 20xx 届本科生毕业设计（论文） )()1( 1 tWXdtW ijkjkiij    （ 235） 其中：η为学习速率，即步长，η＝ — 左右  为权系数修正常数，取 — 左右。 在上面，公式 (232)也称为一般化的 Delta 法则。 对于没有隐层的神经网络，可取 ijiij XXYW  )( （ 236） 其中： iY 为期望输出； jX 为输出层的实际输出； iX 为输入层的输入。 这显然是一种十分简单的情况，公式 (236)也称为简单 Delta 法则。 在实际应用中，只有一般化的 Delta 法则公式（ 236） 或公式 (235)才有意义。 简单 Delta 法则式 (236)只在理论推导上有用。 江西理工大学 20xx 届本科生毕业设计（论文） 第三章 遗传算法 3． 1 遗传算法 概述 遗传算 法的基本思想是基于 Darwin 进化论和 Mendel 的遗传学说的。 Darwin进化论最重要的是适者生存原理。 它认为每一物种在发展中越来越适应环境。 物种每个个体的基本特征由后代所继承，但后代又会产生一些异于父代的新变化。 在环境变化时，只有那些 能 适应环境的个体特征方能保留下来。 Mendel 遗传学说最重要的是基因遗传原理。 它认为遗传以密码方式存在细胞中，并以基因形式包含在染色体内。 每个基因有特殊的位置并控制某种特殊性质；所以，每个基因产生的个体对环境具有某种适应性。 基因突变和基因杂交可产生更适应于环境的后代。 经过 存优去劣的自然淘汰，适应性高的基因结构得以保存下来。 由于遗传算法是由进化论和遗传学机理而产生的直接搜索优化方法；故而在这个算法中要用到各种进化和遗传学的概念。 这些概念如下： 注意 以下 格式问题。 一、串 (String) 它是个体 (Individual)的形式，在算法中为二进制串，并且对应于遗传学中的染色体 (Chromosome)。 二、群体 (Population) 个体的集合称为群体，串是群体的元素 三、群体大小 (Population Size) 在群体中个体的数量称为群体的大小。 四、基因 (Gene) 基因是串中的元素，基因用于表示个体的特征。 例如有一个串 S＝ 1011，则其中的 1， 0， 1， 1这 4个元素分别称为基因。 它们的值称为等位基因 (Alletes)。 五 、基因位置 (Gene Position) 一个基因在串中的位置称为基因位置，有时也简称基因位。 基因位置由串的左向右计算，例如在串 S＝ 1101 中， 0 的基因位置是 3。 基因位置对应于遗传学中的地点 (Locus)。 六、基因特征值 (Gene Feature) 在用串表示整数时，基因的特征值与二进制数的权一致；例如在串 S=1011中，基因位置 3 中的 1，它的基因特征值为 2；基因位置 1 中的 1，它的基因特江西理工大学 20xx 届本科生毕业设计（论文） 征值为 8。 七、串结构空间 SS 在串中，基因任意组合所构成的串的集合。 基因操作是在结构空间中进行的。 串结构空间对应于遗传学中的基因型 (Genotype)的集合。 八、参数空间 SP 这是串空间在物理系统中的映射，它对应于遗传学中的表现型 (Phenotype)的集合。 九、非线性 它对应遗传学中的异位显性 (Epistasis) 十、适应度 (Fitness) 表示某一个体对于环境的适应程度。 遗传算法的步骤 标准遗传算法主要通 过遗传操作 (交叉与变异 )对种群中的个体施加结构重组处理，通过选择操作不断优化群体中的个体结构，从而搜索到最优结构的个体，达到逼近问题的最优解的目的。 由此可见，标准遗传算法不能直接对问题空间进行操作，必须将问题空间的解变量转换成遗传空间，由基因按一定结构组成染色体，这一转换操作就叫做编码。 （一）编码原则 评价编码策略通常考虑一下三个方面 : (1)完备性。 问题空间中的所有点都能作为遗传空间中的点 (染色体 )来表现。 (2)健全性。 遗传空间中的染色体能对应所有问题空间中的候选解。 (3)非冗余性。 染色体和候选解一 一对应。 对于很多问题很难设计出同时满足上面三条要求的编码方案，但是完备性是必须满足的一项。 这三个评价规范是独立于问题领域的普遍准则，具有普遍意义，但是缺乏具体的指导思想，特别是满足这些条件的编码设计不一定能有效地提高遗传算法的搜索效率。 相比之下， De Jong 提出较为客观明确的编码评估准则，称之为编码原理，由于可操作性较强，又称之为编码规则。 具体为 : (1)有意义基因块的编码规则。 所定编码应当易于生成与所求问题相关的短距和低阶的基因块。 (2 )最小字符集编码规则。 所定编码应采用最小字符集，以使问题得到自 然的表示或描述。 (二 )编码方法 下面介绍几种常用的遗传算法编码技术。 (1)一维染色体编码。 一维染色体编码是指问题空间的候选解转换到遗传空间后，其相应的染色体呈一维排列的基因链码。 通常采用的一维染色体编码技术有 : 1)二进制编码。 二进制编码是将问题空间的候选解转换为遗传空间的各位数值为 “0” 或 “1” 的字符串。 二进制编码方法是最为经典和常用的编码方法，它的优点有 :① 符合最小字符集的编码原则。 ② 编码简单，便于进行交叉、变异等遗传操作，且物理概念清晰。 ③ 便于用模式定理川进行分析与预测。 江西理工大学 20xx 届本科生毕业设计（论文） 但是对于多维、高精度问 题，二进制编码就会显示出一些不足，主要有 :①二进制编码不能直接反映出所求问题的本身结构特征。 ② 二进制编码的染色体长度与问题空间的区域大小和精度要求直接相关，对于大区间、高精度的问题，染色体的长度会很长，搜索空间也会很大，这样的搜索相当困难。 ③ 相邻的二进制编码可能会有较大的 Hamming 距离，从而降低了遗传算子的搜索效率。 2)灰码编码。 利用灰码编码方法可以在一定程度上克服上述缺点。 灰码编码是将二进制编码通过一个变换而得到的编码，其表现也为二进制的形式，所不同的是灰码编码技术保证了在遗传空间相互靠近的两个点也 必须在问题空间里靠近，反之亦然。 3)浮点编码。 浮点编码是灰码转换，只是保证了问题空间相邻的点在遗传空间有数值为 1的 Hamming 距离，但遗传空间还不是问题空间。 如果采用浮点表达的编码方法，即每个染色体向量被编码成一个与解向量相同长度的浮点数向量，那么，在执行上，遗传空间就是问题空间，染色体直接反映了问题的规律与特性。 浮点编码与二进制编码相比有以下优点 :① 精度依赖于所使用的机器，与编码本身无关，比二进制要灵活、方便； ② 浮点编码能够表达很大的区域，而二进制编码必须以牺牲精度来增加表达区域； ③ 容易设计出封闭的 、动态的遗传算子，容易处理非常规约束。 一维编码的方法还有很多，如交叉编码、多参数编码、可变长编码等等。 二维染色体编码。 在很多实际问题中，解本身就是以二维或多维的形式存在的，为了使问题的表达更直观，可直接采用多维染色体编码。 选择一个群体，即选择一个串或个体的集合 bi， i=1， 2， ...n。 这个初始的群体也就是问题假设解的集合。 一般取 n＝ 30 通常以随机方法产生串或个体的集合 bi, i＝ 1， 2， ...n。 问题的最优解将通过这些初始假设解进化而求出。 适应度函数 在遗传算法的进化过程中， 对染色体的评价是由适应度函数来完成的，函数的函数值作为选择运算的依据。 即遗传算法向着适应值增加的方向进化适应度，所以目标函数的寻优方向与适应度函数值增加的方向一致，这是适应度函数设计的先决条件。 另外，为了理论分析的方便，最好保证适应度函数非负。 有时适应值为负的清况，要进行适当的转换。 将目标函数转换成适应度一般要遵循下面两个基本原则。 (1)优化过程中目标函数的优化方向 (如寻求目标函数的最大值或最小值 )与种群进化过程中适应度函数值增加的方向相一致。 (2) 适应度函数值大于等于零。 如果目标函数是求最小值问 题，可通过适当转换，如 : fit(x)=cf(x), c ≥ fmax 选择运算是推动进化的直接动力。 如果选择压力过大，遗传算法会过早收敛，使搜索落入局部极小点。 选择压力过小搜索过程会非常缓慢。 一般来讲，在进化的初始阶段，宜采用较小的选择压力，尽量保持种群个体的多样性。 在进化的后期，宜采用较大的选择压力，以提高优良个体的竞争力，使搜索向着最优解的方向发展。 选择可以通过以下三个方面进行描述 :（ 1）采样空间。 （ 2）采样机理。 （ 3）选择概率。 三者对于选择压力以至于遗传算法的性能都有很大的影 响。 江西理工大学 20xx 届本科生毕业设计（论文） 采样空间可划分为规则的采样空间和扩大的采样空间两种。 采样机理使如何从采样空间中选择染色体的理论，对种群个体的选择从原理上可分为三种 :(1)随机采样。 (2)确定采样。 {3)混合采样。 随机采样方法首先根据各染色体个体的适应值评价出其生存概率，再由生存概率确定每个染色体的实际繁殖数量。 每个染色体的生存概率是确定性的，而染色体个体实际的繁殖数量是其生存概率随机产生的，是随机性的。 整个选择过程可由两步完成 :(1)确定种群中个体的生存概率。 {2)根据个体的生存概率进行随机选择。 随 机采样的基本思想是 :适应值大的个体对应较高的生存概率，则被选择进入 F1 代的几率相对较高。 但是，并不能保证最优的个体被选择。 确定采样的基本思想是 :保证最好的染色体被选择进入下一代。 常用的方法有截断选择法、精英选择法和期望选择法等。 混合采样同时具备随机采样和确定采样的特征。 种群中的染色体的选择概率与选择压力直接相关。 Holland 的原始遗传算法所采用的轮盘算法是一种正比选择方法，选择概率正比于染色体的适应值。 正比选择的缺点是在进化的早期，一些超级染色体会充斥选择过程，容易失去种群染色体的多样性。 而进化的后期，优良染色体的竞争能力减弱，使选择变得像随机搜索。 标定法和排序法就是为解决上述问题而提出的。 (1)标定法。 标定法就是通过调整适应度函数来控制种群中染色体的生存概率。 对适应度函数进行调整的意义在于 :①使种群中染色体的适应值之间保持合理的差距 :②限制某些超级染色体的繁殖速度，以满足早期限制竞争，后期鼓励竞。