基于svm车型识别系统的设计与实现_毕业设计(编辑修改稿)

基于svm车型识别系统的设计与实现_毕业设计(编辑修改稿)内容摘要：

e(KL)变换。 PCA方法的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。 一种常采用的方法是根据如下的推导 : TXC AA (N N维 ) 其中  1,sA d K d 考虑 TAA (s s 维 )的特征向量 iv T i i iA Av v （ 311） 上式两边左乘 A得到 T i i iAA Av Avμ （ 312） 可见 iAv 就是 TXC AA 的特征向量。 由于通常 SN，这种方法将求高阶矩阵的特征向量转化为求较低阶矩阵的特征向量的过程在图象数据分析中是很实用的。 PCA 方法提取车型特征 KL 变换是一种最优正交变换 [9]，是图象分析与模式识别中的重要工具，人们将其应用于特征提取，降低特征数据的维数。 形成了子空间法模式识别的基础，本文将它应用于车型识别。 该方法以归一化的标准图像作为训练样本集，以该样本集的总体散布矩阵为产生矩阵，即 : {( )( ) }Tx u x   μ (313) 或 1 T01 ( ) ( )M iii xxM   μ μ (314) 其中： ix 为第 i个训练样本的图像向量，  训练样本集的平均图向量， M 为训练样本的总数。 将∑表示为 1 T011( ) ( )M Tiii x x X XMM    μ μ (315) 其中 0 1 1[] MX x x x  μ , μ , . . . μ 构造矩阵： TR X X 容易求出矩阵 R的特征值 i 及相应的正交归一特征向量 ( 0,1, 2, , 1)iv i M从而易得∑的正交归一特征向量 iu 为 第 9 页 共 22 页 iii１ｕ ＝ Ｘ ｖ 1,2,1,0  Mi  （ 317） 这就是图像的特征向量。 我们总共得到了 M 个特征向量。 虽然 M 比 2N 小很多，但通常情况下， M 仍然会太大。 而事实上，根据应用的要求，并非所有的 iu 都有很大的保留意义。 考虑到使用 KL 变换作为对车辆图像的压缩手段，可以选取最大的前 k 个特征向量，使得 : 010kiifii （ 318） 在上式中，我们选取 a=98%。 这说明样本集在前 k 个轴上的能量占整个能量的 98%以上。 这样每一幅车辆图像都可以投影到由 0 1 1, , , Mu u u  张成的子空间中。 因此每幅车辆图像对应于子空间中的一个点。 同样，子空间中的任一点也对应于一幅图像一一特征车 (图 31显示的是 01,uu所对应的图像 )。 图 31“特征车”图像 有了这样一个由“特征车”张成的降维子空间，任何一幅车辆图像都可以向其做投影并获得一组坐标系数，这组系数表明了该图像在子空间中的位置，就是我们用 PCA方法提取出来的车型特征。 4 基于支持向量机的车型识别分类器 训练方法和分类算法是分类系 统的核心部分，目前存在多种基于向量空间模型的训练算法和分 第 10 页 共 22 页 类算法，例如，最近 K 近邻方法、神经网络方法和支持向量机算法等等。 KNN(K 最近邻 )算法 该算法的基本思路是：在给定新样本后，考虑在训练样本集中与该新样本距离最近 (最相似 )的K 个样本，根据这 K 个样本所属的类别判定新样本所属的类别，具体的算法步骤如下： 第一步：根据特征项集合重新描述训练样本向量 第二步：在新样本到达后，确定新样本的向量表示 第三步：在训练样本集中选出与新样本最相似的 K 个样本 第四步：在新样本的 K 个邻居中，依次计算每类的权重，计算公 式如下： ( , ) ( , ) ( , )ij i i jd K N Np x C S im x d y d C rrrrr 其中， xr 为新样本的特征向量， ( , )iSimxdrr 为相似度计算公式，与上一步骤的计算公式相同，而( , )ijydCr 为类别属性函数，即，如果 idr 属于类 jC 那么函数值为 1，否则为 0。 第五步：比较类的权重，将样本分到权重最大的那个 类别中。 神经网络算法 神经网络算法采用感知算法进行分类。 在这种模型中，分类知识被隐式地存储在连接的权值上，使用迭代算法来确定权值向量。 当网络输出判别正确时，权值向量保持不变，否则进行增加或降低的调整，因此也称为奖惩法。 传统神经网络如 BP 算法存在以下缺点 :存在局部极小问题，学习算法收敛速度慢。 支持向量机 支持向量机的基本思想是使用简单的线性分类器划分样本空间。 对于在当前特征空间中线性不可分的模式，则使用一个核函数把样本映射到一个高维空间中，使得样本能够线性可分。 支持向量机 (Support Vector Machine， SVM)起源于统计学习理论，它研究如何构造学习机，实现模式分类问题。 由于支持向量机方法有几个主要优点： ，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值。 ，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题。 (Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证 机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关。 又由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，本文采用了支持向量机分类算法进行车型识别。 支持向量机 统计学在解决机器学习问题中起着基础性的作用。 但是，传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。 在现实的问题中，我们所面对的样本数目通常是有限的，有时还十分有限。 虽然人们实际上一直知道这一点，但传统上仍以样本数目无穷多为假设来推导各种算法，希望这样得到的算法在样本 较少时也能有较好的 (至少是可接受的 )表现。 然而，相反的情况是很容易出现的。 其中，近年来经常可以听到人们谈论的所谓神经网络过学习问题就是一个典型的代表 :当样本数有限时，本来很不错的一个学习机器却可能表现出很差的推广能力。 人们对于解决此类问题的努力实际上一直在进行。 但是，其中多数工作集中在对己有 (基于传统统计学原则的 )方法的改进和修正，或者利用启发式方法设计某些巧妙的算法。 在人类即将迈进一个新世纪的时候，人们开始逐渐频繁地接触到一个词，就是“统计学习理论”。 这实际上是早在 20 世纪 70 年代就已经建立了其基本体系 的一门理论，它系统地研究了机器学习的问题，尤其是有限样本情况下的统计学习问题。 在 90 年代，这一理论框架下产生出了“支持向量机 (SVM)”这一新的通用机器学习方法。 或许是由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，或许更是因为在这一基础上的支持向量机方法所表现出的令人向往的优良特性，人们开始迅速重视起这一早在 20 年前就该重视的学术方向。 现在，越来越多的学者认为，关于统计学习理论和支持向量机的研究，将很快出现像在 80年代后期人工神经网络研究那样的飞速发展阶段。 然而，所不同的 是，统计学习理论有完备的理论基础 第 11 页 共 22 页 和严格的理论体系 (相比之下神经网络有更多的启发式成分 )，而且其出发点是更符合实际情况的有限样本假设。 支持向量机使用结构风险最小化 (Structural Risk Minimization， SRM 准则 )原理构造决策超平面使每一类数据之间的分类间隔 (Margin)最大。 SRM 准则认为 :学习机对未知数据分类所产生的实际风险是由两部分组成的，以 0η 1满足如下关系： ( l o g ( 2 / ) 1 ) l o g ( / 4 )e m p h n hRR n ，其中，R 是实际风险，不等式的右边叫做风险边界， empR 称为经验风险， (lo g (2 / ) 1) lo g ( / 4 )h n hn 叫做“ VC置信值”， n 是训练样本个数， h 是学习机的 VC 维 (h 反映了学习机的复杂程度 )。 SVM 的思想就是在样本数目适宜的前提下，选取比较好的 VC 维 h，使经验风险 empR 和置信值达到一个折中，使每一类别数据之间的分类间隔 (Margin)最大，最终使实际风险 R 变小。 支持向量机的讨论是从最简单的模式识别问题开始，即用超平面进行二分类的 问题。 先考虑两类线性可分情况。 设 12, , , nX X X 其中 , 1, ,diX R i n ， n 是 n 个 d 维训练样本，每个样本对应的标一记为 12, , , ny y y ，其中  1, 1 , 1, ,iy i n   标明该向量属于两类中的哪一类。 若超平面 Tw x+b 能将训练样本分开，则有： Tw x + b 0 y 1i若 (42) Tw x + b 0 y 1i  若 (43) 适当调整 w 和 b 进行归一化，可将上两式改写成 Tw x + b 1 y 1i  若 (44) Tw x+ b 1 y 1i   若 (45) 或者 T(w x + b ) 1 , i= 1 ,2 , ,n (46) 图 41 如图所示，如果两类是线性可分的，则将有无限多个分类面可以把这个两类问题进行分类。 我们的目标是选择其中最优的那个分类面 (如图 41 所示 )。 H 为把两类没有错误地分开的分类线， Hl， H2 分别为过各类样本中离分类线最近的点且平行于分类线的直线， HI 和 H2 之间的距离叫做两类的分类空隙或分类间隔 (margin)。 所谓最优分类线就是要求分类线不但能将两类无错误地分开，而 且要使两类的分类空隙最大。 前者是保证经验风险最小(为 0)，而使分类空隙最大实际上就是使推广性的界中的置信范围最小，从而使真实风险最小。 推广到高维空间，最优分类线就成为最优分类面。 对于上述 d 维线性可分样本集为 ( x ,y ) ,i = 1 , ,n ,x R , y ( + 1 , 1 )dii 是类别标号。 线性判别函数的一般形式为 g(x)=w x+b，分类面方程为 :w x+b=0 将判别函数进行归一化后，两类所有样本都满足 ( ) 1gx ， (即使离分类面最近的样本的 ( ) 1gx )，这样分类间隔就为：    1 1 1 1 2m in m a xii iiiixy xyw x b w x bw w w w w         （ 47） 第 12 页 共 22 页 因此使间隔最大等价于使 w （或 2w ）最小；而要求分类线对所有样本正确分类，就是要求它满足 ( ) 1 , 1 , 2 , ,iiy w x b i n    （ 48） 因此，满足上述条件且 2w 最小的分类面就是最优分类面。 过两类样本中离分类面最近的点且平行于最优分类面的超平面 Hl、 H2 上的训练样本就是式 48中使等号成立的那些样本，它们叫做支持向量 (Support Vectors)。 因为它们支撑了最优分类面。 如图中用 *标出的点所示。 那么具体如何求最优分类面呢 ?如上所述易知，最优分类面问题可以表示成如下的约束优化问题，即在条件 (48)的约束下，求函数 211( ) ( )22w w w w    (49) 的最小值。 为此，我们定义拉格朗日函数如下：  。