基于变阈值局部二值模式的人脸表情识别方法的研究毕业设计(编辑修改稿)

基于变阈值局部二值模式的人脸表情识别方法的研究毕业设计(编辑修改稿)内容摘要：

现面部形态的合成。 HaiBo[19]等人建立了一个融入 面部形状与面部表情先验信息的运动模型。 他们在这个模型中通过反馈机制实现了计算机图形学技术与计算机视觉技术的结合。 在这种机制里可以将图形学中的合成技术嵌入到面部分析阶段并最终实现了较好的表情分析。 Black 和 Yacoob，及 Yacoob和 Davis 提出了面部的局部参数运动模型。 该模型能在局部的空间和时间区域上精确的描述非刚性的面部运动，采用少量的参数描述了嘴巴、鼻子、眼皮、眉毛等器官与边缘相关的运动。 但他们的方法只能对非暂时性的特征进行描述，忽视了其它的暂时性表情特征。 国内在人脸表情识别方面的研究起步较晚， 但发展很快。 目前，从事这方面研究的主要有清华大学、中国科学技术大学、浙江大学、上海交通大学、哈尔滨工业大学、中科院自动化所、中科院计算所、联合实验室、南京理工大学、北方交通大学等多所著名大学和研究机构都有人员从事人脸表情识别的研究。 最早进行计算机表情分析、编码与识别研究的是哈尔滨工业大学高文教授领导的团队。 高文和金辉 [20]等通过对若干类面部表情图像的分析，建立了基于部件分解组合的人脸图像模型，在他们的另一篇文献中，在对动态表情图像序列的时序分析的基础上，提出了对混合表情的识别系统。 中国科技技术大学的尹星 云 [21]用隐马尔科夫模型 (HMM)的基本理论和方法设计了人脸表情识别系统。 哈尔滨工业大学的赵力庄、高文 [22]等将 Eigenfaee 多子空间分类方法用于面部表情识别；天津大学的左坤隆、刘文耀等利用活动外观模板 (AAM)提取的人脸表情特征来进行人脸表情识别；东南大学的姜璐、章品正等利用矩分析的方法进行面部表情的识别，将 Zemike 矩和小波矩运用于面部表情识别问题；北京科技大学的刘芳、王志良等将黑斑特征算法应用于面部表情的识别，该算法对于一幅输入的人脸图像，依次进行灰度化、二值化、滤波、特征提取等处理后，通过 采用基于黑斑特征的算法进行表情的自动识别。 东南大学的何良华、邹采荣提出了一种基于DWTDCT 的面部表情识别算法。 清华大学的王玉波等使用了 Adaboost 进行实时的表情识别。 7 人脸表情识别是一个具有挑战性的课题，现在还处于研究阶段，各种算法还在摸索，还不十分成熟。 面部表情识别的主要难点是： (1) 对各种表情的体验。 表情的表现有缓和的和激动的、细微的和强烈的、轻松的和紧张的等诸多形式，它的生理因素也是细微多变，所以非常复杂，现在的识别方法对比较夸张和明显的表情能够有较好的识别率，但是对变化不太明显的表情识别 率是较低的。 (2) 受不同年龄、种族、性别、头发、饰物等的影响较大。 (3) 光照和人脸姿态对识别结果影响较大。 (4) 难以建立一个理想的人脸表情模型，因为人脸是一个柔性体，而非刚体，很难用模型来准确描述。 第二节 本论文的主要工作 人脸表情识别主要有四个基本部分组成：表情图像获取、表情图像预处理、表情特征提取和表情分类。 本文的主要工作集中于人脸表情特征的提取，即基于改进的局部二值模式 (LBP， Local Binary Pettern)的面部表情特征提取。 LBP 算法一般定义为 3 3 的窗口，以窗口中心点的灰度值为阈值对窗口内其它像素作二值化处理，然后根据像素不同位置进行加权求和得到该窗口的 LBP值。 该方法来源于纹理分析领域，刻画了局部图像纹理的空间结构，具有对纹理图像光照变化不敏感的特点，且计算简单易于实现。 LBP 方法的局限之处在于对所有问题都采用了单一的变换映射，没有考虑待分类样本的分布特征以及分类目标的差异性。 本章提出了一种 LBP 的扩展形式，即变阈值局部二值式。 变阈值局部二值式通过引入参数变阈值扩展了变换后的特征空间，并且可以通过调整变阈值的值在特征空间中 寻找适合于特定分类问题的子空间。 经过改进，变阈值局部二值式对于噪声和光照变化相对于局部二值式更加鲁棒，而且特征抽取的过程也能够相对灵活。 最后本文以变阈值局部二值式直方图作为特征向量，采用 Ⅹ 2概率统计来计算各特征向量的距离，选用最近邻分类器进行特征分类，求出识别率。 本文剩余章节安排如下：第二章介绍了局部二值式基本理论知识；第三章介绍了改进的局部二值式，阐述改进的局部二值式的基本理论；第四章为基于变阈值局部二值式的人脸表情识别的实现及实验设计和结果分析。 8 第二章 人脸图像分析技术常用方法 第一节 人脸检 测常用方法 人脸检测就是要在大量图片中判断是否存在人脸图像，或者对一张照片进行扫描检测人脸的具体位置与大小。 人脸检测根据人脸图像类型 、 背景以及图像前景的不同，检测所用到的技术也各不相同，图 对涉及到的人脸检测类别做了分类汇总。 图 人脸检测的分类 由图 我们知道根据图像色彩的不同，分为对彩色图像的人脸检测与对灰度图像的人脸检测，其中对灰度图像的研究是人脸检测研究的重点。 本文是对灰度人脸图像进行研究识别的，因此重点介绍针对灰度图像人脸检测的常用方法。 对灰度人脸图像进行检测的方法又可分为两个方向，基于知识模型的方法和基于统计模型的方法，下面对这些方法做一些简单介绍。 9 一、基于特征的方法 基于特征方法主要是寻找能够有效表示人脸的不变特征来用于人脸检测，人脸特征不仅能反映隐含在人脸内部的信息，也能表达出人脸的机构关系。 此类方法最大的特点就是不首先确定人 脸是否存在，而是先检测人脸的面部特征，根据提取的人脸面部特征，简历统计模型进行人脸检测。 人脸面部特征比较明显，例如眉毛 、 眼睛 、 嘴巴和鼻子等。 近年来，提出不少对人脸特征有效抽取的方法，有主分量分析方法 (PCA)、线性判别分析 (LDA)、流形方法 (I SOMAP， LLE)等，其中主分量分析是一种常用方法，此方法是由 Turk 等提出来的，能抽取有效的特征来进行人脸检测。 首先将将人脸图像进行正交变换，把人脸图像降维到特征子空间，以消除原特征数据间的相关性，得到较小的特征数据集，用同样的过程对非人脸训练数据进行操作，然后将待检测的人脸也投影到次特征子空间，通过跟人脸与非人脸训练特征数据进行举例比较，最终检查出人脸，此方法被称为 Distance from Face Space(DFFS)方法， DFFS 方法对检查人脸正面图像有横好的效果，其缺点是计算量比较大。 二 、 基于支持向量机的方法 从人脸与非人脸图像中提取的特征数据维数较高，将提取的特征数据也即建立的人脸模式投影到较低的维数空间，然后在人脸与非人脸数据中寻求最优判别函数，是解决人脸检测的一种典型方法。 而今年来提出来的支持向量机是将人脸模式投影到比较高的维数特征空间。 支持向量机最早是由 Vapink 依据统计学习理论提出来的基于结构风险最小化的一种学习机，目的是用来结局分类问题。 Osuna 等人后来讲支持向量机方法用在了人脸检测领域，首先训练 SVM 分类器，用有限的人脸与非人脸数据样本来进行训练，讲数据投影到较高的维 数空间，寻找最优判断分类面，最终得到 SVM 分类器，用在人脸检测中。 此方法是一种能有效的处理大量样本问题，速度较高，去的了较好的效果。 10 第二节 人脸识别常用方法 人脸识别是在人脸检测基础上的进一步的身份识别，根据图像的不同可以分为对静止图像人脸识别和对视频流中的人脸识别。 人脸检测的主要目的是要检测确定出人脸的具体位置与大小，而人脸识别就要根据检测出的人脸图像确定人的身份，具体是哪个人，以此获得相关信息，包括人的姓名 、 年龄 、 职业 、 性别以及工作等具体详细的信息。 人脸识别可以分为下列几种方法。 一 、 基于特征脸的识别方法 特征脸方法以主成分分析 (PCA)方法为代表，属于基于统计学习方法中的一种方法，也是现在人脸识别中的一种典型方法。 特征脸方法或者特征子脸方法都是选取合适的人脸空间基，将人脸图像投影到人脸空间中，目的是对人脸图像数据降维并描述不同人脸之间的变化，然后进行判别分析，最终识别出人脸图像。 最早是由 Pearson 提出来的，后来由 Hotelling 实现了此方法，并给出了具体的计算过程。 随后由 Sirovich 等人将 PCA 方法用在了人脸图像分析区领域，并进行人脸识别。 主成分分析方法原理比较简单且容 易实现，将高维人脸数据较少，提高了计算复杂度，但是这种方法容易受到光照等的影响，没有考虑到人脸的个性差异，所以从理论来说这种方法具有一定的缺陷性，但是这种方法近年来也被广泛应用在模式识别领域。 二 、 弹性图匹配方法 弹性匹配方法是由 Lades 等人提出来的一种人脸识别方法，实质上是一种模板匹配方法，弹性图匹配方法将动态链接结构用到了人脸识别中，此方法能够克服光照的影响，同时对人脸图像识别效果影响比较大的位移 、 旋转和人脸尺度变化都不敏感，这点比起其它算法占据优势，但是，这种方法计算量较大，运算识别速度较其他算法 比较慢。 弹性图匹配方法将人脸图像用网状的稀疏图来表示，其中稀疏图的变表示人脸中的眼睛 、 鼻子和嘴巴这些器官的拓扑结构，而图的顶点用一个特征向量来表示，这个特征向量是用图像位置的 Gabor 小波变换分解得到的，记录了人脸在此 11 特征向量附近的特征信息。 将待检测人脸图像的弹性匹配图与人脸库中的人脸模板图进行匹配，找出最相似的模板图，然后在对具体的图顶点进行匹配，这种匹配会产生一个变形图，这也是为什么称此方法为“弹性图”的原因。 三 、 基于非线性数据降维的方法 典型的数据非线性降维方法又多维尺度分析 (MDS)，以及建立在 MDS 上的等距离映射算法（ I SOMAP）和局部线性嵌入算法 (LLE)等。 将 I SOMAP 应用在人脸识别领域的好处是这种非线性降维方法能够更好的提取数据的本质结构，尤其是眼睛模型的特征。 其具体过程可以用图 来表示。 图 I SOMAPA 降维方法实现人脸识别的流程 12 第三节 本章小结 本章简单介绍了用在人脸检测以及人脸识别中的常用方法和一些经典方法。 这些方法在本章中知识做 了简单的介绍，后面章节中，将具体介绍一种人脸检测和人脸识别的方法。 13 第三章 局部二值模式（ LBP） 第一节 关于 LBP的介绍 LBP(即 Local Binary Pattern，局部二进制模式的缩写 )方法，最初是作为一种纹理算子来分析图像纹理特征，由 Ojala[23]等人提出的。 LBP 算子是一种灰度范围内的纹理度量，是从一种纹理局部近邻定义中衍生出来，它利用结构法思想分析固定窗口特征，再利用统计法作整体的特征提取。 LBP 算法一般定义为 3 3的窗口，以窗口中心点的灰度值为阈值对窗口内其它像素作二值化处理，然后根据像素不同位置进行加权求和得到该窗口的 LBP 值。 LBP 算子刚提出来的时候，基本的概念就是图像纹理中某个指定的中心像素 点 (g₀)及其周围紧邻的 8 个像素点 (g₀g₇)所组成的局部区域，如图 所示。 图 标准的 LBP 算子 基本方法里所用的是经过处理后所得到的灰度图像，每一个像素点的灰度值是 0～ 255 中的一个值。 当指定了某一个像素点作为中心像素点 (g₀)之后 (此时暂不考虑图像边界上的像素点 )，其周围的 8 个像素点 (g₀g₇)的灰度值即可随之确定下来。 我们以中心像素点 (g𝑐)的灰度值作为阈值 (thresholded value)，将 gc 周边相邻的 8 个像素点的灰度值与阈值进行比较，如果某相邻像素点的灰度值大于或等于该阈值，则令该像素点的赋值为 1；如果相邻像素点的灰度值小于该阈值，则令该像素点的赋值为 0。 这样， 在顺次将周围像素点的灰度值与阈值进行比较之后，就可以得到一个局部二进制的模式 (Local Binary Pattern)。 接下来，从左上角的第一个像素点 (g₀)开始， 2n 将权值 (n=0， 1„„ 7)按照顺时针次序依次赋予周围各个像素点，并与该像素点经过阈值化之后所赋的二进制值相乘。 最后，当每一个像素点都依次进行了上述运算之后，将所有 8 个像素点运算所得的结果相加，即为该中心像素点 (gc)的 LBP 值。 现举例说明 LBP 算子基本方法的计算方式。 14 如图 所示，样本的中心像素的灰度值为 6，以之作为阈值，同其周边 8个像 素点的灰度值依次进行比较，此过程称为阈值化 (thresholding)。 在进行了阈值化之后，我们可以得到一个局部二进制的模式 — 11110001；与此同时，将权值2ⁿ “ (n=0， l„„ 7)从 g0 点开始按照顺时针顺序依次赋予周边的 8 个像素点，这些点的赋值依次是 g₀=l， g₁=2， g₂=4， g₃=8， g₄=16， g₅=32， g₆=64， g₇=128。 此后，把各像素点阈值化之后所得的二进制值和所赋权值一一对应相乘 —— 1 1，0 2， 0 4， 0 8， l 16， 1 3。