基于局部模式的人脸识别方法研究

基于局部模式的人脸识别方法研究内容摘要：

相关背景理论知识 计算机视觉理论基本概念 计算机视觉就是用各种成像系统代替视觉器官作为视 觉信息输入手段，由 计算机来代替大脑完成处理和解释，并根据解释结果做出相应的决策。 计算机 视觉的最终研究目标就是使计算机能像人那样通过对视觉信息的处理来观察和 2 哈尔滨工业大学工学硕士学位论文 理解世界，具有自主适应环境的能力 [1][2]。 人类的视觉系统是功能最强大和完善的视觉系统，但人们并不能描述和解 释自身的视觉系统是如何对信息进行处理的，因此通过对计算机视觉的研究、 模拟，人们有可能逐步地揭开人类视觉的信息处理机制，从而了解人类的思维 机制、推理机制等。 因此， 用计算机信息处理的方法研究人类视觉的机理，建 立人类视觉的计算理论，也是一个非常重要和有趣的研究领域。 同样地，通过 其他途径，如神经解剖学、心理学等方面对人类视觉的研究，也会给计算机视 觉的研究提供启发和指导，两者有相互促进作用 [3]。 除了神经解剖学、心理 学，对计算机视觉的研究还要借助其它学科的知识，如图像处理、模式识别 (图像识别 )、图像理解 (景物分析 ) 、图像生成等。 1 图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。 例如，可 通过处理使输出图像平滑、或有较高的信 噪比，同时还可 通过增强处理来突 出图像的细节，以便于对图像特征的检验。 在计算机视觉研究中经常需要利用 图像处理技术进行预处理和特征抽取，如各种数学变换技术等 2 模式识别（图像识别） 模式识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的 类别。 例如，人脸识别、文字识别或指纹识别等。 在计算机视觉中模式识别技 术经常用于对图像中的某些部分进行处理，例如分割区域的识别和分类。 3 图像理解（景物分析） 给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所 代表的景物，以便对图像代表的内容做出决定。 在人工 智能视觉研究的初期经 常使用景物分析这个术语，以强调二维图像与三维景物之间的区别。 图像理解 除了需要复杂的图像处理技术外还需要具有关于景物成像的物理规律的知识以 及与景物内容有关的知识。 4 图像生成 根据图像的特性如对称性、纹理渐变性以及图像目标的动力学知识以及其 它的先验知识，可以生成一副图像，或者当图像信息存在部分缺失时，能够将 缺失的那一部分信息补上，从而得到完整的图像信息。 例如，对于二维图像， 通过图像生成技术能够得到其三维结构信息，这一点如应用在模式识别研究 中，能够大大地提高识别系统的鲁棒性。 3 哈尔滨工业大学工学硕士学位论文 Marr 视觉理论 Marr 的视觉计算理论 [4]立足于计算机科学，系统地概括了心理物理学、 神经生理学、临床神经病理学等方面已取得的所有重要成果，是迄今为止最系 统的视觉理论。 Marr 的理论的出现对神经科学的发展和人工智能的研究产生 了深远的影响。 Marr 认为视觉是一个信息处理过程，这个过程根据外部世界的图像产生 对观察者有用的描述，而且这个处理过程是有层次的。 整个处理过程如图 12 示： 模型 3D 表示 简图 场景 图 12 Marr 视觉信息表示过程 Figure 12 The process of representing Marr’s visual information 低层视觉（即视觉处理的第一阶段）的目的就是要确定图像信息的变化是 由哪些因素引起的。 这个过程要经过两个步骤来完成：第一步是获得表示图像 中的变化和结构的表象。 这包括检测灰度的变化，表示和分析局部的几何结 构，以及检测照明的效应等处理，第一步得到的结果被称为初始简图（ Primal Sketch）的表象。 第二 步对初始简图进行一系列运算得到能反映可见表面几何特征的表象， 这种表象被称为二维半（ D）简图，这些运算中包括由立体视觉运算提取深 度信息，根据灰度影调、纹理等信息恢复表面方向，由运动视觉运算获取表面 形状和空间关系信息等。 这些运算的结果都集成到 D 图像这个中间表象层 次，因为这个中间表象已经从原始的图像中去除了许多的多义性，是纯粹地表 示了物体表面的特征，其中包括光照、反射率、方向、距离等。 根据 D 图 像表示的这些信息可以可靠地把图像分成有明确含义的区域（分割），从而可 得到比线条、 区域、形状等更为高层的描述。 这个层次的处理称为中层视觉处 理 (Intermediate Processing）。 Marr 视觉理论中的下一个表象层次是三维模型，它适用于物体的识别， 4 哈尔滨工业大学工学硕士学位论文 当图像数据具有与目标模型相同的表示形式时，就能够对图像进行识别。 这个 层次的处理涉及物体本身，并且要依靠和应用与领域有关的先验知识来构成对 景物的描述，因此被称为高层视觉处理。 Marr 的视觉计算理论虽然是首次提出的关于视觉的系统理论，并已对计 算机 视觉的研究起了巨大的推动作用，但还远未解决人类视觉的理论问题，在 实践中也已遇到了严重困难。 Bruce、 Young 等人 [5]认为 Marr 的三层表示模式 是对目标的一种较粗略表示，对于一般的目标识别可能是有效的，但对于需要 很精确地对目标加以描述，从而进行识别的情况却可能不适用，例如对于人脸 图像的识别，不同目标具有相同的形状，同时同一目标具有不同的表现形式， 单纯地使用上述的三层表示模式将无法区分不同的人脸图像。 基于推理的视觉理论 由于只根据图像数据本身不能对相应的物体空间结构提供充 分的约束，也 就是说这是一个约束不充分（ under constrained）的问题。 因此，为了理解图像 的内容必须要有附加的约束条件。 Gestalt 心理学家发现的感知组织现象是一 种非常有力的关于象素整体性附加约束。 从而为视觉推理提供了基础。 Gestalt 心理学家所研究的出发点是 形 ，他们认为任何 形 都是知觉进行 了积极组织或构造的结果或功能，而不是客体本身就有的。 在视觉研究中 Gestalt理论认为把点状数据聚集成整体特征的聚集过程是所有其它有意义的处 理过程的基础。 人的视觉系统具有在对景物中的 物体一无所知的情况下从景物 的图像中得到相对的聚集（ grouping）和结构的能力。 这种能力被称为感知组 织。 感知组织把点状的传感数据变换成客观的表象。 在这些表象中用于描述的 词藻不是在点状定义的图像中的灰度，而是如形状、形态、运动和空间分布这 样的描述。 感知组织通过对传感器数据进行了整体的分析，得到一组宏观的表 象。 这样的宏观表象就是进行认知的活动时的基本构件，用它们可构成对外部 世界的描述。 Gestalt 理论反映了人类视觉本质的某些方面，但它对感知组织的基本原 理只是一种公理性的描述，而不是一种机 理性的描述。 因此自从在本世纪二十 年代提出以来未能对视觉研究产生根本性的指导作用。 但是研究者对感知组织 原 理 的 研 究 一 直 没 有 停 止。 特 别 是 在 80 年 代 以 后 ， Lowe[6] ， Witkin Tenenbaum[7]，等人在感知组织的原理，以及在视觉处理中应用方面取得了新 5图像， (例如 GWN 中 : fˆ wi i ),然后用方程中的参数来表示人脸。 在计算 全局形状统计模型约束局部纹理匹配的结果 [10 17] 匹配，得到形状和纹理 [18 21] 哈尔滨工业大学工学硕士学位论文 的重要研究成果，同时它也是本文的理论出发点。 国内外研究现状 由于本文提出的模型属于产生式模型，所以首先在这里简要介绍 一下产生 式模型的国内外研究现状。 产生式模型是通过从单一类别的数据学习该类个体 的表示。 简而言之，在人脸识别领域中产生式模型通常是通过方程来逼近人脸 N i1 机视觉中，产生式模型流行的原因有多个方面，包括他们能方便地融合先验知 识，能处理对象各部分和各特征之间的对应，能够方便的进行图像的重建等。 但是，现有的产生式模型通常在分类任务中次于判别式模型。 在现有的人脸表示的方法中，一些产生式模型已经受到了广泛的关注。 他 们能够用一些模型参数精确的重建输入的人脸图像。 表 11 给出了其中一些经 典的方 法： 表 11 现有基于产生式的人脸建模方法 Table 11 Methods of generative model based face modeling 特征脸 Eigen Face 主动形状模型 ASM 主动表观模型 AAM 3D 形变模型 小波网 GWN 高分辨率文法模型 利用主成分分析 (PCA)方法对图像降维，找到数据表示最佳的投影 方向 [8][9] ～ 对形状和纹理联合统计 (表观 )模型参数进行优化使得模型与输入最佳 ～ 对 3D 形状、纹理、成像参数等形成的形变模型参数进行优化， 使得 合成的模型图像最佳匹配输入图像，从而得到人脸 3D 形状和纹理 [22][23] 用一组加权的小波函数表示人脸图像 [24][25] 两个附加层扩展了主动表观模型，实现了几乎无损的高分辨率人脸 图像编码 [26] 本文主要内容 自动人脸识别（ AFR）研究试图赋予计算机根据面孔辨别人物身份的能 力。 该研究具有重要的科学意义和巨大的应用价值。 人们已经对其研究了 30 多年。 其中恰当的能够反映出人脸本质属性的人脸表示对于这些相关的任务都 起着至关重要的作用。 在现有的人脸表示的方法中，一些产生式模型 已经受到 6 哈尔滨工业大学工学硕士学位论文 了广泛的关注。 在计算机视觉中，产生式模型流行的原因有多个方面，包括他 们能方便地融合先验知识，能处理对象各部分和各特征之间的对应。 本文给出了其中一些经典的产生式方法，值得注意的是其中 ―Gabor 小波 网 ‖和 ―高分辨率文法模型 ‖这两种产生式方法是最新提出的产生式算法，他 们在人脸建模方面都取得了瞩目的成就。 与以前传统方法相比，这两种方法都 是以局部模式，而不是以人脸的整体模式作为出发点。 因为随 着研究的深入， 从人类视觉感知的角度出发进行进一步的研究是一个必然的趋势，而局部模型 恰恰非常符合人类视觉感知原理，在人脸识别领域局部建模必将成为主流研究 方向。 所以本文对基于局部模型的人脸识别方法进行了系统而深入的研究。 提 出了基于稠密局部匹配的人脸识别方法，并通过分别改变算法中的重要参数： 子块大小、采样间隔、保留子块的数目做了三个主要的实验，对 ―验证部分大 于全部 ‖， ―密集采样对识别率的影响 ‖，及 ―不同块大小对识别率的影响 ‖做 了系统全面的分析和说明。 最后提出一种更好的符合人类感知原理的局部模 式：局 部视觉基元（ Local Visual Primitive），并将其成功地应用在人脸重建和 识别之中。 实验结果表明此方法不仅可以很好的重建图像，其识别性能也与已 知的最好结果相当，进一步说明了基于局部模式的人脸识别方法研究的意义及 潜力。 7 哈尔滨工业大学工学硕士学位论文 第 2章 产生式模型概要 产生式模型概要 视觉识别算法是从一系列训练样本中学习模型。 产生式模型通过从单一类 别的数据学习他们的表 示。 在计算机视觉中，产生式模型流行的原因有多个方 面，包括他们能方便地融合先验知识，能处理对象各部分和各特征之间的对应 等。 近些年来产生式模型由于其特有的优点已经引起研究者的广泛关注，特别 在物体类别识别等方面已成为主流研究方法之一。 此外产生式模型在人脸这个 单一类别中识别不同人身份的人脸识别领域也出现了很多典型的算法。 下文将 分别介绍产生式模型的定义、特点、及现有的典型产生式算法在人脸识别领域 中的具体应用。 产生式模型及判别式模型定义 产生式模型和判别式模型是识别领域中已经有了非常广泛 的应用。 现存的 最主要的经典算法几乎都可以划分到这两类解决问题的方法之中，而且为了结 合两者的优点衍生出很多这两种模型的结合算法 [29～ 31]。 究竟产生式模型和判别式模型的本质差异在哪里，这就需要对这两种模型 的具体定义加以研究。 现在学术界中对于两种模型并没有统一的定义，在不同 的研究领域中他们的定义就会有不同侧重。 在本章中将给出在识别领域中产生 式模型和判别式模型最主流的两种定义方法。 它们分别从不同的角度阐释两种 模型本质上的差异。 从概率的角度出发，两种模型。