基于信息融合的面部表情分析与识别

基于信息融合的面部表情分析与识别内容摘要：

60% % Surprised % 80% 比较项目 MPCA PCA 主元数目 38 42 训练时间 表情类型 PCA识别结果 MPCA识别结果 Happy % 80% Normal % % Sad 70% % Surprised 80% % 基于单特征单分类器的面部表情识别 基于神经网络级联的面部表情识别 基于几何特征的面部表情识别 基于均值主元分析的面部表情识别 基于 Fisher线性判别的面部表情识别 基于 Fisher线性判别的面部表情识别 Fisher 线性判别 Fisher线性判别的改进： T＋ PCA+FLD 基于 Fisher线性判别的面部表情识别流程 实验结果 Fisher 线性判别 Fisher 线性判别 ( Fisher’s Linear Discriminant : FLD )是基于样本的类别进行整体特征提取的有效方法 , FLD则在 PCA基础上的改进，目标在于，试图建立一个更小的维数的、只包含最基本元素的空间，它试图最大化类间分布 ,而最小化类内分布 , 换句话说 , 对于人脸面部表情识别 FLD 移动同一类的人脸图像更近 , 而不同类的人脸图像移的越远。 设训练样本集共有 N 个训练样本 ,分为 c类 , 每一类的均值为 ： 总均值为： 第 i 类样本的离散度矩阵为 :  Nxx ,...1  c ,...1ikxkii xN 1 Nkkkx1  ikxiki xxSik 总类内离散度矩阵： 类间离散度矩阵 : 离散度矩阵： 求下列两两正交的矩阵： 是 SB与 SW的广义特征值相对应的广义特征向量 ， 即： 由于最多只有 c1个非零广义特征值，因此 m的最大值为 c1     iiCiiBS1BwT SSS ],...[m axa r g 1 mWTBTopt wwWSWWSWW miwSwS iwiiB ,...1,   Ciiiw SS1Fisher线性判别的改进： T＋ PCA+FLD T：指的是离散度矩阵的替换。 利用矩阵分块技术 ,令 在矩阵 是对称矩阵的条件下 ,分别用 和 来代替 和 后并不影响 Fisher准则函数的取值 ， 然而 和 均为分块对角矩阵 , 这样替换后 , 计算量将大幅度下降。 22211211BBBBB SSSSS22211211WWWWW SSSSS 21WWW 221139。 221139。 00,00WWWBBB SSSSSS WSW WSWWTBT39。 39。  1212 WB SS  39。 BS39。 WS BSWS39。 BS 39。 WS PCA+FLD策略，将训练样本的人脸图像向量投影到一个较低维的空间以至于类内分布矩阵为非奇异的。 可以通过 PCA 将特征空间降为 Nc维 ,然后通过标准的 FLD 将维数降为 c1。 通过 PCA将人脸图像投影到 Nc维特征空间： 通过标准的 FLD将维数降为 c1： WSWW TTpc a m a xa r g kTp c ak xWZ WWSWWWWSWWWp c aWTp c aTp c aBTp c aTfld 39。 39。 m a xa r gkfldk ZWy 基于 Fisher线性判别的面部表情识别流程。 主要包括几何归一化和灰度归一化。 2. 读入人脸库。 读入每一个二维的人脸图像数据并转化为一维的向量 ， 对于一个表情的人脸图像 ， 选择一定数量的图像构成训练集 ， 其余的构成测试集 ， 假定图像的大小是 w*h （ w和 h分别维图像的宽度和高度 ） ， 用于训练的人脸个数是 ，n1测试的图像个数是 n2， 令 m=w*h， 则训练集是一个 m*n1的矩阵 ， 测试集是 m*n2的矩阵。 第 i幅人脸可以表示为： 、总均值和类间离散度矩阵，同时求类内离散度矩阵 和总离散度矩阵。 ,得到 和 的替换矩阵 和。 为 KL变换生成矩阵 ， 进行 KL变换。  Timiii xxxx , 21 39。 BS 39。 WSBSBSWS 的特征值和特征向量 ， 构造特征子空间。 首先把特征值从大到小进行排序 ， 同时 ，其对应的特征向量的顺序也作相应的调整。 然后选取其中一部分构造特征子空间。 在耶鲁大学 Yale face数据库上我们用 m=Nc=52维特征向量构造特征子空间。 在 JAFFE上我们用 mNc=76维特征向量构造特征子空间 ， 其中 N为训练样本数目 ， c为类别数。 征子空间中。 每一幅人脸图像投影到特征子空间以后 ， 就对应于子空间中的一个点。 同样 ， 子空间中的任一点也对应于一幅图像。 替换矩阵 和 替换 和 进行 FLD。 得到表征面部表情的特征向量。 . 39。 BS 39。 WS BSWS实验结果 Yale Face 数据库 日本女性表情数据库 表情类型 实验结果 Happy 80% Normal 80% Sad % Surprised % 表情类型 识别结果 Happy % Normal 80% Sad % Surprised % 论文主要工作 1. 介绍了信息融合在面部表情识别应用的三个层次模型 2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一起，提出基于基于 SVM的多特征多分类器融合的面部表情识别 4. 将径向基函数神经网络用于面部表情特征的融合上，提出基于 RBF网络的多特征融合的面部表情识别 基于基于 SVM的多特征多。