基于单目手势识别交互系统_毕业设计论文(编辑修改稿)

基于单目手势识别交互系统_毕业设计论文(编辑修改稿)内容摘要：

..................... 32 7 手势识别的综合测试 ........................................................................................................ 34 结论 .......................................................................................................................................... 36 总结 ................................................................................................................................... 36 展望与改进 ....................................................................................................................... 36 参考文献 .................................................................................................................................. 38 致谢 .......................................................................................................................................... 39 1 1 绪论 手势 识别交互 的背景 随着 整个社会 逐步的信息 化 ， 带给了 我们 一种新的交互方式 ——人机交互(humanputer interaction)。 而这一 交互活动越来越成为人们日常生活的一个重要 内容。 近几年来，随着计算机技术的 逐渐发展，出现了一些符合人的习惯的 人机交互技术，如 头部 跟踪、 人脸识别 、表情识别、唇读 、 体 势识别以及 手 势识别等等 [1]，并逐步向以人为本的方向迈进。 其中，手势的检测和识别技术作为一种新型的方式，是这些交互技术当中倍受重视的研究和应用 的 技术之一。 手势是一种 有着自然性、简洁性和直接性的一种 人机交互手段。 [1]如果能只用 人手作为计算机的输入设备， 那么 我们就无需学习 其他繁重的硬件设备 的操作 ， 仅需根据人们的习惯，确定一些适当 的手势 ， 即可用简单的方式 控制 机器。 而手势是人的一种很常用的 交流方式。 像 人可以 用手指的 方向 来表示 物体的位置 ，用挥手来表示 过来 或再见，用一定的手势表示数字等等 [2]。 近几年来 ， 已经有相当一部分的 应用 采用了这种 手势识别 的方式 作为 跟机器交互的手段。 受到了世界各个国家的科研机构和科技企业的重视与青睐，如 IEEE 自 1995 年起召开的人脸与姿势自动检测年会 FG(IEEE Conference on Automatic Face and Gesture Recognition)以促进包括手势检测识别技术在内的技术交流与发展。 [2] 图 手势识别 应用 2 手势 及识别方 式 的分类 手势 (gesture)本身具有 多义性 和 多样性 ， 由于领域、 文化背景 等的不同， 对手势的定义 也会不同。 这里把手势定义为：手势是人手产生的各种姿势和动作， 手势和姿势(posture)的主要区别在于姿势更为强调身体的 总体 形态而手势更强调手 的细节。 [1] 手势按 时间关系 可分为 静态手势 (指姿态， 又称 手形 )和动态手势 (指动作，由一系列姿态组成 )。 静态手势对应 时 间 上 的一个点，而动态手势对应着 一段时间内 的一条轨迹，需要使用随时 间 变化的空间特征来表述 [3]。 动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。 按手势目的又可以分为 操控手势和交际手势 [10]。 在人机交互系统中，操控手势的一种典型应用就是在二维和三维的虚拟环境中来操控物体。 交流手势主要是指在自然环境中伴随人们自然对话的自由形式手势。 手势相对于语言来说是一种表达人们想法的单独的 补充模式。 在对话中与手势相关联的信息是一种语句的时间和空间结构，可以用机器来提取它们 [11]。 手势的识别方 式 可分为 利用机械装置的识别 和 基于计算机视觉的识别。 机械装置 ， 如 数据手套是 虚拟现实中重要组成部分 ， 可以将手指的复杂 的三维位置和 动作 利用附着的感应器传到 到 计算机当 中去。 然后可以重新呈 现手部动作。 数据手套传感 的识别方法的技术 关键是手套能不能将手指、手掌、手腕的弯曲真实的以数据形势反演到系统数据库中，让系统根据模型对手势进行有效识别。 由于手部软组织和计算复杂性，数据手套的计算速度总是存在延时，同时从人机交互 的角度手套佩戴也十分不方便。 如果多人使用还存在卫生等问题 [4]，再加上这些传感器昂贵的价格 ，因此数据手套等机械 识别的方式 在推广上 会 受到很 多 的障碍。 近些年来，基于计算机视觉 的 识别 方法提供了一种成本较低的 能减少用户限制的 手势 识别 的方法，这种方法也是本 系统的主攻方向。 在基于计算机视觉的 识别 方 式 中，通常的做法就是把手势识别问题看成模式识别问题来对待。 通过 摄像头等设备 来获取图像或视频，再把它们分解成特征集，然后用这些特征集与预先定义好的模式进行匹配。 基于计算机视觉的手势识别技术需要解决的问题 无论是利用 数据手套还是用手部粘贴高亮标签使作为输入设备会给使用者带来不 3 舒适感如出汗等，且设备价格昂贵，难以推广。 在上述研究的基础上，研究者渐渐把研究的重心转移到的不佩戴手套或不粘贴设备的自然手识别检测技术之上，以追求使用者更舒适的体验，其中从计算机视觉的研究方式入手是当前比较主流的研究方向，然而 实现起来 难度更大。 首先是要做到的是从背景中将手分割出来，通常会用肤色分割的方法基于皮肤的色调将不同于周围背景手的区域分离出来．但是会受到光线等因素干扰，分离出手后需要用合适的模型对手的动作建模。 之后从模型中估算出参数，根据估 算出的参数对手势进行分类，得出结论。 由于在数据采集时容易受到背景干扰，往往要求背景颜色和手的颜色有较好的区分度。 [4] 其次 人 体 由多个部分组成，其中手指往往包 含丰富的信息，而头和手臂所以及人手本身因光滑而产生的大量阴影等 信息则大多为冗余信息，故如何将有用的信息与冗余的信息分离也是提高手势识别能力的关键。 再次 ，人手是弹性物体，同样的手势 的表现效果可能差别很大 [5]，并且 同样的用 户者要重复做出完全相同的手势 也 是不可能的 ，如何降低甚至消除这个因素的影响对整个识别的准确率也有一定影响。 最后 ，手势往往具有复杂、多 重的含义，单一的方法很难准确地解读人手的具体内涵进而实现最终的识别，故需要综合多种方法。 [6] 针对上 面提到的多种 难 题 ，不同的研究 和开发 人员 提出了 许多种不一样 的方案。 综合以上， 本文将提出一种能适应 各种 摄像头的，能抵抗一定干扰信息的一种 基于计算机视觉 的 进行 手势识别解决方案。 本程序 主要实现的 功能 （ 1） 实现对摄像头的发现和选取，与对每一帧图像的采集和缩放。 （ 2）实现 对 图像的清晰化，包括点状噪声的去除 、细节的还原以及之后整体的锐化。 （ 3）实现 对背景信息的剔除，包括 对 肤色的提取 和分割， 对阴影和高光区域 的扩散和对一些孤立点的剔除。 4。