android移动终端的手势识别与控制系统毕业论文(编辑修改稿)

android移动终端的手势识别与控制系统毕业论文(编辑修改稿)内容摘要：

个顺水推舟的事。 用手指的形态来进行标记和识别， 从而达到控制的目的。 手势的直观性和强大的语义使得人机交互变得尤为轻松。 但由于识别的性能有待提高，目前还未得到很广泛的应用。 11 2 现状及作品介绍 现状 根据设备采集数据资料的不同，目前的手势识别可以大体分为两种，基于数据手套的手势识别和基于视觉的手势识别。 基于数据手套的识别系统优点是识别效率高，但由于其要求使用者必须穿戴极不方便的设备，而且设备的造价不菲，所以此种识别方式不会是未来的主流。 而基于视觉的手势识别系统凭借良好的适用性以及不需要其他的硬件设备，只是通过普通的摄像头，因而成了发展的主流 （本系统就是基于视觉的识别）。 但基于是觉得手势识别由于识别度一直不高，成为了其发展的瓶颈，国内外一些相关人士一直都致力于其发展，目前效果显著。 国外的发展是比较长久的。 （ 1） 1991 年富士通实验室完成了对 46 个手势符号的识别工作。 （ 2） Davis 和 Shah 将戴在指间具有高亮标记的视觉手套的手势作为系的输入，完成了对七种手势的识别。 （ 3） Grobel 和 Assam从视频录像中提取特征，采用 HMM 技术识别 262 个孤立词，正确率达到 %。 （ 4） Stamert51 等人使用隐马尔科夫模型（ HMM）对输入 视频序 12 列中的是美国手势带有词性的 40 个词汇随机组成的句子进行了识别，其中 HMM 参数的估计采用的是 EM 算法。 系统对分离的单词和 5 个单词组成的句子进行识别，正确率高达 90%。 我国对手势识别的起步较晚，但近年来也取得了显著的成果。 （ 1） 中科院的单彩峰提出了结合均值漂移的粒子滤波（ The Mean ShiftEmbedded Particle Filter,MSEPF),通过在时序模板中引入时空轨迹，提出了时序模板轨迹概念，将跟踪得到的手势运动轨迹压缩到单幅图像中，实现了对预先定义的动态手势的识别。 （ 2） 山东 大学的徐立群等提出了一种基于颜色概率模型并 融合 运动信息进行手势跟踪的新方法，利用肤色概率查找表将图像序列转换为肤色概率分布图，用运动信息和肤色概率分布对搜索窗口进行初始化，然后对肤色概率分布图进行迭代运算，得到手势的位置和大小，从而实现了对六种孤立手势的识别。 作品介绍 （核心） 本作品是一个基于移动终端的人机交互技术，它通过识别人手的关键点，并跟踪其轨迹，通过轨迹来识别人手势的意图，从而触发事件，并在屏幕或其他显示设备上做出反馈，达到交互目的。 下面从作品的个特点做出分析： （ 1） 与现在的 pc 端手势识 别技术相比，本作品注重的是手势的关键点位置变化信息，并且将其应用在了移动终端。 众所周知，移动终端的人机交互技术发展最为迅速，新的交互技术往往能改 13 变行业发展方向。 （ 2） 从应用范围分析，全键盘由于携带不方便或占据较大空间，在移动终端很少使用了，触摸屏虽然是现在的主流，但其只能用在有介质的交互技术中，在未来的虚拟现实技术等一些无介质交互技术中还是有很大限制的，而手势操作，对介质要求不大，是可以适用在各种终端的一种新型的交互技术，本作品的核心就是微手势的应用，不仅是现在的手机，更是站在未来的角度，打造未来 移动终端 交互技术的雏形。 （ 3） 本作品强调的是微手势，即手势中的关键点及其运动轨迹组成的一套简化后的手势，其能更好的应用在移动终端，是交互变得更加简约和自然。 （ 4） 本作品的完成完全由本 人独立编码设计，未借助其他任何辅助工具，从手势的分割，边缘检测，质心、指尖检测，都是自己独立通过代码进行试验分析，其中手势的分割检测等，更是原创了一套适合处理能力不强的移动终端的方法。 （ 5）特色应用。 本作品灵感是来自谷歌眼睛。 谷歌眼睛是应用虚拟现实技术的一种未来移动终端的雏形，其显示是在一块眼镜镜片上，操作主要靠右手边镜框上的一个 触摸板。 笔者正是感觉触摸板式的人机交互已经不太适合一些已经到来的虚拟显示终端设备，而手势正好完美适用，所以才提出这种微手势的移动终端交互技术 ，应用了这种交互技术之后，许多科幻电影中的一幕不再是科幻，而且马上就会到来。 14 3 Android 平台及其 camera 框架 Android 系统是一个开放性的手机和平板的操作系统，目前的发展势头十分迅猛。 虽然 android 面世的时间不长，但目前已经发展到了巅峰，取代了 symbian 等传统手机平台，成为了目前应用 最广泛的手机等移动终端的操作系统。 android 平台构架分析 Android 系统的底层建立在 linux 系统之上，该平台由操作系统、中间层、用户界面和应用软甲四层构成，它采用一种被称为软件叠层（ software stack）的方式进行构建。 这种软件叠层技术使得层与层之间相互分离，明确各自的分工。 这种分工保证了层与 15 层之间的低耦合，当下层的层内或层外发生变化时，上层的应用程序无需任何改变。 应用程序层 Android 系统将会包含系列的核心应用程序，这些程序包括电子邮件客户端、 SMS 程序、日历 、地图、浏览器、联系人等。 这些应用程序都由 java 编写的。 应用程序框架 开发 Android 应用程序，就是面向底层的应用框架进行的。 在一定意义上， android 所有应用都是平等的，不管是系统的还是开发者的。 应用程序框架除了作为开发的基础外，也是软 16 件复用的重要手段，任何一个应用程序都可以发布他的功能模块 — 只要遵循框架的约定，那么其他应用就可以使用这个功能模块。 Android 运行时 Android 运行时由两部分组成： android 核心库集和 Dalvik虚拟机。 其中核心库提供了 java 语言核心 库所包含的大部分功能，而虚拟机负责运行 Android 程序。 Linux 内核 Android 系统建立在 Linux 之上， Linux 内核提供了安全性、内存管理、进程管理、网络协议栈和驱动模型等核心服务。 除此之外， Linux 内核也是系统硬件和软件叠层之间的抽象层。 camera 框架 Android 的 SDK 中提供了底层硬件的接口，其中包括底层的头文件、驱动、库文件，因此更方便系统的开发和移植。 Camera 工作流程： 17 Camera 的成像原 理可以简单概括如下： 景物 (SCENE)通过镜头（ LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为电信号，经过 A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（ DSP）中加工处理，再通过 IO 接口传输到 CPU 中处理，通过 DISPLAY 就可以看到图像了。 框架概况 Android 的 Camera 子系统提供一个拍照和录制视频的框架。 它将 Camera 的上层应用与 Application Framework、用户库串接起来，而正是这个用户库来与 Camera 的硬件层通信，从而实现操作camera 硬件。 框架图： 景物 Scene’ 传感器 Sensor ADC DSP SD card 18 框架代码结构 Android 的 Camera 代码主要在以下的目录中： （ 1） Camera 的 JAVA 部分 packages/apps/Camera/。 其中 是主要实现的文件。 这部分内容编译成为目标是 这个包，几个主要的类文件如下： PhotoViewer： （所有图片集）（某个 Folder 下图片列表） 19 （看某张具体图片） VideoPlayer： （所有视频集） （看某一个视频） Camera： （ Camera 取景及拍照） VideoCamera： （ VideoCamera 取景及摄像） （ 2） Camera 的 framework 供上层应用调用的部分 base/core/java/android/hardware/ 这部分目标是 （ 3） Camera 的 JNI 部分 frameworks/base/core/jni/ 这部分内容编译成为目标是。 （ 4） Camera UI 库部分 frameworks/base/libs/ui/camera 这部分的内容被编译成库。 （ 5） Camera 服务部分 frameworks/base/camera/libcameraservice/ 这部分内容被编译成库。 （ 6） Camera HAL 层部分 hardware/msm7k/libcamera 或 vendor/q/androidopen/libcamera2 为了实现一个具体功能的 Camera，在 HAL 层需要一个硬件相关的 Camera 库（例如通过调用 video for linux 驱 动程序和 Jpeg 编 20 码程序实现或者直接用各个 chip 厂商实现的私有库来实现，比如Qualm 实现的 和 ），实现CameraHardwareInterface 规定的接口，来调用相关的库，驱动相关的 driver，实现对 camera 硬件的操作。 这个库将被 Camera 的服务库 调用。 4 手势分割策略 所谓手势分割，后就是将对识别有用的区域从摄像机得。