基于kinect的人机交互系统设计毕业设计论文(编辑修改稿)

基于kinect的人机交互系统设计毕业设计论文(编辑修改稿)内容摘要：

了结合手势识别与增强现实技术的教育辅助系统的设想并进行了实现 [7]。 （ 2）利用 Kinect 深度传感器所获取的图像深度信息实现手部从背景中的分割 ， 并通过在 Hu矩基础上加入 3 个表达式 ， 使不变矩包含更多细节特征 ， 对手势目标进行识别 ， 最后把得到的识别结果转换成控制指令通过 AdHoc 网络传送给智能轮椅 ,实现运动控制 [8]。 （ 3）利用 Kinect 体感设备 ,可将其即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能整合到视频会议中 ， 使视频会议更具可交互性 ， 提供了更好的用户体验 ， 并提高了视频会议的整体性能 [9]。 （ 4）一种基于 Kinect 传感器的快速物体重建方法 ， 以及基于该方法的一种图形处理器 (Graphic processing unit, GPU) 原型系统实现 [10]。 （ 5） 基于 Kinect 的用于幼儿教育的手势识别功能模块，用 OpenCV 中的支持向量机识别每个特征向量的手势类别 [11]。 （ 6）通过分析 Kinect 相机获取的深度图的特征 ， 提出以综合点特征和梯度特征的局域梯度特征的方式来对人体部位区分判定 [12]。 （ 7） 随着 Kinect 设别的出现 ， 获取场景的 信息变得很容易。 设计了一个全新的基于无监督物体识别系统 [13]。 （ 8） 基于微软 Kinect 系统的单目 RGB 摄像机以及深度距离受限的 RGBD 像机 ， 研究解决室内机器人的 6 自由度定位问题 [14]。 （ 9）基于 Kinect 的多点触控系统，该系统利用 Kinect 获取三维深度信息 ， 通过建立触控感应平面模型 ， 检测用户多点触控事件 ， 并进行触控点的坐标变换 ， 实现 对电脑的控制 [15]。 （ 10） 利用微软公司推出的深度相机 Kinect 对人体进行扫描，获取人体深度数据，进一步构建人体表面点云数据；再运用 Pro/E 软件对点云数据进行人体模型重建，最后对人体表面特征数据进行测量 [16]。 （ 11） 采用微软公司开发的一款廉价体感游戏设备 Kinect，尝试了对农作物长势形态深度图像进行实时监测研究，在介绍 Kinect 深度成像原理的基础上，提出了采用 Kinect 获取农作物长势深度图像的算法以及提取 3D 点云世界坐标的算法，并开展了初步试验 [17]。 （ 12）利用 Kinect 以及 ICP 迭代算法计算出了人体头部的旋转角度并且对人体头部的姿态进行了准确的估计，成功利用人体脸部三维点云图像估计人体头部姿态，使得在多种复杂环境天津理工大学 2020届本科毕业设 计说明书 3 中，实时检测驾驶员头部姿态成为了可能 [18]。 （ 13） 利用微软 Kinect 体感器作为人物场景采集器，将其采集到的深度数据进行处理，将人物与背景分割，去除背景深度区域，保留人物所在深度区域，进一步检测出人物 [19]。 （ 14） 利用 Kinect 传感器所获取的人体骨骼跟踪识别点，通过对手势在三维空间中的位置坐标转换，与手势库中的位置特征信息进行匹配，将合法的手势信息转换为识别 结果，反馈给电子相册软件并完成相应的控制指令输出 [20]。 需求分析 （ 1）功能需求 本设计的程序可以让使用者通过手臂动作操作俄罗斯方块、播放 PPT、控制音乐播放器、控制视频播放器。 未来还可以扩展其他基于键盘控制的程序的操作。 （ 2）界面需求 本设计需要有选择被控程序的功能，同时还要显示玩家的动作视频和动作识别结果及对应的映射结果。 （ 3）性能需求 本设计要在本身正常运行的情况下，节省资源， 保证被控程序正常运行。 由于操作俄罗斯方块时通过线程休眠防止键盘事件过于频繁，但是本程序为单线程程序，线程休眠 时主程序界面会卡死。 解决的方案是使用多线程技术，将主程序和模拟键盘操作的方法放到两个线程内，这样只休眠模拟键盘操作的线程就可以达到防止键盘事件过于频繁的目的，而且主程序也不会卡死。 天津理工大学 2020届本科毕业设 计说明书 4 第二章 认识 Kinect 作为一款集成了诸多先进视觉技术的自然交互设备， Kinect 在学术和游戏领域均有很高的关注度。 此外， Kinect 硬件的研发与生产综合了声、光、电和机械学等多方面的技术，其主要零部件近百个，拆分成最小单元后有近千个，有三块独立主板，下面就详细介绍一下。 两款 Kinect对比 图 所示为 Kinect for Xbox360 图 Kinect for Xbox360 图 所示为 Kinect for Windows 图 Kinect for Windows 天津理工大学 2020届本科毕业设 计说明书 5 从外观上看，二者几乎没有区别，只是 logo 不同，一个是 XBOX360，另一个是KINECT。 新版 Kinect for Windows 固件做了升级，支持近景模式、提升了骨骼跟踪的 API 性能、更好的兼容各种 Windows 计算机、采用更为先进的声学模型，并且将其作为微软授权在Windows平台下进行开发的 Kinect传感器。 其他方面和 Kinect for Xbox360的版本差异不 大。 Kinect for Xbox360的版本从设计之初，就是为 Xbox360定制的，并未考虑其他平台，这一版本的 Kinect，从微软授权角度而言，无法用作商业开发，只能用作教学、科研或者实验。 本设计就是基于 Kinect for Xbox360 的。 Kinect的硬件组成 图 拆解 后的 Kinect 如图 所示， Kinect 内部的确比想象中的复杂得多。 以下是 Kinect 组件的完整列表 ： a．外壳、底座及不同类型的螺丝； b． Moving Touch 传动马达电机（用于仰角控制）； c．散热风扇； 天津理工大学 2020届本科毕业设 计说明书 6 d．彩色摄像头； e．红外摄像头； f．红外投影机； g．麦克风阵列（ 4 个）； h． 3 块主板； i． 14 种关键芯片。 Kinect的 “心脏 ”——PS1080 SoC Kinect 的心脏是 PrimeSense 的 PS1080 SoC。 PS1080 SoC 芯片是一个多感应系统，能提供同步深度图像、彩色图像和音频流，如图 所示。 PS1080 通过 USB 物理层协议将所有数据传送到主机。 PS1080 适用于各种主机 CPU——所有深度获取算法均在 PS1080 上运行，主机只需运行最低限度的 USB 通信层。 通过这种设计，即使是计算能力有限的主机设备也能具备 “深度图像获取能力 ”。 图 PrimeSense 推荐的设计 天津理工大学 2020届本科毕业设 计说明书 7 Kinect的 “三只眼 ”——投影仪和两个摄像头 Kinect 有三只不对称的 “眼睛 ”，从左向右分别是红外投影机、彩色摄像头和红外摄线头，如图 所示。 图 Kinect 的 “三只眼 ” （ 1） 红外投影机 PS1080 SoC 对红外光源进行 控制，以便通过红外光编码影像放映场景。 红外投影机的光源是一类普通激光光源，经过磨砂玻璃和红外滤光片，投射出近红外光，该光波长为830nm，可持续输出，符合 IEC 608251 标准中的一级安全要求。 红外摄像头是一个标准CMOS 影像传感器，负责接收放出的红外光，并将红外光编码影像传给 PS1080。 PS1080 负责处理红外影像，然后逐帧生成准确的场景深度影像。 （ 2） 彩色摄像头和红外摄像头 Kinect 是通过彩色摄像头和红外摄像头来观察这个世界的。 为了生成更准确的传感器信息， PS1080 会执行 “PrimeSense 注册过程 ”。 为了让深度影像和二维标准色彩影像相互对应，必须进行注册。 注册就是将色彩影像和深度影像进行对应，产生像素相互对应的影像，即色彩影像中的每个像素分别与深度影像中的一个像素对应。 这能让应用程序准确了解收到的色彩影像中每个像素的深度。 所有传感器信息（深度影像、色彩影像和音频）通过一个 USB 天津理工大学 2020届本科毕业设 计说明书 8 接口传送给主机，且时序一丝不差。 通过 Kinect SDK 可以获得同步的深度图像和彩色图像数据流。 在图 中，从左向右，分别是 Microsoft / X853750001 / VCA379C7130 红外摄 像头、VNA38209015 彩色摄像头、 OG12 / 0956 / D306 / JG05A 红外投影机。 图 Kinect 的 “三只眼睛 ” Kinect的 “四只耳朵 ”——麦克风阵列 由于 Kinect 的 “三只眼 ”的不对称分布， Kinect 的麦克风阵列也是左右不对称的，从而保持重量分 布的均匀。 Kinect 的麦克风阵列 分布如图 所示。 天津理工大学 2020届本科毕业设 计说明书 9 图 Kinect 的麦克风阵列 Kinect 的音频系统采用了四元线性麦克风阵列技术。 一般而言，麦克风阵列中包含四个相互独立的小型麦克风，每个设备之间相距数厘米，其排列可呈线形，捕捉多声道立体声，通过数字信号处理（ DSP）等组件，根据麦克风 阵列接听声音的时间差来判断声源方向。 与一般的单麦克风数据相比， Kinect 阵列技术包含有效的噪声消除和回波抑制（ Acoustic Echo Cancellation， AEC）算法，同时采用波束成形（ Beamforming）技术，通过每个独立设备的响应时间确定音源位置，并尽可能避免环境噪声的影响。 此外， Kinect 还被设计为可以在发言者超过一人时辨别出相应的语音指令。 波束形成技术已广泛应用于雷达、声纳和通信等领域。 Kinect相关的技术规格 Kinect 传感器的有效追踪范围如表 2表 22 所示。 表 21 Kinect for Xbox360 传感器 传感器特性 有效视距 /m 色彩和深度 ～ 骨骼跟踪 ～ 天津理工大学 2020届本科毕业设 计说明书 10 表 22 Kinect for Windows 传感器 传感器特性 有效视距 /m 色彩和深度 默认模式（ ～ ），近景模式（ ～ ） 骨骼跟踪 默认模式（ ～ ），近景模式（ ～ ） Kinect for Xbox 360 的有效视野范围为 ～。 推荐最佳距离应该是 （一个玩家）和 （二个玩家）。 Kinect 传感器阵列规格如表 23 所示。 表 23 Kinect 传感器阵列规格 传感器特性 规格范围 可视角度 43176。 垂直方向和 57176。 水平方向有效视野范围 机械化倾斜范围（垂直方向） 177。 28176。 帧率（深度和彩色图像数据流） 30 帧每秒（ FPS） 深度图像（默认） QVGA（ 320240） 彩色图像（默认） VGA（ 640480） 音频格式 16kHz, 16bit 单声道（ PCM） 音频输入特性 4 个带有 24bit 的数字模拟信号（ ADC）和消除和处理噪声的麦克风阵列 Kinect工作原理 通过前面的介绍我们已经对 Kinect 硬件架构有了充分的了解，通过剖析 Kinect 的硬件组成，揭开了它神秘的面纱。 那么接下来我们重点从产品设计、原理、软件算法、基础研究等角度去分析 Kinect 的内在奥秘。 Kinect for Xbox360的产品设计 Kinect 作为一个传感器，本质上也只是一个输入设备。 它的成功来源于消费者对自然人机交互的渴望和认可，以及普通大众都能接受的价格。 比起传统摄像头，它的高明之处在于能 “识人辨音 ”。 Kinect 的设计初衷是将其嵌入 Xbox 游戏机的娱乐中心 ，给 Xbox 360 这艘 “传统潜艇 ”配备上更为先进的 “声纳系统 ”。 这是对任天堂 Wii、索尼 PS3 等老牌竞争对手一次很有威胁的进攻，微软希望通过全新的游戏交互体验来占领新的制高点。 此外， Xbox 也被定为家庭娱乐中心，占领电视机屏幕也是微软的战略之一 ——通过 Kinect 语音和手势控制等功能，让普通用户更直观、更轻易地搜索到互联网及多媒体信息，同时社区用户彼此之间还可以基于天津理工大学 2020届本科毕业设 计说明书 11 Kinect 摄像头进行视频通讯。 对微软而言， Kinect的重要性表现在两个方面：它大大延长了 Xbox 360游戏机的生命周期，并成功为它带来 了大量的新用户；同时也充分证明微软在持续创新上的巨大能量，不管是观念的前瞻性还是对新产品的执行力上。 “你就是控制器 ”—Kinect 的宣言激动人心。 没有控制器的人机交互，你甚至不用翻阅任何关于控制器的说明书。 这就是游戏设计师们的至高境界：不用控制器的沉浸式游戏（ controllerless immersion）。 通过 Kinect，玩家和 Xbox 360 游戏机之间仿佛建立了一个良好的 “共生系统 ”。 “管道 ”的系统架构 Kinect for Xbox 360是一个基于 “管道 ”的体系架构。 Kinect传感器设备提供三大类的原。