多用户笔输入系统中笔的轨迹区分(编辑修改稿)

多用户笔输入系统中笔的轨迹区分(编辑修改稿)内容摘要：

强，在各个方向上都能实现良好接收，很适合用在交互笔的信号传送上。 系统得到交互笔的接触信号后 ， 需要把这个信号同交互笔的坐标信息结合起 来才能实现轨迹的区分。 但是 SMART Board 的定位速度很快 ， 每秒钟能够生成 上百个交互笔坐标，交互笔的接触信号不可能也以这么高的频 率发送给系统。 即使能够实现这么高频率的信号发送，要保证交互笔的每个坐标信号和接触信 号同步也是一件非常困难的事情。 因此只能在每次书写时发送一次接触信号。 同时由于无线电通讯信道独享，两支笔同时发送无线电信号时会产生冲突，使 接收端无法收到信号，所以交互笔的接触信号只能在交互笔接触板面的一瞬间 发送，其他时间不发送，把冲突的可能性降到最低。 每条轨迹的第一个坐标点 和接触信号绑定后，接下来产生的新的坐标点需要根据与前面坐标点的关系进 行分类，就可以实现轨迹的区分。 新坐标点分类的方法可以采用简单的最邻近 距离法 ， 从 SMART Board 得到一个坐标点后比较与当前正在编辑的轨迹的距离， 离哪条轨迹近就把该坐标点归类到那条轨迹。 至此就可以完成在 SMART Board 基础上的轨迹区分。 模拟实现 SMART Board 的双笔定位 SMART Board 采用摄像头定位技术能够实现两支笔的同时定位，但是当三 第 3 页 清华大学综合论文训练 支或三支以上笔同时书写时，系统就不能正 确 提供各笔的坐标。 由 于 SMART board 的图像处理 、 物体定位功能完全由硬件完成 ， 提供给上层应用程 序的只是 定位以后的坐标，要从软件编程上改进来支持更多的笔是不可能实现的。 如果 要改进 SMART Board 以支持更多的交互笔同时书写，就需要从底层原理着手， 在图像处理等方面进行改进，为此首先要能够模拟实现 SMART Board 的功能。 另外双摄像头定位技术本身就是一项非常值得研究的课题，如果能够实现，就 可以应用于更加广泛的场合，如室内物体定位等。 要摸拟实现 SMART Board 双笔定位的基础服务 ， 首先要实现一支笔的定位。 一支笔定位过程中要解决图像处理 、 触摸屏物理坐标和显示器逻辑坐标的 转换、 摄像机标定等问题。 这部分不是本文的工作，而是由另一名合作者完成。 本文的工作建立在一支笔已经能够实现定位的基础上 ， 通过一定的算法改进 实现双笔定位。 由于两支笔同时书写时，从摄像头的图像中看起来两支笔是完 全一样的，如果没有任何先验知识就无法区分，要实现两支笔的同时定位就需 要如下的前提条件： (1)最多允许两支笔同时书写。 (2)书写中两支交互笔不能够 距离不能太近。 (3)一支笔到两支笔的转变的瞬间，两支笔和任意一个摄像头都 不能在一条直线上。 (4)双笔同时书写时，落笔不能完全同时，先后要大于一定 的 时间间隔。 这个时间间隔由摄像头的刷新频率确定，就是摄像头取两帧图像 的时间间隔。 本文实验中采用的摄像头的刷新频率为 30Hz，也就是书写时两支 笔不能在 1/30 秒内先后落笔 ， 如果摄像头的刷新频率提高 ， 时间间隔就会变短， 用户就不会感到书写使用有所限制。 落笔上的先后顺序，就可以获得一定的先 验知识。 每次双笔交互的过程都是从一支笔书写到两支笔书写的过程，这就是 一个先验知识。 一支笔书写时，系统可以给出定位坐标，当由一支笔变成两支 笔同时书写时，系统可以根据前面的轨迹先判断出前一支笔的坐标，然后图像 中剩下的 就是新加入的交互笔的坐标，这样就可以同时得到两支笔的坐标，接 着就可以根据两支笔的前一次坐标判断下一次坐标位置 ， 并从图像中检测出来。 从前一次坐标判断下一次坐标位置 ， 需要使用一定的预测方法 ， 本文采用的 是卡尔曼滤波的预测算法。 为每条轨迹建立一个卡尔曼滤波器，每次轨迹添加 当前坐标点后，滤波器就预测下一点在图像中可能出现的区域，当新的图像到 第 4 页 清华大学综合论文训练 达时就在这个区域内查找物体，如果找到物体，就可以得到新的坐标点，如果 没有找到物体就认为这支交互笔完成一次书写过程离开了书 写板面。 当然由于交互笔没有在图像上提供可以识别的标志 ， 要做到不出任何错误同 时定位两支笔坐标是不可能实现的，无论采用什么算法都无法避免出错。 如极 限情况，两支交互笔距离足够近，在摄像头上成的像互相之间有交叉的话，系 统就不可能区分出两支笔。 另外两支笔同时书写时，遮挡问题也会影响定位的 准确性，两支笔和摄像头三者呈一条线的时候，定位也会出问题。 因而我们要 做的是寻找好的算法尽量减少错误的产生。 论文的组织 在本文的引言中介绍了论文的研究背景 ， 并简要介绍了论文的研究内容和研 究方法。 在以后的各 章中，首先介绍一下几种常见触摸技术、 SMART Board 设 备和 DViT 技术；接着介绍在 SMART Board 基础上实现双笔轨迹的区分及模拟 实现 SMART Board 的双笔定位基础服务 ； 最后进行总结得出结论。 具体的章节 安排如下： 第二章首先介绍了常见的触摸技术的原理和存在的缺陷 ， 接着介绍本文实验 的平台 — — SMART Board，并详细介绍了它的基本原理和软件接口，然后具体 介绍 SMART Board 所采用的 DViT 技术的基本原理，最后介绍一种目前已经实 现双笔轨迹区分的触摸 系统 —— DiamondTouch。 第三章和后面的第四章包括了本文主要实现的工作。 其中第三章主要介绍基 于 SMART Board 的双笔轨迹区分 ， 讲述了基本的实现原理 ， 从供电模块 、 无线 传输模块、发送控制模块、单片机固件编程 、 USB 信号接收模块等五个部分详 细介绍了硬件电路设计，最后介绍软件设计。 第四章主要介绍如何使用两个摄像头模拟实现 SMART Board 的双笔定位功 能，首先详细介绍双摄像头物体定位的原理，其中包括图像处理、物体检测和 一系列的坐标变换。 接着介绍双笔定位中需要使用的卡尔曼滤 波器的基本原理， 然后根据滤波基本原理建立实际使用的模型，最后介绍用这个模型实现双笔定 第 5 页 清华大学综合论文训练 位的过程。 第五章是对本文的总结和展望 ， 其中着重分析了现有工作中的一些问题和缺 陷，提出一些可行的改进方案或是改进方向。 第 6 页 清华大学综合论文训练 第二章 相关研究 普通触摸屏技术 随着多媒体信息查询的与日俱增 ， 人们越来越多地 接触到触摸屏 ， 因为触摸 屏作为一种最新的电脑输入设备，它是目前最简单、方便、自然而且实用的输 入设备，触摸屏具有坚固耐用、反应速度快、节省空间、易于交流等许多优点。 利用这种技术，用户只要用手指轻轻地指碰计算机显示屏上的图符或文字就能 实现对主机操作，从而使人机交互更为直截了当，极大方便了那些不懂电脑操 作的用户。 这种人机交互方式，赋予了多媒体以崭新的面貌，是极富吸引力的 全新多媒体交互设备。 触摸屏的基本原理 为了操作上的方便 ， 人们用触摸屏来代替鼠标或键盘。 工作时 ， 人们必须首 先用手指或其 它物体触摸安装在显示器前端的触摸屏，然后系统根据手指触摸 的图标或菜单位置来定位选择信息输入。 触摸屏由触摸检测部件和触摸屏控制 器组成；触摸检测部件安装在显示器屏幕前面，用于检测用户触摸位置，接收 后送触摸屏控制器；而触摸屏控制器的主要作用是从触摸点检测装置上接收触 摸信息 ， 并将它转换成触点坐标 ， 再送给 CPU， 它同时能接收 CPU 发来的命令 并加以执行。 触摸屏有三个基本特征： 1．透明。 它直接影响到触摸屏的视觉效果。 透明至少应该包括四个特性 ： 透明度、 色彩失真度 、 反光性和清晰度。 触摸屏通常安装在计 算机的显示表面上 ， 或 是直接作为投影设备 ， 这样会降低显示图像的质量。 触摸屏的透明性能的提 高是触摸技术发展的一大挑战。 2．绝对坐标系统。 第 7 页 清华大学综合论文训练 触摸屏是绝对坐标系统，触摸的位置与实际的定位应该相同，与鼠标这 类相对定位系统有本质的区别 ， 一次到位的绝对坐标系统更加简便直观。 绝 对坐标系统的特点是每一次定位坐标与上一次定位坐标没有关系 ， 触摸屏在 物理上是一套独立的坐标定位系统 ， 每次触摸的数据通过校准转为屏幕上的 坐标 ， 这样就要求触摸屏这套坐标不管在什么情况下 ， 同一点的 输出数据应 该是稳定的 ， 如果不稳定 ， 那么这触摸屏就不能保证绝对坐标定位。 大多数 的触摸技术都不能保证同一点触摸每一次采样数据相同 ， 这种漂移是普遍存 在的，不断减小漂移是触摸技术努力的方向。 3．检测触摸并定位。 各种触摸技术都是依靠各自的传感器来工作的 ， 甚至有的触摸屏本身就 是一套传感器。 不同的定位原理和各自所用的传感器决定了触摸屏的反应速 度 、 可靠性 、 稳定性和寿命。 触摸屏的传感方式还决定了该触摸屏能否解决 多点触摸的问题，而多点触摸在日常应用中非常常见。 常见的触摸屏技术 常见的触摸技术可 以分成两大类 ： 被动型和主动型。 被动的触摸系统不需要 特殊的触点去激活触摸表面，用户完全可以用手指或其他物体完成交互工作。 而主动的触摸系统则需要特殊的装置去接触触摸表面，最常用的交互装置是特 制的电源供电的交互笔。 被动型触摸系统 由于被动式系统不需要特殊的触点装置 ， 因此这类系统的定位完全依靠板面 上的传感器实现功能。 常见的被动系统有： 1． 模拟电阻式触摸屏（ Analog Resistive AR） 电阻触摸屏的屏体部分是一块与显示器表面相匹配的多层复合薄膜 ， 由 一层玻璃或有机玻璃 作为基层 ， 表面涂有一层透明的导电层 ， 上面再盖有一 第 8 页 清华大学综合论文训练 层外表面硬化处理 、 光滑防刮的塑料层 ， 它的内表面也涂有一层透明导电层， 在两层导电层之间有许多细 小 (小于千分之一英寸 )的透明隔离点把它们隔 开绝缘。 当手指触摸屏幕时 ， 平常相互绝缘的两层导电层就在触摸点位置有了一 个接触 ， 触点位置不同可以产生不同的电压分布 ， 通过检测电压分布的情况 就可以得到触点的坐标。 电阻式触摸屏的关键在于材料技术 ， 材料的改变带 来的最明显的改变是透明性的改变 ， 但是总体上来说 ， 电阻式触摸屏由于 使 用了多层材料，光线反射损失很大，透明性能差。 电阻式触摸屏是一种对外界完全隔离的工作环境，不怕灰尘和水汽，它 可以用任何物体来触摸 ,可以用来书写绘画，比较适合工业控制领域及办公 室内有限人的使用。 2． 表面声波式触摸屏（ Surface Acoustic Wave SAW） 表面声波是一种沿介质表面传播的超声波。 表面声波式触摸屏由玻璃平 板、超声波发射和接收器组成，其中的玻璃平板只是一块纯粹的强化玻璃， 不需要任何贴膜和覆盖层，因此具有较好的透明性能。 当手指触摸屏幕时， 触点上的声波吸收或阻断 ， 超声波 接收器通过检测声波的强度和位置 ， 确定 坐标位置。 表面声波式触摸屏对原显示器的清晰度影响比较小，分辨率很高，而且 经久耐用。 但是其对环境的要求也很高，容易受到灰尘、水滴的影响。 3． 电容式触摸屏（ Capacitive） 电容式触摸屏的构造主要是在玻璃屏幕上镀一层透明的薄膜体层 ， 再在 导体层外加上一块保护玻璃 ， 双玻璃设计能彻底保护导体层及感应器。 电容 式触摸屏在触摸屏四个角上安装电 极 ，在导电体内形成一个低电压交流电 场。 当手指触摸在金属层上时，由于人体电场，用户和触控屏表面形成以一 个耦合电容 ， 触点的 电容就会发生变化 ， 使得与之相连的振荡器频率发生变 第 9 页 清华大学综合论文训练 化 ， 通过测量频率变化可以确定触摸位置获得信息。 由于电容随温度 、 湿度 或接地情况的不同而变化 ， 所以稳定性较差 ， 往往会产生漂移现象 ， 而且要 求触摸的设备必须是导体。 4． 红外线式触摸屏（ Infrared Light－ Emitting Diode） 红外触摸屏以光束阻断技术为基本原理 ， 不需要在原来的显示器表面覆 盖任何材料 ， 而是在显示屏幕的四周安放一个框架。 框架上面的两个对边上， 一边安装发光二极管（ LED） ，另一边安 装红外线探测器，这样就在显示屏 幕的表面形成了一个由红外线组成的栅格。 当有任何物体进入这个栅格的时。