新型光学透射式头盔的标定方法研究(编辑修改稿)

新型光学透射式头盔的标定方法研究(编辑修改稿)内容摘要：

法和步骤。 1992 年，Deering 为获得亚像素级虚拟物体注册提出通用的标定步骤来实现精确的高分辨率头部跟踪立体显示 [19]。 1993 年和 1994 年， Janin 和 Azuma 等分别提出了提高光学透射式头盔的标定精度的标定技巧 [20] [21]。 1999 年， Kato 和 Billinghurst 描写了使用网格点方法交互式标定光学透射式头盔[22]。 Fuhrmann 等提出一个简单快速的 OSTHMD 标定方法 [23]。 McGarrity and Tuceryan 等提出了介绍了一种动态交互式标定光学透视式增强现实系统的方法 [24]，在这种方法中用户可以交互地调节摄像机参数直至标定模型与实际标定模型的图像 在人眼中达到图像匹配为止，在该标定系统的硬件组成和坐标变换关系如下图所示。 （ a） 标定系统的硬件组成 （ b）标定系统的坐标变换关系 图 标定系统的硬件组成和坐标变换关系 在标定系统的硬件组成中，除了要有头盔式显示器外，还包括工作站、工作站监视器、六自由度跟踪器等设备。 工作 站产生的图像除了要显示在工作站的监视器上外还要通过 VGA 线传输到头盔式显示器中。 同时，还需要有六自由度的跟踪器实时的为工作站提供被跟踪物体的三维位置和方位，这里的被跟踪物体指的是头盔式显示器和一个三维位置指示 笔。 在标定过程中，在定义好世界坐标系后，需要按照以下步骤进行标定 [24]： （ 1）摄像机标定（变换矩阵 A 和摄像机内部参数）； （ 2）三维位置指示笔的标定（变换矩阵 G3）； （ 3）跟踪器发射部分的标定（变换矩阵 C）； （ 4）物体标定（变换矩阵 E）； （ 5）被跟踪标志点的标定（每个被跟踪物体上都有自己的标志 点， Gi）。 其中， A 是描述相对于世界坐标系的 3*4 摄像机投影矩阵。 它允许用户自由活动头部，头部的运动可以由安装在头部的跟踪接收器来捕获，系统可通过矩阵 F1 的变化来更新图像。 跟踪发射器的标定是计算世界坐标系中跟踪器发射部分的位置和姿态（ 矩阵 C，即世界坐标系到跟踪器的 4*4 齐次变换 ）， 该矩阵是可由计算 D、 G F3 的乘积而间接获得。 同样，变换矩阵 A 可以间接从计算 G F C 三者的乘积而获得。 在 上述标定方法的 基础上， Tuceryan 和 Navab 又 对系统的标定做了简化， 克服了上述标定系统估计参数多、 交互繁琐的缺点，提出了新的标定方法 —— 单点主动对准法（ SPAAM 法），该标定方法最大的特点是采用单个校准点进行标定并允许用户头部自由运动 [25]。 系统的坐标转换如 下 图所示。 北京理工大学硕 士学位论文 9 图 SPAAM 标定系统的坐标变换关系 该系统中 ，矩阵 A和 C 的意义基本不变， G 是相对于跟踪标志点的 3*4 摄像机投影矩阵， F 是跟踪器发射部分与跟踪接收部分之间的变换矩阵，可由跟踪系统直接得出。 该系统需要进行 以下标定： （ 1）摄像机标定（变换矩阵 A 和摄像机内部参数） ； （ 2）跟踪器发射部分的标定（变换矩阵 C） ； （ 3）跟踪标志点（固定在被跟踪物体，即头盔显示器上）的标定（变换矩阵 G）。 其中，变换矩阵 A 是随着头盔显示器的运动不断变化的。 在头部不断运动的过程中，变换矩阵 G和 C 是不变的，但是变换矩阵 F 是随头盔显示器的运动而变化，所以在标定好变换矩阵 G 和 C 后， 就可以通过求 F的变化直接得出变换矩阵 A。 SPAAM 标定系统的坐标变换关系可以表示为：变换矩阵 A 可以由矩阵 G、 F、 C 的乘积得出。 之后， Genc 和 Tuceryan 等人在 SPAAM 基础上进一步提出了基于视频光学跟踪器的 SPAAM 方法[26]。 与之前 的 SPAAM 方法不同的是 ，它使用的跟踪器是固定在头盔显示器上的摄像机。 由于采用了跟踪摄像机取代了之前的电磁跟踪器，并且与头盔显示器紧连在一起，所以不需要计算电磁跟踪器的发射部分到接收部分的变换，即不需要计算变换矩阵 F。 此外，跟踪跟踪摄像机的方位代表了用户头部的方位，保证了标定过程中用户的头部是可以变动的，无需保持静止。 2020 年， Genc 和 Tuceryan 等人又提出了扩展的 SPAAM 双步骤方法 [27]。 首先用 SPAAM 方法执行光学透射式头盔的离线校准。 估计出射影矩阵的 11 个参数，这些参数中有一部分参数是固定的，在用 户的头或头盔显示器改变移动的时候这一部分参数并不改变。 然后，当移动用户头上的头盔式显示器或者当不同的用户戴上头盔式显示器时，可以用更简单的步骤和通过收集更少的数据点对应来重新估计受影响的参数。 本文使用的增强现实系统如下图所示。 图 SPAAM 双步骤法采用的标定系统 同年， Hong Hua 等使用手工匹配对应点的方式（ MCM）标定 HMPD[28]。 文中采用了一个 MCM校准装置 ， 校准标靶是一个绘制在折反射屏幕上的 网格模式， 校准任务是去移动一个透过 HMPD的叉丝，使它与网格上的交叉点对准，记录对应 叉丝的像素坐标。 操作者通过将自己的眼睛放在HMPD 的出 瞳位置进行观察和校准，或者在出瞳位置放置一个摄像机进行观察校准。 HMPD 标定的示意图如下图所示。 北京理工大学硕 士学位论文 10 图 HMPD 标定示意图 2020 年， Chunyu 等提出 了一个自动匹配对应方法（ ACM）标定 HMPD[29]， 使用传统的基于图像的测量方法，用一个标定过的摄像机代替人眼，让 标定过的 摄像机直接 拍摄 网格图像网格点，推导出观察设备的内部参数和外部参数。 2020年， Owen 等则在 Hong 和 Chunyu 标定方法基础上提出了一个新的双步骤方法标定 OSTHMD[30]， 所使用的标定装置如 下图 所示。 图 Owen 的双步骤方法标定 OSTHMD 系统图 2020 年， Axholt 等人对 SPAAM 中标定点的选取方式进行了详细的讨论 [31]，本文中采用了PhaseSpace 作为捕捉系统捕捉头部位置，采用的头盔式显示器为 Kaiser ProView 50ST，观察者所处的地方放置标尺来对观察者的位置进行测量，整个装置如下图所示。 图 Axholt 的标定 OSTHMD 的系统装置图 Axholt 等人做了大量的实验，并详细的讨论了不同的标志点的选取方式对标定结果带来的影响。 他把标定点的选取划分为三种： Static 、 Sequential 和 Magic 的方式，分别如下图从上到下所示，实验证明按照 Magic 的方式选取标志点位置进行标定的结果是最为准确的。 北京理工大学硕 士学位论文 11 图 标定过程中点的选取方式 光学透射式头盔标定的数学模型 一般情况下，光学透射式头盔标定系统由以下部分组成：标定标靶、头部跟踪器、光学透射式头盔以及人眼。 在以 摄像机作为跟踪器构成的头盔标定系统中，有虚实图像这两个 成像过程。 以下数学模型的讨论均是基于以摄像机为跟踪器的头盔系统。 虚拟图像的成像过程如下，计算机首先生成虚拟图像经过 VGA 视频传输通道显示在光学透射式头盔的显示屏幕，然后经过光学透射式头盔的光学系统成像到用户的观察平面上。 真实图像的成像过程如下， 当人眼观察真实场景时，真实场景中的被观察物体直接透射经过头盔的光学系统成像在头盔的观察像平面上。 如果人眼能够精确地位于头盔的光学系统的出瞳位置，那么这两个成像过程的像就能够在头盔系统的观察像平面上达到精确对准 [32]。 在标定系统中，每一个组成部分都有一个独立的坐标系。 要对光学透视式头盔显示器进行标定，实际上就是建立各个坐标系之间的关系。 世界坐标系为 ( , , )wF x y z ， 光学透射式头盔头部绑定的摄像机对应摄像机坐标系 ( , , )tF x y z ，摄像机的成像平面对应一个摄像机图像坐标系 ( , )tiFuv。 头盔系统的显示屏幕对应显示屏幕坐标系 ( , )dF uv。 头盔系统的半反半透观察像平面对应观察像平面坐标系 ( , , )diF x y z。 人眼与光学透射式头盔构成了一个综合成像系统，将这个成像系统称为虚拟摄像机系统，它对应一个虚拟摄像机坐标系 ( , , )vF x y z ，而人眼对应人眼坐标系 ( , , )eF x y z。 这些坐标系如下图所示。 图 光学透射式头盔标定系统中的两个成像过程 在标定系统的各个坐标系之间，存在刚体变换和透视变换，刚体变换描述了 3D 空间中坐标系之间的变换关系，用 T 表示，后者描述摄像机的 3D2D 成像关系，用 P 表。