虚拟现实技术与计算机图形学

虚拟现实技术与计算机图形学内容摘要：

走出了实验室，进入实用领域。 在下一节介绍的方法 中，以及第四章讨论的绘制方法中，都将阐述有关的计算机视觉技术。 绘制流水线的比较 尽管基于图象的与基于几何的方法有显著的不同，但是这些不同主要体现在场景的表示上。 如果仔细比较其绘制过程，就能发现它们在绘制处理环节上有奇妙的相似之处，其原因主要归结于它们的结果都是对成像过程的模拟。 基于几何的图形系统没有单一的绘制模式。 总的来看可以分为两类：基元驱动(primitive driven)的或显示驱动 (display driven)的 [McMillan97]。 前者计算场景中每一元素对最终图象的贡献，后 者则对输出图象的每一样本点搜索场景中那些决定该样本值的场景元素。 图 是标准的图形绘制流水线 [Foley96]，它是基元驱动的。 场景中的元素首先被分成小平面面片；这些面片接着从几何基元所在的标准模型坐标系变换到理想的场景位置；然后根据光源和视点决定每个面片的颜色；如果面片的某部分落在观察的视域范围之内，则将面片相应顶点的三维坐标投影到视平面上；最后的图象是通过在整数网格上取样面片的内部点而得到的。 总的来看，这一流水线分为两个阶段：前一阶段处理几何基元，主要是一些三维变换，将规范的几何模型变换到理想位置；后 一阶段是在图象空间中的量化操作，将以三维顶点坐标表示的几何转换成图象空间中二维点的采样。 图 基于几何的绘制流水线 图 是一种基于图象的绘制流水线。 第一阶段同样是变换阶段。 只是这里的变换是指图象变换（ image warping），“基元”是参考图象 (reference images)中的采样点。 图象变换是在二维齐次空间内完成的，它把参考图象中的样点变换到理想的（合成图象所在的）平面坐标系。 然后以生成图象大小为窗口进行裁剪，并且将齐次坐标转换为图象坐标（这相当于几何绘制中的 投影）。 基于图象绘制的模型变换 视域变换 投影 裁剪 透视划分 光栅化设置 扫描转换 第一章 引 言 9 最后阶段是重构 (reconstructure)和重采样 (resampling)过程，与标准图形流水线中的光栅化（ rasterization）处理相对应。 第四章将会详细介绍绘制流程里每一环节的具体实现。 图 基于图象的绘制流水线 至于显示驱动的方法，主要的例子就是光线跟踪 [Appel67][Whitted80]。 它采用反向跟踪的方法寻找几何场景中对当前象素有贡献的几何。 McMillan 曾介绍了一种与光线跟踪算法结构很相似的基于图象的绘制方法 [McMillan97]。 在这节里，我们对基于几何的和基于图象的两种 VR 实现机制进行了分析和比较，它们各有不可替代的特点。 IBMR 方法从应用要求和目的上考虑更适合 VR 技术，但也很难预测它将会在多大的程度上代替传统的几何方法。 而且，鉴于二者在绘制处理上的相似之处，促使我们进一步地去思考它们的结合，我们将在第五章提出一种几何与图象混合的模型机制。 同时作为论文研究的重点，我们将在以下的章节里详细讨论基于图象的建模和绘制方法。 IBMR 的基本方法 基于图象技术的最早尝试要算电影映象系统 (moviemap system) [Lippman80]，它把几千幅图象存储在可交互的视频光盘上，这些图象可以根据视点的变换随机地显示，但是 moviemap 不能合成新的图象。 IBMR 作为一种场景表示和绘制的新方法还是近几年的事。 由于它在绘制速度和真实感上的明显优势，吸引了大批业内人士的关注。 目前已有很多文章和成果发表，提出并讨论了多种的实现方法。 总结这些方法，可以粗略地把 IBMR 方法图象变换 裁剪 透视正规化 重构核 重采样 浙江大学博士论文 10 按表示模式与视图合成方法的不同归纳为以下几类 [Xu98]：  基于立体视觉的方法  基于视图插值的方法  基于图象拼合和分层的方法  基于全视函数的 方法 在介绍这些 IBMR 方法之前，首先约定一下有关的概念。 将已知的、输入图象的有限分辨率集合称为参考图象（ reference image）。 新合成的在不同视点上的图象称为理想图象（ desired image）或合成视图 (synthesis view)，也简称新视图。 另外，将 IBMR 所能拟合的相机 /视点运动方式分为相机旋转（位置不变，方向改变）、对象旋转（方向不变，位置绕对象改变）、相机移动（位置和方向都在变化）及缩放（改变焦距）等 [Chen95]。 基于立体视觉的方法 图 基于立体和变形的视图合成 基于立体视觉的视图合成方 法主要利用立体视觉 (stereo vision)技术从已知的参考图象中合成相对于新视点的理想图象。 其关键问题是找出每对已知图象之间的对应映射 ( correspondence map)，即解决立体匹配（ stereo matching）问题。 由对应关系可导出偏差映射 (disparity map)，并能进一步估计出场景中可见点的深度信息。 利用深度信息可以对已有的图象进行变换 (warping)来合成新视点的图象。 也就是说，通过对应关系建立了一个基于图象的场景表示。 如图 所示。 这种方法将场景视图及其对应关系组成一 个图结构，图中灰色摄象机代表不同物理位置的立体对应图象变换第一章 引 言 11 参考图象，黑色摄象机代表合成视图，双向边表示邻接视图间的立体对应关系，单向边表示对参考图象所做的变换。 Leveau 和 Fangeras 描 述了 一种从 弱校正 图象 中构造 新图象 的方法[Laveau94]。 他们利用了计算机视觉中的许多新成果，例如用一特殊的投影几何结构 —— 极几何 (epipolar geometory)来约束一幅参考图象的重投影；用基本矩阵(fundamental matrix)来描述两幅参考图象间对应的 几何关系，等等。 其方法证明了新的视图可以由两幅参考图象合成，而完全不需要三维几何信息。 但该方法要靠人工选择四对对应点，而且不一定能反映明确的（无二义的）欧几里德环境。 McMillan 和 Bishop 的 PlenOptic Modeling 系统 [McMillan95]是一个基于柱面全景图象 (panoramic image)的系统。 他们利用极约束 (epipolar constraint)关系在柱面上的变化计算出相邻两个柱面全景图的偏差映射，然后依据该偏差变换已知的柱面全景，从而得到新视点的理想柱面全景图。 另外，也 可以采用多基准线 (multiple baseline)的立体算法 [Fuch94, Kanada95]。 在这种方法中，真实图象先被映射到多边形网格化了的深度图上，然后新视图可用标准图形学中的纹理映射方法生成。 还有一类基于立体视觉的方法称为模型与图象混合的方法 [Kang96, Koch95]。 这些方法利用视觉技术（如 stereo from motion）从很多参考图象对中抽取立体信息，并恢复出 3D 场景的几何结构。 Debevec。