行业分析报告：虚拟现实白皮书20xx年(编辑修改稿)

行业分析报告：虚拟现实白皮书20xx年(编辑修改稿)内容摘要：

ation 12 中国信息通信研究院 虚拟（增强）现实白皮书（ 2017 年） 13 Conflict， VAC） ， 由于双 目 视差 在产 生 3D 效果 的 同时 ， 造成双 目 焦 点调节与视觉景深不匹配， VR 头显难以如实反映类似真实世界中观 看远近 物 体的 清 晰 /模糊变化。 目前 ， 对 于产生 眩 晕感 的前 两类因 素 ， 业界已 有 上述 初步 的解决 方 案 ， 然而 ， 在现 有 量产 产品 中 ， 尚 未 有应 对 VAC 引发眩 晕 感的技术方 案 ， 发 展非固定焦 深 的 多 焦点显 示 （ Multifocal Display）、可变焦显示（ Varifocal Display）与 光场显示成为业界在近眼显示眩晕控制方面的重中之重。 AMOLED、 LCOS/OLEDoS 成为近眼显示屏幕技术的主 导路线 在 VR 显示上， AMOLED 呈现出对液晶显示的替代趋势。 这一趋势 符合全球新型显示中小尺寸市场中 AMOLED 渗透率显著上升的发展态 势 ， 预计 2020 年 全 球约有接近 50%智 能 手机采用 AMOLED 屏幕。 目 前， AMOLED 成为 Oculus Rift、 HTC VIVE、 Sony PSVR、大朋等国内外多 数主流厂商技术选择。 相比液晶显示， VR 用 AMOLED 的优势主要表现 在如下方面：响应时间比液晶显示低一个数量级，有效避免了 VR 交 互造成 的画面拖尾模糊；由于不含背光源模组， AMOLED VR 头显佩戴 相对轻便 ； 可降 低 引起视 网 膜病 变伤 害的蓝 光 辐射量 ； 在高分 辨 率与 黑色画 面 背景 等情 况下 ， 功 耗表 现优 于液晶 显 示。 另一 方面 ， 液 晶显 示的技术生命力仍然存在， JDI、京东方等显示企业已研发出响应时 间在 6 毫秒内的高分辨率、高刷新率的 VR 用液晶面板。 在 AR 显 示 上 ， 基 于 LCOS 、 OLEDoS 的 光 学 透 射 显 示 （ Optical Seethrough） 成为当 前 重 点 技术路线。 由于 具有 体积小、 高分辨率、高刷新率、光能利用率高、成本较低的特点， LCOS 成为 虚拟（增强）现实白皮书（ 2017 年） 中国信息通信研究院 14 Google Glass、 Microsoft Hololens 等代表性 AR 终端显示器件的选 择。 然 而 ， 由 于真 实世界 中 环境 光的 影响 ， 在 显示 亮度 与对比 度 上对 AR 终端提出了更高要求，为避免 “ 鬼影效果（ Ghost Effect） ” ， OLEDoS 成为弥补 LCOS 在此方 面 性能 短 板的重 要 技术 选 择 ， 代表性 AR 头显有 ODG 的 R 系列、 Epson 的 Moverio 系列等。 综上 ， 为 实 现比 较 连贯的 虚 拟现 实技 术发展 路 径 ， 分 别 考虑分阶 段目标 与 近眼 显示 、 网络传 输 、 渲 染 处理 、 感 知 交互 、 内容制 作 等关 键技术 间 的逻 辑关 系 ， 描述 如 下技 术演 进时间表。 预计 20172019 年， 实现 2K 单眼分辨率、 90Hz 刷新率屏幕的规模应用，全球主机式与一 体式 VR 用 AMOLED 渗透率将达到 95%（手机式 VR 用渗透率达 50%）， AR 用 LCOS、 OLEDoS 渗透率 将 达到 95%。 在光学 系 统方 面 ， 实现 VR 用 90 度 FOV、 20PPD 以及 AR 用 40 度 FOV 头显的规模应用，初步确保视 觉亮度 与 对比 度的 体验要 求。 预计 2020 年后 ， 实现 4K+单眼分辨 率 、 120Hz+刷新率 屏幕 的规模 应 用 ， 实现 Micro LED 等新 兴屏 幕技术 的 产 业化应用。 在光 学 系统方面 ， 实现 可 变焦深 的 多焦 、 变 焦 、 光场 显 示 的产业化 ， VR 用 120 度 FOV、 30+PPD 头显的规 模 应用 ， 在 功耗控 制 、 插黑频 率 与光 能利 用率的 影 响下 ， 持 续 提高环 境 光条 件下 的视觉 亮 度 与对比度。 中国信息通信研究院 虚拟（增强）现实白皮书（ 2017 年） 15 图 10 虚拟现实近眼显示关键技术路标 （三）感知交互技术聚焦追踪定位、环境理解与多通道 交互等热点领域 追踪定位成为 VR 与 AR 在感知交互领域的核心技术 追 踪 定 位 技 术 呈 现 由 外 向 内 的 空 间 位 姿 跟 踪 （ OutsideInPositionTracking ） 向由内 向外的空 间 位姿跟 踪 （ InsideOut） 的 发展趋 势。 从 需求 体验看 ， 相比 手机 固有的 通 信属 性 ， 感知 交 互成 为 虚拟现 实 的核 心特 质 ， 否则 虚 拟现 实 将退化 为 头戴 式电视 /手机，其中追踪定位是一切感知交互的先决条件，只有确定 了现实 位 置与 虚拟 位置的 映 射关系 ， 方才进 行 后续 诸多 交互动作 ， 目 前 InsideOut 是未来追踪定位的热门技术路线，有关总结如下。 虚拟（增强）现实白皮书（ 2017 年） 中国信息通信研究院 16 图 11 追踪定位领域两类技术路线对比总结 手部体感交互呈现由手势识别向手部姿态估计 /跟踪的发展趋势。 手势识 别 是让 静态 手型或 动 态手 势与 确定的 控 制指 令进 行映射 ， 触发 对应的 控 制指 令。 此 类交互 须 用户 提前 对手势 进 行一 定的 学习和 适 应， 因此为交互体验的提升带来较大挑战。 目前，以 MicrosoftHololens 为代表的 AR 头显广泛采用手势识别，其优势在于发展相对成熟，对 硬件器件性能要求较低，普通单目 /RGB 摄像头即可实现，问题在于 用户学 习 成本 较高 ， 且仅 能 实现 某些 特定指 令 ， 交 互效 率较低 ， 不够 自然。 手部姿态估计 /跟踪并不判断手部形态实际含义，而通过还原 手部 26 个自由度的关节点姿态信息，进一步重建整个手部骨架和轮 廓 ， 虚拟手 与现 实 世界中 双 手的 活动 保持一致 ， 用户 可 像用真 实 手操 作现实物体一样对虚拟信息进行操作，学习成本较低，可实现更多、 中国信息通信研究院 虚拟（增强）现实白皮书（ 2017 年） 17 更复杂 、 更 自然 的 交互动作 ， 主要 问 题在于 遮 挡等 条件 下的性 能 表现 尚待提升 ， 同时 由 于缺乏 必 要反馈 ， 此类手 部 体感 交互 技术还 须 持续 综合改 进 用户 体验。 目前 ， 诸多 初 创 公 司提供 基 于双 摄 /结 构光 /飞行 时间等定制化、模组化的此类解决方案，代表产品如 LeapMotion、 IntelRealSense、凌感、锋时互动等。 AR 感知交互的发展趋势侧重于基于机器视觉的环 境理解 环境理解呈现由有标识点识别向无标识点的场景分割与重建的 方向发展。 相比 VR，由于 AR 大部分视野中呈现真实场景，如何识别 和理解 现 实场 景和 物体 ， 并 将虚 拟 物 体 更为真 实 可信 的叠 加到现 实 场 景中成为 AR 感知交互的首要任务，而基于机器视觉的环境理解成为 这一领 域 的技 术焦 点。 在 AR 应用的 早 期 ， 绝大部分 AR 引 擎通过 获 取 图像中 标 识 点 （ Marker） 的特 征 信息 并 与预存 的 模板 进行 匹配 ， 来 识 别当前 Marker 的种类及位 置 信息 ， Marker 从如 ARToolkit 等有明确 边缘信 息 和规 则的 几何形 状 演进 到任 意图 像 （如 Metaio、 Vuforia 等 商业引 擎 ）， 这类 基于标 识 点的 识别 技术使 用 限制 较多 ， 应用 场 景较 为狭窄。 随着 深度 学习和 即 时定 位与 地图构 建 （ SLAM） 等识别 和 定位 重建技术的发展普及，未来的 VR/AR 将不仅局限在对特定 Marker 的 识别 ， 而 会 逐渐 拓 展到对 现 实场 景的 语义与 几 何理解。 在语义 理 解方 面， 主要任务是利用卷积神经网络（ CNN）对单帧图像或连续多帧视 频中所 出 现的 物体 和场景 进 行识 别和 分割 ， 大 致分 为分 类 、 检 测 、 语 义与物 体 分割 ， 即 确定图 像 中物 体类 别 、 大 概 位置 、 物 体基本 边 缘轮 廓以及 针 对分 割出 的同类 物 体 ， 进 一 步分割 底 层组 成部 分。 基于 深 度 虚拟（增强）现实白皮书（ 2017 年） 中国信息通信研究院 学习的 语 义理 解通 常需要 庞 大的 训练 数据集 进 行模 型训 练 ， 但 效 果显 著优于 老 旧的基于 Marker 的识别 技 术 ， 目前广 泛 用于 AR 小物体的识 别分割及跟踪。 在几何理解方面， SLAM 早期应用在机器人领域，以 出发地 点 为起 始位 置 ， 在 运 动过 程 中 通 过重复 观 测到 的地 图特征 来 定 位自身 位 置和 姿态 ， 再根据 自 身位 置 增量构 建 地图 ， 达 到同时 定 位和 地图构建的目的。 在 VR/AR 领域， SLAM 广泛用于 InsideOut 追踪定 位中 ， 此 外 ， 还可 利用 SLAM 的建图 过 程对场 景 进行 3D 重建 ， 将 之 作 为虚拟 信 息呈 现的 理想界 面。 目 前谷 歌 、 微 软 、 苹 果 等 ICT 巨头及各 类科技型初创厂商在此方面积极布局。 VR 感知交互的发展趋势侧重于多通道交互 提升 VR 用户各感官通道的一致性与沉浸体验成为感知交互领域 的重点 发 展趋 势。 多通道 交 互的 一致 性主要 表 现为 视觉 、 听觉 、 触觉 等感官 的 一致 以及 主动行 为 与动 作反 馈的一 致 ， 基 于 用 户 眩晕控 制 与 沉浸体验方面的特性要求，浸入式声场、眼球追踪、触觉反馈、语音 交互等 交 互技 术成 为虚拟 现 实刚 性需 求的趋 势 愈发 明 显。 浸入式 声 场 方面 ， 声 音 在交 互 领域的 重 要性 被广 泛重视 ， 通 过设 计 头部相 关 传递 函 数 （ HRTF） 强 化 视觉和 听 觉的 一致 性 ， 以 实 现 逼 真的 声音方 位 与远 近效果 ， 同 时模 拟 基于反射 、 遮挡 、 隔绝封闭 、 混响 回 声等声 音 氛围 的传播 路 径 ， 如 Nvidia 借鉴光线 追 踪 渲 染技术 思 路 ， 通 过 将 VR 音频 交互映射到 3D 场 景 中的物 体 上 ， 旨在 打造符 合 听觉 与声 学特性的 VR 浸入式声场。 目前，传统声学厂商如 Dolby、 DTS 以及微软、谷歌、 高通 、 Unity、 Oculus、 OSSIC 等纷纷 推 出浸入 式 声场 的软 硬件产 品。 眼球追 踪 方面 ， 之 所以备 受 业界 推崇 热 炒 ， 一 是 眼球 追 踪搭配 注 视点 渲染 ， 针 对用 户注 视点的 调 整 ， 不同 区域采 用 不同 的渲 染分辨 率 ， 从 18 中国信息通信研究院 虚拟（增强）现实白皮书（ 2017 年） 19 而降低 计 算资 源占 用 、 功耗及 GPU 成本 ， 有望 成 为移 动 端实现 高 沉浸 感 VR 体验的必要技术。 二是有望解决可引发用户眩晕的辐辏调节冲 突 ， 多 焦 显示 通过 光学设 计 实现 局部 模糊 ， 相 比之 下 ， 变焦显 示 通过 GPU 注视点渲染实现局部模糊，而这一过程有赖于眼球追踪。 因此， 多焦显示 +注视点渲染 +眼球追踪有望成为虚拟现实领域新兴的关键 技术组合。 三是可用于 VR 内容设计创新，如 FOVE、 Tobbi 企业创建 的 VR 游 戏 《 审 讯 》 、 《 SOMA》 等。 目 前 ， 代表性 的 公司 有 刚被 Apple 公司收购的 SMI、瑞典厂商 Tobbi 及国内的七鑫易维等。 触觉反馈方 面 ， 目 前 缺乏 反 馈 导 致的操 作 精度 下降 成为裸 手 交互 难以 被广泛 认 可 的重要 原 因。 从低 成本的 震 动触 觉反 馈 ， 到 高 成本 的机 械力反 馈 ， 以 及尚不 成 熟的 静电 摩擦 ， 触 觉 反馈 技 术被业 内 愈发 关注 ， 目前在 交 互 手柄上， Oculus Touch 和 Vive Controller 开展了深入工作，诸如 Go Touch 等初创公司尝试指套类等反馈方式。 综上， VR、 AR 在基础需求上存在共通之处，即现实位置坐标与 虚拟位置坐标的映射关系成为感知交互顺利进行的先。