全景图拼接系统的设计(编辑修改稿)

全景图拼接系统的设计(编辑修改稿)内容摘要：

由 Kuglin 和 Hines 提出，具有场景无关性，能够将纯粹二维平移的 图像精确的对齐。 后来， DeCastr。 和 Morandi发现用傅立 变换确定旋转对齐，就像确定平移对齐一样 [12]0 1996 年， Reddy 和Chaterji 改进了 DeCastr。 的算法，大大减少了需要转换变量的数量。 两幅图像的平移矢量可以通过它们互功率谱 (Corss Power Spectrum)的相位直接计算出来。 应用傅立叶变换进行图像的配准是图像拼接领域的研究成果，而且随着快速傅立叶变换算法的提出以及信号处理领域对傅立叶变换的成熟应用，图像拼接技术也得到了相应的发展 ， 基于区域的配准方法是在参考图像中选出一 个大小为 MXN 的窗口，该窗口区域即为模板。 然后在待配准图像中选择足够大的搜索区域，将模板在搜索区域中移动时所覆盖的区域与模板进行相似性比较，寻找相似性最大的区域，该区域即为所要寻找的区域。 常用的相似性度量主要有 :归一化函数(normalizedcrosscorrelation function)[15]、相关系数 (correlation coefficient)、差平方 (sequentialsimilarity)和最小二乘匹配 (least squares matching)。 早期的图像配准算法大都是基于区 域的，因为该算法简单易于硬件实现。 另一方面，医学图像由于纹理特征不是很丰富，所以也多采用这种算法，但是这种算法不适合待拼接度图像中存在较大的旋转和不同视角等情况 ， 基于特征的图像配准算法是图像拼接技术的另一研究热点。 在这种方法中，首先要对图像进行处理，提取满足特定应用要求的特征，然后利用特征之间的对应关系来确定模型中的参数。 目前大多数文献都是采用的点特征进行图像间的配准来实现图像的镶嵌，目前特征点提取算法己经比较成熟。 2020 年， FrankNielsen 针对 Haussdorf 距匹配算法和瓶颈匹配算法的缺陷，提 出了基于桶状模型的角点匹配策略，用来解决大角度旋转图像的 配准拼接问题。 2020 年， 发表了全自动的图像拼接算法的文章，使用捆绑调整技术，解决图像拼接中经常会出现的叠加误差现象。 2020 年， David G. Lowe 采用了具有尺度不变性的 SIFT 角点提取算法 , Matthew Brown 则在特征点匹配过程中采用了椭圆限制条件和 kd 树算法来解决图像多视角配准问题。 2020 年， Jani Boutellie:就部分视频模糊图像拼接进行了研究。 首先将视频序列的各帧图像依次进行配准注册，确保相邻两帧图像之 间有尽可能大的重叠区域，注册的同时计算出运动模糊物体的总量。 然后根据视频序列图像中的运动物体总量和配准注册的质量来选择用于最终图像配准融合的帧图像。 最后将所选择的帧图像进行配准融合消除接痕。 2020 年， Matthew 采用概率模型确定一组无序图片的正确顺序并可以检测出噪声图像，实现了无序图像的自动拼接在国内，图像拼接技术起步相对较晚，但很快迅速发展了起来。 2020 年，清华大学的研究人员提出了一种针对图像拼接过程中的计算量与拼接精度之间进行折衷的方案，该方案用三脚架保证摄像机基本绕垂直轴旋转，但是不对摄像机的旋 转角度做严格限制郭海涛等提出了一种将遗传算法用于图像配准的算法，分析了遗传算法中群体的大小、交叉率、变异率及选择机制对影像匹配的影响，特别是对未成熟收敛等问题进行了较为深入的研究。 2020 年，侯舒维、郭宝龙针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种图像自动拼接的快速算法，该算法综合考虑了图像拼接的精度和速度，在基准特征块的提取上，采用简单的边缘信息闭值法，在块的搜索上，采用金字塔式分层搜索策略。 2020 年针对动态全景图拼接，李文辉，张岩等人首先采用基于粒子优化的多分辨率拼接算法拼接成静态全景图，然后用摄像机在拍摄场景中拍摄做周期或随机运动的物体，实现视频纹理，最后将视频纹理对准到静态全景图中。 研究内容 本文就图像拼接关键技术进行了研究，对现有的算法进行了实验分析，并对算法中存在的问题进行了相应的改进，具体内容如下 : 研究并介绍了图像配准前需要做的准备工作，如图像的获取方式、彩色图像灰度化、全景图投影算法和插值算法。 在分析了己有基于区域的图像配准算法的基础上，根据本课题的实际， 提出了一种改进的模板匹配算法 — 自适应模板匹配算法。 对基于特征的图像配准算法进行了研究。 针对原有 Harris 角点提取算法对尺度敏感的缺点，本文采用了多尺度的 Harris 角点提取算法，用鲁棒的角点匹配策略，实现了图像的配准。 对现有的各种融合算法进行了研究和比较，并对其中的基于亮度调和处理的融合算法进行了改进，使融合的效果更好。 采用最佳缝合线算法和渐入渐出法较好地解决了图像中存在的鬼影和拼接接缝问题。 为了验证所研究的算法，本文在 Windows XP 环境下，采用 Visual C 十十 开发工具，设计了一个用于全景图像拼接的可视化软件。 第二章 全景图相关技术概述 图像的获取方式 图像获取的方法非常重要，图像获取方法的不同导致取得输入图像的不同，最终拼接的结果也不同。 目前有多种途径用于获取全景图，主要包括下述三种情况 : (1)利用全景相机来直接采集一张柱面全景图像。 该方法需要使用特殊设备，不仅价格昂贵而且使用复杂。 (2)利用配备较大视域的镜头如鱼眼镜头拍摄。 这种方法拍摄的图像中存在很大的变形，将其用于生成球面全景图之前必须进行校正和变换。 (3)利用普通照相机、摄像机采集若干能够覆盖整个可视空间的照片序列或视频，相邻照片的拼接可以采用人机交互或自动方法完成。 这种方法使用普通照相机或摄像机获取图像对硬件要求不高，因此获得广泛应用。 利用普通照相机获取图像时，一般有下述三种情况 : 首先将照相机放在固定好的三脚架上。 拍摄时，照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片。 拍摄得到一系列照片中相邻两张必须有部分重叠，重叠区域大小是图像拼接最重要的影响因素，重叠比例越大，拼接就越容易。 旋转照相机拍摄由于相机固定，较容易实现。 平移照相机指的是照相机在一个平行于成像平面的方向上平移。 在固定焦距的情况下，照相机放置在一个滑轨上移动拍 摄。 物体和照相机的距离远近，或者拍摄物体的大小都会影响到最后的拼接结果。 这种情况的缺点是 :拍摄的相片在一个平面上，全景图的三维感觉不如旋转拍摄的效果好。 手持照相机拍摄这种方法比较容易做到，手持照相机原地旋转拍摄，或者按一定的路线平行于对象拍摄。 但是，拼接手持照相机的照片是很困难的，因为在 拍摄过程中，照相机的运动非常复杂。 原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控制、旋转控制都很差。 沿一定路线移动时，类似于平移拍摄，控制距离和保持相同的成像平面是很困难的。 本文图像的获取采用的是第一 种方法。 拍摄时相邻图像具有一定程度的重叠，以便于拼接而得到全景图像。 图像的颜色处理 彩色图到灰度图的转化 本课题使用数码相机采集到的是 24 位的 BMP 真彩色图像，而实际处理时分析的却是 8 位 BMP 格式的灰度图像。 真彩色图像指的是真实地反映自然物体本来颜色的图像。 大多数的彩色图像采集系统都采用 24 位的真彩色来存储图像，以便最大限度地保证图像信息的完整性。 尽管真彩色图像带给人美的享受，但它需要的存储空间大，处理起来占用内存多、消耗机时多。 灰度图像是指只含亮度信息，不含色彩信息的图像，就像我们平时看 到的黑白照片，它只有亮度从暗到明的变化，而没有色彩信息。 灰度图像具有存储量小、其亮度值就是 256 色调色板的索引号等优点。 下面讨论如何把 24 位的 BMP 彩色图像文件变成 8 位的 BMP灰度图像。 24 位 BMP 格式图像转换成 8 位灰度 BMP 格式的图像实现关键点如下 : (1)创建调色板灰度图像是一种特殊的 256 色位图，每个像素颜色分量 R,G, B 的值都相等。 通常也把 R, G, B 颜色分量值量化为 0 至 255 共 256 个级别。 8位的灰度图像使用含有 256 个表项的调色板，每个表项有如下特点 :R=G=Bo 由于调色板是显示灰度图像的 基础，因此要实现 24 位真彩色图像到 8 位灰度图像的转换，首先创建灰度图像的调色板是非常重要的 (因为真彩色图像没有调色板 )。 具体步骤为 :创建一个指向 BITMAPINFO 结构的指针 lpbmi，先为该结构的信息头赋值后，再为结构的调色板各项赋值。 (2)变换创建调色板后，如何把真彩色图像的各像素用调色板中最接近的颜色替代呢 ?VC +中提供了一个重要的函数 BitBlt，该函数格式为 :BOOL BitBlt( CDC* hDestDC, int x, int y, int nWidth, int nHeight,CDC* hSrcDC, int xSrc, int ySrc, DWORD dwRop 其中 :hDestDC 为目标设备环境的句柄。 x 指定绘制区域 的左上角的 x坐标。 Y 指定绘制区域的左上角的 Y 坐标。 nWidth指定要绘制区域的宽度。 nHeight指定要绘制区域的高度。 hSrcDC指定要复制位图所在的 CDC对象的指针。 xSrc 指定源位图要绘制区域的左上角的 x坐标。 ySrc 指定源位图要绘制区域的左上角的 Y 坐标。 dwRop 指定绘制方式。 该函数完成以下的功能 :自动实现源位图的颜色格式按照目标位图的颜色格式转化，并且会自动按 照最接近的颜色转化。 具体转化算法如下 : (1)从文档中获取源位图。 (2)判断该位图是否为 24 位位图，若是，转 ((3)，否则，转 (9)。 (3)获取源位图文件头信息。 (4)为目标位图文件的信息头和调色板分配内存且填充信息。 (5)计算源位图和目标位图的大小并赋值源位图的像素值。 (6)将源位图和目标位图的 DIB 位图分别选进内存设备。 (7)给目标位图的内存设备赋颜色表，将源位图的颜色格式按照目标位图的颜色格式转化，且自动按照最接近的颜色转化。 (8)删除创建的设备句柄，为目标位图分配内存，复制信息头、 调色板和 图的像素值，显示和更新文档。 (9)结束。 实验结果 彩色图像灰度化结果如图 所示 柱面投影算法 全景图模型分类 全景图是构成虚拟环境的基本单位，是描绘某个视点上某个焦距的周围环境的图像。 它一般有立方体形、球形和圆柱形三种模型。 不同模型的全景图的存取难易程度和观察效果均有很大的差异。 由六个平面投影图像组成，这种结构模型规则性好，存取方式与普通图片的存储方式相近，易于用计算机存取控制，但用相片构建立方体形全景图时，相片的获取和相机的定位难度较大。 因 立方体的相邻表面之间是相互垂直的，从而要求照相机主光轴在获取相邻的相片时必须垂直，且摄取每一个平面图像需要 90度的广角镜，以避免图像的变形，这就要求相机配有昂贵的广角镜头。 由普通镜头照相机拍摄的照片经镶嵌形成一个球面的形状。 此模型与立方体形模型均能支持参与者在照相机的视点所在位置，以任意的视线方向观察周围的环境。 但是要构成球面模型的全景图，必须先将平面照片投影成相应的球面图像，这是一个在图像平面的 :和 y 方向的非线性图像变形过程，且由于每个球面图像都有多个相邻图像，因此在全景图镶嵌过程中图像求 交定位均比较困难。 再则，很难找到一个与球面相对应且易于存取的数据结构，以存放球面数据结构。 用全景图相机拍摄的全景相片，或者计算机绘制的全景图像，或者由普通相机拍摄的相片拼接成的一个以相机视点为中心的圆柱形。 此模型具有下面两个明显的优点 : ①其单帧相片的获取方式比立方体形模型和球体模型都要简单。 只要将一台照相机安装在一个三脚架上，校准镜头、固定支架，在拍摄过程中，使照相机尽量少出现倾斜和翻转现象，且每拍一幅照片，把照相机转动一定角度 (一般该角度可以使前后两幅相片有 30 50%的画面重叠即可 )，再拍下一幅。 ②根据几何常识，圆柱面可展开成一个矩形平面，从而我们可将圆柱全景图展开成一个矩形图像，且直接利用计算机的图像格式进行存取与访问。 该圆柱形 模型在垂直方向上允许参与者视线的转动小于 180 度，但在绝大多数应用中，体现横向 360 度的环视环境足以表达空间信息，故 360 度圆柱形模型全景图是目前构造虚拟环境的较为理想的选择。 柱面投影算法 实景图像的柱面投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。 这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张 实景图像上的像素点在视点空间中的方位信息。 如图 所示。 I 是数码相机拍摄的一张实景图像， P(x,Y)是实景图像 I 上的任意一个像素点。 P 点在数码相机坐标系下的坐标为 xWl2,yH12,，其中 W 和 H 分别为实景图像 I 的宽度和高度。 我们把圆柱面的中心设为照相机坐标系的原点，并以数码相机的像素焦距 f 作为圆柱面的半径，下面推导出像素点 P 在圆柱面上的投影点 Q 在柱面全景图像中的坐标 (fix, Y,)。 是像素点 (x,y)在圆柱面上的投影点 Q 的参数坐标，把所有这。