图像拼接毕业设计--图像拼接技术研究

图像拼接毕业设计--图像拼接技术研究内容摘要：

在实际中要想获得宽视野、高分辨率的图像 ,通常可以通过两种途径实现 :一种方式是购买特殊的设备 ,但是此类设备价格都相当昂贵 ,并且获得的图像也有不尽如人意的地方。 另一种方式是利用多图像的拼接技术 ,其中每幅图像都可以通过普通手持相机获取 ,这样就大大降低了成本 ,也能满足我们的需求 ,因此图像拼接技术成为各个领域研究的热点。 图像拼接的研究意义在于通过技术手段实现全景图像，而不需要对图像采集设 备的硬件性能提出过高的要求。 事实上，在现实生活中，专业的用于拍摄全景图像的相机的成本太大，而用普通的摄像机是不能得到全景图像的。 通过图像拼接的算法，可以用一个普通的摄像机得到同一副场景的不同区域的图像，同时相邻区域之间有交叠，这样就可以利用交叠区域的匹配，将多幅同一场景下的图像拼接成一副全景图像。 图像拼接在实际应用中使用非常广泛。 遥感图片在军事目标监视、陆地水资源调查、土地资源调查、植被资源调查、环境监测和规划管理等方面都得到了广泛的应用。 随着科学技术的发展以及人类认知范围的扩大，图像拼接在航空航天领域也 有着很大的发展和应用前景。 图像拼接在国民生产和生活中发挥的作用也将越来越大，如在农业上，可以通过图像拼接的方法，对某一片区域的全景图像描绘出来，可以得到某一片的地形地貌和区域环境，对农业生产和生活提供指导。 图像拼接在虚拟现实的实现方面也有着十分广泛的应用。 首先全景图像的生成是通过图像拼接，将一幅幅图像拼接而成。 然后将拼接而成的多幅全景图像通过适当的空间映射，生成最终的虚拟全景，最终形成虚拟现实的效果。 目前，已经有部分基于虚拟现实的软件的产生，这些软件主要可以用于在虚拟环境下进行购物、旅游等活动。 可以预见， 在不久的将来，随着技术的不断发展，会有越来越多的基于图像拼接的虚拟现实软件的产生，将极大的改变人们的生活方式。 图像拼接技术在医学成像方面同样有着非常广阔的前景。 传统的医学成像方法，是通过射线、超声波等医学成像手段，将人体的某个部位拍摄成图像进行观察。 但是此时获得的仅仅是某一部分的图像，很难对病变得周围组织信息以及病变的整体情况获得一个准确而全面的把握。 因此在现有的医学条件下，没有重大的技术突破，为了获得完整的病变组织的整天信息，得到完整的网络图或者超声波图像，需要通过对从不同角度、不同方向获得图像进行拼接 ，从而形成完整的图像信息，医生可以在此基础上，对图像进行全面的分析，得到对患者疾病的更进一步的认识和全面的把握。 为后续的病情医治提供更加可靠和精确的数据。 可以预见，在不久的将来，随着技术的不断发展，会有越来越多的基于图像拼接的医学成像技术的产生，将极大的改变人们的生活方式和医生的就诊方式 [1]。 国内外研究现状 在传统相机的时代，获得全景照片是比较困难的，除非你拥有一台昂贵的全景照相机，否则就只能靠暗房技术和手工拼接的方法来完成。 进入数字化时代，借助数码相机 3 等设备，数码照片的获取变得非常容易。 借助 数字计算机实现大量数字图像的快速、准确、自动拼接，成为国内外数字图像处理领域的一个研究热点。 特别是近 20 年来，每年都有大量的图像拼接相关论文发表。 多种图像拼接的理论和算法被提出和应用，各种方法都是面向一定的应用领域，具有各自的特点，但目前还没有通用的拼接技术和方法使得人们可以快速高效地实现图像的拼接。 图像配准和图像融合是数字图像拼接技术的两个关键技术。 图像配准是指将同一场景的两幅或多幅具有重叠区域的图像进行对准，得到图像之间的运动关系，以便于将图像旋转到统一坐标系下进行后续的融合操作。 图像融合技术是将经过 配准的图像的重叠区域合成一副无缝图像，用来消除由于几何失真、关照变化等引起的相邻图像间的灰度或颜色不连续问题。 可见，图像配准较图像融合计算复杂度和耗时要大的多，可以说图像配准直接关系到图像拼接的速度和成功率。 因此，图像拼接算法的发展主要与图像配准理论的发展密切相关。 国外研究现状 在国外，对于图像拼接技术的研究比我国要早， Richard Szeliski 教授和 Sevket Gumusteki 博士是比较具有权威性的研究人员。 Richard Szeliski 教授针对的是手持摄像机拍摄的图像的拼接情 况，要求在拍摄图像序列的时候基本保持光心不发生变化，可以根据需求拼接出不同形状的全景图。 Sevket Gumusteki 博士的研究重点则是放在了透视变换上面，深入地研究了由于摄像机绕光心旋转而造成的投射变换的消除方法。 Stein在求解摄像机焦距和帧间偏移量时加入了对纹理特征的跟踪，使得求解精度有所提高，但同时也加大了计算量。 J Davis 在 1998 年提出了在静态场景中加入动态物体的全景图像拼接方法。 Apple 公司研制开发了一个图像拼接的软件 — Quiktime VR 系统，它所拼接的图像是通过摄像机固定在三脚架 上旋转 360度获得的，对旋转的角度有严格的要求，并且要求相邻图像间在 2/3 以上的重叠区域，因此需要高端的拍摄器材和严格的校准工作。 1992 年，剑桥大学的 Lisa Gottesfeld Brown 提出 了图像配准技术的基本理论以及主要方法 [2]。 2020 年， Zitova 等人综述了随后 10 年的图像配准领域的相关方法 [3]。 2020 年， Szeliski 详细全面地介绍了图像拼接的理论架构和主要方法 [4]。 纵观近年来发表的关于图像拼接和图像配准的论文，其中提出的相关理论和算法大致可分为两类：基于特征的方法和基于 区域的方法。 基于特征的方法首先从待配准图像中提取特征，利用特征的对应关系进行特征匹配，通过特征匹配实现全局匹配。 基于特征的方法利用了图像的显著特征，如角点、特征点和轮廓等，具有计算量小，速度快的特点，对于图像的噪声、畸变、遮挡等具有一定的鲁棒性，但是它的匹配性能在很大程度上取决于特征选取的合理性和特征提取的质量。 美国微软研究院的 Richard Szeliski 教授对数字图像拼接理论做出了巨大的贡献。 1996 年， Richard Szeliski 提出了一 种 2D 空 间八参数投影变换模型，将图像之间的刚性和仿射变 换归结为一个八参数线性变换。 手工选取 n 大于等于 4 对匹配点，得到 2n 个方程，通过采用 LevenbergMarquardt 迭代非线性最小化方法求出图像间的几何变换参数来进行图像匹配 [5]。 这种方法在处理具有平移、旋转、尺度关系以及仿射等多种变换的待拼接图像方面效果好，收敛速度快，因此成为图像拼接领域的经典算法。 许多后续的研究工作都是基于 Szeliski 的理论体系展开的。 多种特征点的自动提取和匹配算法被应用到图像拼领域。 典型的特征点自动提取算法有以下三种： 王军：图像拼接 技术 研究 4 1988 年， Harris 提出了 Harris 角点检测器 [6]。 该方法使用自相关函数来确定信号发生二维变化的位置，提取的角点被证明具有旋转、平移不变性。 Harris 角点检测算法对存在旋转、缩放和光照变化时仍有较好的鲁棒性，但缺点是对噪声比较敏感。 1997 年，英国牛津大学的 Smith 和 Brady 提出了最小单值分割相似核（ Smallest Univalue Segment Assimilating Nucleus： SUSAN 算法）角点检测算法 [7]。 1999 年， David 提出 SIFT（ Scale Invariant Feature Transform） 特征点匹配算法，并于 2020 年完善总结 [8]。 该算法利用图像关键点的 SIFT 特征向量进行匹配，对信号的旋转、平移、尺度关系、噪声、关照变化、仿射乃至透射变换都具有较高的鲁棒性 [9]。 SIFT 特征配准是目前国内外特征点配准领域的研究点。 除了特征点，轮廓特征也被用来进行图像配准。 轮廓的匹配准则可以选取链码相关或者其他一些相似性准则，如主轴和不变矩等。 基于区域的方法主要包括模板匹配法和频域法。 1972 年， Barmea 和 Silverman[10]提出的序贯相似检测法就是一种经典的模板匹配算法。 模板匹配算法是 一种全搜索算法，通过匹配选定的图像模板来实现两幅图像的全局配准。 这类算法冗余度高、计算量非常大，计算速度慢，而且仅仅适用于图像间的平移检测。 对图像间的旋转和尺度关系无能为力。 1975 年，由 Kuglin 和 Hines 提出相位相关法。 借助傅里叶变换将两幅待配准的图像变换到频域，然后利用互功率谱直接计算出两幅图像间的平移量 [11]。 1987 年， De Castro 和 Morandi 发现利用傅里叶变换的性质，进行旋转配准与平移配准一样有效，提出了扩展相位相关法 [12]。 随着快速傅里叶变换算法的提出以及信号处理领域对 傅里叶变换的成熟应用， 1996年， Reddy 和 Chatterji 改进了 De Castro 的方法，提出基于快速傅里叶变换进行图像配准的方法，大大提高了运算速度，同时，采用对数据坐标变量分离技术，将频域配准技术成功的应用于存在平移、旋转和尺度的图像配准问题上 [13]。 随着极坐标 Fourier 变换计算方法的改进， Keller 等人利用伪极坐标 Fourier 变换技术改进了图像平移、旋转和尺度的检测稳定性 [14]。 国内研究现状 在国内，对重叠区域的边界确定这方面，华中科技大学和 CADamp。 CG 以及模式识别两个国家重点实验室分别提出了截然不同的方法。 华中科技大学主要利用相邻图像间对应图形存在数学关系，通过识别同名点红日校正几何变形来确定匹配区域。 CADamp。 CG以及模式识别两个实验室则是搜索的方式，利用模板进行匹配搜索以得到最佳配准位置，这种算法容易实现，但计算量相对较大且容易产生错误匹配。 计算量和拼接精度间的矛盾，清华大学将两者进行折中，要求摄像机在垂直于地面上的方向上做水平旋转运动，对具体的旋转角度不作要求。 2020 年，杜威和李华视频纹理加入到全景图拼接当中，实现了动态全景图。 国内外对图像拼接的研究中，主要 的研究重点大部分都放在图像配准这一图像拼接关键技术上，配准速度快和配准精度高是国内外研究人员寻求的目标。 因此，产生了图像配准方法，将这些图像配准方法按照匹配方法可分为两类： 第一类是基于灰度信息的图像拼接方法 图像的灰度信息是最直接且最容易利用的信息，到目前已经发展的较好。 基于图像的灰度信息的方法是从一副图像中选取一块区域，根据区域的灰度阵列的相似属性在另一副图中进行搜索，寻找相似度最高的相匹配区域。 根据模板的选取方式的不同可以分 5 为三种匹配方式即块匹配、比值匹配和网格匹配。 块匹配方法就是从重叠区域中选取一个 窗口作为匹配模板，在另一幅图像的重叠区域中进行搜索相似度最高的窗口，这种方法虽然计算量较大，可是精确度比较高。 比值匹配方法就是设定一个固定的距离间隔，选取间隔为一个距离的两列的比值作为匹配模板，它是从块匹配的基础上做的改进，从而减少了计算量，但是同时也降低了精确度。 网格匹配时粗匹配与精匹配的结合，定义一个步长，每次水平或垂直移动一个步长的距离并记录下最好的位置，从这个位置出发，步长减半然后进行匹配，如此反复循环知道使步长为零。 第二类是基于特征的图像拼接方法 基于特征的图像拼接方法是目前图像配准领域中占主导 地位的图像拼接方法，它将提取出在图像中灰度变化较显著的特征，如点、线、面等作为特征样本集，通过一定的算法挑选出正确的对应对作为匹配样本集。 图像特征提取的算法包括 Moravec 算子、Forstner 算子、 Harris 算子、 Canny 算子、 SIFT 特征提取算法等，我们可以根据实际的需要进行对算法的选择。 图像拼接技术经过几十年的研究已经取得了很大的进展和广泛的应用。 但是，由于拍摄环境复杂多变，没有一种算法能够解决所有的图像拼接问题。 现有的算法各有其优缺点，如果能综合利用这些方法的优点将会取得更好的拼接效果。 本课题研究的主要内容 本设计的主要内容是通过图像特征点的匹配使多幅图像拼接成一副全景图像，其中包括特征点提取、图像匹配和图像融合。 利用 Harris 角点检测算法提取图像特征点，通过块匹配法实现图像匹配，利用加权平均法进行图像融合，完成全景图像的拼接。 王军：图像拼接 技术 研究 6 第 2 章 图像拼接的基本理论 本设计主要介绍了基于角点匹配的图像拼接。 本章主要介绍了图像拼接的基本过程，其包括图像采集、图像预处理、特征点提取、特征点匹配和图像融合。 图像拼接的流程如图 21 所示： 图 2 1 图像拼接的流程图 图像采集和预处理 图像采集 图像采集是图像拼接的第一步，目的是获取场景的原始图像，为图像拼接提供原始的图像素材。 原始图像素材的质量的高低直接决定着全景图像拼接的效果，因此在图像采集阶段要尽量的使用高性能的图像采集设备，获取高质量的原始图像。 原始图像的采集方式有很多种，必须根据不同的环境采取不同的图像采集方法，如医学图像采集就必须使用显微镜等。 总的来说，原始图像的获取主要有三种途径 [15]： 1. 旋转式相机拍摄 首先将三脚架放 置在一个平面上，然后将三脚架调节到合适的高度，在放置好三脚架后，将摄像机固定到三脚架上，摄像机只能围绕一个固定的轴旋转，当摄像机拍摄完一张。