基于ransac算法的sift特征匹配研究opencvvs20xx最终版(编辑修改稿)

基于ransac算法的sift特征匹配研究opencvvs20xx最终版(编辑修改稿)内容摘要：

据 1999年基于 Lindeberg的图像尺度空间理论提出的 SIFT（ Scale Invariant Feature Transform—— 尺度不变特征）算法。 之所以 SIFT 特征空间被广泛使用，是因为它对缩放、旋转、平移和投影变换等等具有不变性。 SIFT特征点匹配算法具有较强的鲁棒性，而且算法速度高、精度高。 视频图像跟踪系统 4 论文任务和工作 近几年来 SIFT特征算法成为了很多科学家以及研究员的研究热点。 它以自身的优势渐渐地成为了图像匹配的主流算法。 本论文围绕着如何将 SIFT 特征算法应用于视频图像跟踪系统中，实现从两个 usb摄像头中读取的两幅图像进行匹配，怎么样提高匹配速度以及精度等问题开展研究。 用 SIFT 算法进行的特征点的提取和粗匹配后的，效果还是不太理想，因为毕竟存在错误的匹配。 所以，要用 RANSAC（随机抽样一致性）算法对粗匹配的匹配对进行提纯工作。 两个通用 USB摄像头毕竟存在畸变性，特别是径向畸变厉害，所以，我们需要用 OpenCV的自带函数来进行摄像头标定。 在本论文采用的标定方法是张氏法，需要格子板，本论文采用的标定物正是具有 9*6=54个角点的格子板标定物。 通过 OpenCV自带的标定算法以及相关的函数来求出摄像 头的内外参数。 利用求出来的内外参数进行简单的计算得到实际物体到摄像头的距离信息。 利用已经标定好的摄像头进行测距的时候不需要模板匹配，因为只要找到很强的 SIFT 匹配对，也就是说只要找到正确的匹配对（当然跟目标相关的，其他的丢掉），就可以求出摄像头到物体之间的距离信息。 首要条件是把两个摄像头放置的时候它们的光心轴要平行，以使让最后得出的距离接近实际的距离。 下面来看看本论文理论结构以及各章的中心内容。 下面就是论文主要内容： 第一章 ：第一章为绪论，简单的论述了本论文的研究背景和国内外研究现状等。 对图像处理经典算法进行了 解剖，并论述了 SIFT算法的优越性。 最后给出了本论文的内容结构以及论文内容。 第二章 ：第二章主要介绍了有关 SIFT 算法的知识以及具体实现的方法。 最后还简单的介绍了 RANSAC算法的一般原理。 第三章 ：第三章是作为本论文的重点，着重介绍了从两个摄像头中读取的两幅图片中怎么样提取 SIFT特征点、怎么样构建特征点空间以及怎么样粗匹配，最后介绍了经过 RANSAC算法以后图像拼接以及配准原理和方法。 给出了评估模型的一般方法。 第四章 ：第四章讲述了基于 OpenCV的摄像机标定原理和方法。 针对双目视频跟踪系统的研制开发讲述了摄像机标定的数 学原理以及具体实现方法和实验结果。 第五章 ：第五章为总结和展望。 视频图像跟踪系统 5 第二章 SIFT 特征算法 作为一种局部描述子，尺度不变形特征变换， Sift(Scale Invariant Feature Transformation)被广泛利用着。 它具有尺度不变形，在图像中找出关键点。 从 SIFT特征算法的诞生以来，出现了很多有关 SIFT的算法，人们为了能够在现实中利用，而试图改进它。 这些局部特征被广泛利用而且被研究的真正原因在于它能够表述统计意义的图像特征。 接下来从下面开始着重看 SIFT特征算法具体内容。 有关 SIFT 算法的术语 本节论述本论文常用的一些术语以及概念。 （ 1） 特征点：特征点可以是一个点，可以是一个很小的局部区域，也可以是局部特征，这三个都是相同的概念，知识它们出现的历史时期不一样而已。 当然我们想要的特征点最好是一个点，可以理解为我们所研究的数字图像离散化后得到的一个最小的单位 像素点。 但是，我们在做研究的时候，我们所关心的就是特征点以及它的领域。 因为特征点的领域所表现出来的是某个物体的边缘或者特定的角点，所以特征点的领域对我们后续的研究有很大的帮助。 （ 2） 局部特征：特征可以分为全局特征和局部特征。 我们 很容易理解全局特征。 比如说我们看一幅图片中孤立的物体时，或者看彩色照片的时候很容易检测到某个物体或者某个人的脸。 因为我们人类所拥有的眼镜，也就是说人类的视觉系统是具有极高的全局特征辨别能力，不过，让计算机或者机器人能够认知这些全局特征，需要耗费很大的精力和资金的投入。 即使做到了，也是在一定的范围内可行的。 因为图像处理技术虽然近几十年发展到令人振奋的程度，但是实际应用中还有很多海量的问题需要解决。 （ 3） 几何变换：几何变形有平移变换、平移 +旋转变换、相似（平移 +缩放 +旋转）变换、仿射变换和透视变换。 （ 4） 仿射变换：他所 指的是两个互不相同的坐标下的矢量之间的边换。 视频图像跟踪系统 6 SIFT 综述 尺度不变特征转换 (Scaleinvariant feature transform 或 SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在 1999 年所发表， 2020 年完善总结。 其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、 3D 模型建立、手势辨识、影像追踪和动作比对。 此算法有其专利，专利拥有者为英属哥伦比亚大学。 局部影像特征 的描述与侦测可以帮助辨识物体， SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。 对于光线、噪声、些微视角改变的容忍度也相当高。 基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。 使用 SIFT 特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要 3 个以上的 SIFT 物体特征就足以计算出位置与方位。 在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。 SIFT 特征的信息量大，适合在海量数据库中快速准确匹配。 SIFT 算法的特 点有： 1) SIFT 特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性； 2) 独特性（ Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配； 3) 多量性，即使少数的几个物体也可以产生大量的 SIFT 特征向量； 4) 高速性，经优化的 SIFT 匹配算法甚至可以达到实时的要求； 5) 可扩展性，可以很方便的与其他形式的特征向量进行联合。 SIFT 算法可以解决的问题： 目标的自身状态、场景所处的环境和成像器材的 成像特性等因素影响图像配准 /目标识别跟踪的性能。 而 SIFT 算法在一定程度上可解决： 1.) 目标的旋转、缩放、平移（ RST） 2.) 图像仿射 /投影变换（视点 viewpoint） 3.) 光照影响（ illumination） 4.) 目标遮挡（ occlusion） 5.) 杂物场景（ clutter） 6.) 噪声 SIFT 算法的实质是在不同的尺度空间上查找关键点 (特征点 )，并计算出关键点的方向。 SIFT 所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮 区的暗点等。 视频图像跟踪系统 7 Lowe 将 SIFT 算法分解为如下四步： 1. 尺度空间极值检测：搜索所有尺度上的图像位置。 通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。 2. 关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。 关键点的选择依据于它们的稳定程度。 3. 方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。 所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。 4. 关键点描述：在每个关键点周围的邻域内，在选定的尺度上 测量图像局部的梯度。 这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。 尺度空间和高斯滤波 当用一个具有视觉系统的机器人在未知的场景下分析周围环境的时候，机器人的视觉系统没有办法预先知道图像中物体的真正尺度。 所以，需要考虑得到的图像在多尺度下的描述，获得所感兴趣物体尺度。 因此，尺度空间的很多处理算子跟哺乳动物视网膜和视觉系统有着极高的相似性。 所以，尺度空间理论经常与生物视觉系统相关联。 这一节将讨论尺度空间的基本概念以及理论基础。 并且利用几个实际图像实例来介绍尺度空间理论在场景 分析中的应用。 图像的金字塔化 图像的金字塔化所指的是对图像进行低通滤波操作。 在图像的金字塔化中被利用的低通滤波器是高斯低通滤波器。 具体地说，把一幅图像和高斯滤波器进行卷积运算后，再对图像进行横轴和纵轴的方向进行抽样。 这样得到的一些列图像称之为已金字塔化的图像序列。 不多，它虽然能够表达出图像在多尺度下的描述，但它缺少扎实的理论背景，很难分析图像中物体的各种尺度。 早在 1983年， Witkin提出信号的尺度空间表达就是利用一系列单参数、款读递增的高斯滤波器将原始信号滤波的道德一组低频信号。 说道低通 滤波器，虽然其种类很多，但是， Koenderink、 Lindeberg、 Florack 等科学家利用精准的数学理论通过不同途径证明了高斯核就是实现尺度变换的唯一的变换核。 [2,13]由不同高斯核组成的尺度空间是规范的和现行的，而且满足一下的若干性质：平移不变性、尺度不变性和旋转不变性等等。 视频图像跟踪系统 8 WItkin 对尺度空间理论最重要的贡献之一就是把这些表达与信号在不同尺度上的结构用系统方法关联在一起，从而将尺度这个维度很自然的加入到尺度空间表达中，使得跨尺度图像结构的某些行为能够被捕获。 [2,13] 高斯尺 度空间 SIFT 算法是在不同的尺度空间上查找关键点，而尺度空间的获取使用高斯模糊来实现，Lindeberg等人已证明高斯卷积核是实现尺度变换的唯一变换核，并且是唯一的线性核。 本节先介绍高斯模糊算法。 高斯模糊是一种图像滤波过程。 高斯模糊所用到的函数就是高斯函数（正态分布）计算模糊模板。 使用该模板与原图像进行卷积运算，并且得到一系列模糊图像。 N维空间高斯函数方程为： (21) 其中， 是正态分布的标准差， 值越大，图像越模糊 (平滑 )。 r 为模糊半径，模糊半径是指模板元素到模板中心的距离。 如二维模板大小为 m*n，则模板 上的元素 (x,y)对应的高斯计算公式为： 222( / 2 ) ( / 2 )221() 2x m y nG r e    (22) 在二维空间中，这个公式生成的曲面的等高线是从中心开始呈正态分布的同心圆，如图 所示。 高斯函数是圆对称的分布不为零的像素组成的卷积矩阵与原始图像做变换。 每个像素的值都是周围相邻像素值的加权平均。 原始像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素越来越远，其权重也越来越小。 这样进行模糊处理比其它的均衡模糊滤波器更高地保留了边缘效果。 22221()( 2 )rNG r e 视频图像跟踪系统 9 图 理论上来讲，图像中每点的分布都不为零，这也就是说每个像素的计算都需要包含整幅图像。 在实际应用中，在计算高斯函数的离散近似时，在大概 3σ距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。 通常，图像处理程序只需要计算 ( +1)*(  +1)的矩阵就可以保证相关像素影响。 根据σ的值，计算出高斯模板矩阵的大小 ( +1)*(  +1)，使用公式 (12)计算高斯模板矩阵的值，与原图像做卷积，即可获得原图像的平滑 (高斯模糊 )图像。 为了确保模板矩阵中的元素在 [0,1]之间，需将模板矩阵归一化。 5*5 的高斯模板如表 所示。 表 21 下图是 5*5 的高斯模板卷积计算示意图。 高斯模板是中心对称的。 视频图像跟踪系统 10 图 尺度空间（ scale space）理论早在 1962年被 Iijima提出了以后， Witkin 和 Koenderink等人的推广下，渐渐得到了众多人们的关注，后来在计算机视觉领域内被广泛使用。 尺度空间理论的基本思想是在图像信息处理领域里引入一个参数（我们称之为尺度），通过联系变化的尺度参数获取多尺度下的空间序列，并对这些已获取的序列进行轮廓的提取，以该轮廓作为一个特征向量，实现角点、边缘检测以及不同分辨率上的特征提取等。 尺度空间方法改变了传统的单尺度图像处理 技术，进一步实现了尺度连续变化的图像动态分析框架。 尺度是自然存在的，不是认为创造的，高斯尺度空间只是表现尺度空间的一种形式。 这样，能够更容易获得原图像的本质特征。 尺度空间中各尺度图像的模糊程度逐渐变大， 视频图像跟踪系统 11 能够模拟人在距离目标由近到远时候的目标在视网膜上的。