双目立体视觉测量技术研究

双目立体视觉测量技术研究内容摘要：

型包括线性模型和非线性模型。 线性模型是根据小孔成像原理，建立对应物体表面空间点和像点的几何位置关系，描述的是空间点、投影中心和像点三者共线关系，是理想情况。 实际应用中，由于立体视觉 系统多采用非量测摄像机，其物理构造导致产生各种畸变，使得实际像点位置会偏移理想像点位置，造成空间点、投影中心和相应的像点之间的共线关系受到破坏，所以需要建立非线性模型，即畸变校正模型。 没有考虑因畸变造成的图像点坐标失真，严格依据小孔成像原理建立的是线性摄像机成像模型。 完成空间点到图像平面的投影实质上就是模型建立的过程，数学形式表示为几个坐标系间的转换，线性模型摄像机参数即为转换过程中引入的参数，线性模型摄像机标定就是为了确定这些参数。 非线性标定模型由于三维空间点的图像坐标往往不是理想小孔成像模型下的坐标， 而是发生了偏移，正是由于镜头畸变等因素的存在。 因此得到的图像坐标会偏离理想坐标，在远离图像中心处畸变相对较大。 2． 2． 2需要标定的参数 线性标定模型和非线性标定模型需要标定的参数基本上是一样的。 外部参数 物体点从世界坐标系至摄像机三维坐标系的旋转变换矩阵 R 和平移矩阵 t中的参数称为外部参数，外部参数有 6 个，它们是相应于变换矩阵 R 的用欧拉角表示的绕三个坐标轴的旋转角，及相应于平移矢量 t 的三个分量。 内部参数 常要确定的内部参数有： f：有效焦距，即图像平面到投影中心距离； k：透镜畸变系数 (非线性标定模 型中才有，本课题是以简单的小孔成像模型为基础的线性标定模型，故不考虑透镜畸变 )； X 方向的比例系数 (由于摄像机的扫描和时序误差使得其不能预先得知 )； Y 方向的比例系数 (对于 CCD 摄像机而言，以是预 10 先确定的 )；图像平面原点的计算机图像坐标。 在二维形状分析中可以选取图像帧存中心作为图像原点；而对三维视觉来说，景物的实际中心与图像帧存中心并不重合。 造成实际中心和帧存中心点不重合有以下几个原因： ① CCD 面阵安装并未以透镜的光轴为中心，尤其是透镜可以被转动和拆卸的摄像机，这一点更不能保证。 ②即使 CCD 面阵安装合适， 图像采集数字化的窗口的中心不一定与光学中心重合。 2． 2． 3摄像机的标定方法 摄像机标定是由二维图像提取三维空间信息关键的一步。 经典的标定方法是在摄像机前放一个已知形状和尺寸的物体 (标定物 )，经过对其进行图像处理，利用一系列数学变换和计算方法，求得摄像机的参数。 但是在某些视觉系统中，需要经常改变摄像机位置或调整摄像机光学系统，因此，在每次调整以后，都需要做摄像机标定。 空间点通过摄像机成像，其像点在像平面上的位置与空间点的位置之间存在着一定的几何关系。 而该关系就是由摄像机成像的几何模型决定的，该几何模型的参 数分为由摄像机内在属性决定的内参数和摄像机坐标系与世界坐标系的关系决定的外部参数，通称为摄像机参数。 这些参数都是可以确定的，确定这些参数的过程就称为摄像机标定。 现有的摄像机定标技术大体可以归结为三类：传统的摄像机定标方法、摄像机自定标方法和基于主动视觉的摄像机标定法。 传统摄像机定标方法是在一定的摄像机模型下，基于特定的实验条件如形状、尺寸己知的标定参照物，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。 自定标方法不依赖标定参照物，仅仅利用摄像机获取的图像信息来确定摄 像机参数。 基于主动视觉的摄像机标定就是指“己知摄像机的某些运动信息”下的摄像机标定，与自标定一样，它也是一种仅从图像对应点进行标定的方法。 传统的摄像机标定技术需要一个标定参照物，即需要在摄像机前放置一个己知物体。 在标定过程中，利用物体上一些已知点的三维坐标和它们相应的图像坐 11 标，计算摄像机的内外参数。 从计算方法的角度上看，传统的摄像机标定方法可分为四类，即利用最优化算法的标定方法，利用摄像机透视变换矩阵的标定方法，迸一步考虑畸变补偿的两步法和采用更为合理的摄像机模型的双平面标定方法。 按照计算求解的特点，又分 为直接非线性最小化法和闭式求解法 1。 直接线性变换 上世纪 70 年代初提出了直接线性变换的摄像机标定方法，他们从摄影测量学的角度深入的研究了摄像机图像和场景中物体之间的关系，以小孔模型为研究对象，忽略具体的中间成像过程，用一个 3 4 阶矩阵表示空间物点与二维像点的直接对应关系。 这种线性模型参数的估计完全可以由线性方程的求解来实现。 通过直接求解一组线性方程得到摄像机的有关参数，属于线性求解的方法。 其线性变换矩阵与透视变换矩阵只相差一个比例因子。 2． 透视变换矩阵的标定方法 透视变换标定方法采用线性针孔摄像机模型 ，一般来说，基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法没有本质区别，而且透视变换矩阵与直接线性变换矩阵之间只差一个常数因子，基于两者都可以计算摄像机的内部参数和外部参数。 这一类标定方法的优点是无需利用最优化方法来求解摄像机的参数，从而运算速度快，能够实现摄像机参数的实时计算。 2． 3立体视觉测距原理 视差原理是立体视觉测量技术中的一个重要原理。 立体视觉是通过多幅图像获取物体三维几何信息的方法，对生物视觉系统，人们早就注意到，几乎所有具有视觉的生物都有两个眼睛，用两个眼睛同时观察一个物体时，会有深 度或远近的感觉。 双目立体视觉就是仿照这个原理，利用两台摄像机从不同角度同时获取同一景物的两幅图像，通过计算空间点在两幅图像中的视差来获取景物的三维坐标值。 其视差测距原理如图 2． 3 所示，设 Cl、 Cr，分别为左、右两个相机的光学中心位置 (透镜中心 )， Cl与 Cr，之间的距离为 b，相机焦距为 f。 设物体上的点 P 在左、右相机图像平面上的投影点分别为 Pl、 Pr， P 与 ClCr 连线间的距离为 d， Cl、 Cr 分别向图像面 (即视平面 )作垂线，垂足分别为 Al， Ar，过 P 向图像面作垂线，垂足为 B。 令垂足为 B。 令 │ AlPl│ =La,│ ArPr│ =Lb,│ PrB│ =a。 12 图 2． 2 视差测距原理图 由相似三角形得 bd f ad a l   （ ） ab bb l l adfd a l     （ ） 由式 (2． 1)、 (2． 2)可得 a babblalll （ ） 代入式 (2． 1)得 bb a bal bfdf l l l  （ ） 由此可见距离 d 与 b、 f 和 lalb 有关， lalb 称为点 P 在左右两个图像面上的视差，两个图像相应的对应点只在水平方向存在视差，而 Y 方向的坐标值是相等的。 对于 固定的成像系统模型而言，参数 b、 f 取值己经确定，仅需要对立体图像对求取对应像素视差即可获得景物的深度信息。 双目视觉相机几何分析如下： P d Al la Pl lb Pr a B f Cl b Cr 13 在双目视觉中的成像系统模型分析中，常见的有两种：双目横模型结构和双目轴模型结构。 在双目视觉分析中，两相机不同的几何配置方法，将直接影响双目的共同视野、搜索的范围以及定位的精度等。 双目横模型结构是指两个相机平行放置，而在双目轴模型结构中，两个相机与目标在同一条直线上。 常用的成像系统模型为仿照人眼的双目横模型结构。 用 Cl和 Cr 两个相机同时观察 P 点，并且如果我们能确定在 Cl相机 图像上的 Pl点与在 Cr 相机图像上的 Pr是空间同一点 P 的图像点 (称 Pl、 Pr为对应点 )，则空间点 P 既位于 OlPl异上，又位于 OrPr 上，由此 P 点是 OlPl 和 OrPr 两条直线的交点，即它的三维位置是唯一确定的。 其关系如图 2． 3 所示。 图 两相机位置关系 关系式为： 1 1 1 11 11 12 13 141 1 1 11 21 22 23 241 1 1 131 32 33 341 1LXu m m m mYZ c v m m m mZm m m m  （ ） 2 2 2 22 11 12 13 142 2 2 22 21 22 23 242 2 2 231 32 33 341 1RXu m m m mYZ c v m m m mZm m m m  （ ） 其中： (u1， v1， 1)与 (u2， v2， 1)为 Pl、 Pr 点在各自图像中的 图像齐次标；mijk(k=1， 2； i=l， 2， 3； j=1„ 2 3 4)分别为投影矩阵的第 i行第 j 列的元素。 (x， 14 Y， z， 1)为 P 点在世界坐标系下的齐次坐标。 可在上面两个公式中消去 Zcl、 Zcr，得到关于 X， Y， Z 的四个线性方程，如下所示：      1 1 1 1 1 1 1 11 3 1 1 1 1 3 2 1 2 1 3 3 1 3 1 4 1 3 4u m m X u m m Y u m m Z m u m      （ ）      1 1 1 1 1 1 1 11 3 1 1 1 1 3 2 1 2 1 3 3 1 3 1 4 1 3 4v m m X v m m Y v m m Z m v m      （ ）      2 2 2 2 2 2 2 21 3 1 1 1 1 3 2 1 2 1 3 3 1 3 1 4 1 3 4u m m X u m m Y u m m Z m u m      （ ）      2 2 2 2 2 2 2 21 3 1 1 1 1 3 2 1 2 1 3 3 1 3 1 4 1 3 4v m m X v m m Y v m m Z m v m      （ ） 式 ()的几何意义为过 OlPl的直线，式 ()为过 Or， Pr 只的直线。 联立解得到的 (X， Y， Z)即为点 P 的空间坐标。 在相机的双目横模型结构设置中，由于两相机在水平方向相隔一定距离，所以存在以下问题： (1)利用横模型系统的一个固有问题是无法匹配点所引起的不 IF 确对应性。 产生无法匹配点的原因有两种：一是目标元素不处于共同视野，只有一个像机的成像平面中有其投影；二是即使目标元素处于共同视野，一个像机平面中有其投影，而另一个像机的成像平面中，因为由别的目标元素所遮挡，不存在投影。 在这两种情况 下，对一幅图像选择这些投影点，而在另一幅图像中则找不到它的对应性。 显然，减小像机之间的位移，可使其共同视野增加，出现上述情况的概率也随之减小。 (2)在相机的双目横模型结构设置的另一个突出的问题是提高深度测量的精度与降低不正确对应性，对像机间的间隔 △ x 有不同的要求。 为了扩大共同视野，就要减少像机问的距离，这样距离测量的准确度就变差。 当像机问 隔△ x=0 时，问题不存在了，但是双目视觉也就随之消失了。 反之，若增加像机之问的距离，则将增加深度测量的精度，而共同视野及不含糊匹配的概率也随之降低。 15 2． 4 图像处理技术 和算法研究 图像处理技术涉及到多个学科，是一门多学科交叉应用技术。 本节主要研究Windows 环境下图像显示、像素灰度提取、图像滤波和图像增强等技术。 2． 4． 1像素灰度提取和变换 图像在计算机中是用文件的形式存放的，常用的图像文件格式有BMP(Windows Bitmap)格式、 PCX 格式、 GIF 格式、 TIFF 格式、 JPEG 格式等。 Visual C++主要针对位图 BMP 进行处理，位图也是本文的主要研究图像，对于其它格式的图像，我们可以用图像处理软件如 ACDSee 把它转换成 BMP 格式。 BMP 格式的文件内容包 括文件头、位图信息数据块 (位图信息头 BITMAP INFOHEADER 和一个调色板 Palette)和图像数据。 对于用到调色板的位图，图像数据就是该像素颜在调色板中的索引值，对于真彩色图，图像数据就是实际的 R，G， B 值。 图像数字化时，物理图像被划分为称作图像元素的小区域，图像元素简称像素，最常见的划分是采用方形采样网格。 在每个像素位置，图像的亮度被采样和量。