图像超分辨率重建技术研究毕业论文

图像超分辨率重建技术研究毕业论文内容摘要：

列全局位移的要求很可能不被满足，由于傅立叶变换的平移特性是频域算法使用的基本技术之一，很难对运动模型进行调整以适应有局部运动情况的图像序列，缺少灵活性，从而限制了在大多数实际情况。 (2) 退化模型与运动模型的问题类似，频域算法因为要把所有像素点统一转换到频域进行处理，所以无法应用随空间变化的退化模型，没有考虑光学系统的点扩散函数 PSF、运动模糊和观测噪声的影响。 对观察噪声的处理能力也非常有限。 (3)先验知识的应用：超分辨率图像重构是病态求逆 的过程，因此恢复过程中 6 利用各种先验知识进行图像调整是很重要的。 通常最有用的先验知识都是在空间域对图像的重构范围进行限制的，它们很难被用于频域，除非其效果是移不变的。 (4)图像频带受限：图像频带有限与全局位移都是进行频域重构的基本假设。 算法中 L 值的设置会限制重构图像的质量，如果设置得高，就会导致线性方程组中的未知量过多，数据点不足的问题。 空间域方法 空间域方法是图像超分辨率重建应用中另一类主要的方法，是目前研究的热点，它的性能要远远高于频域的方法。 它将复杂的运动模型与相应的插值、迭代及滤波重采 样放在一起进行处理，作为影像重建的全部内容，其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样及其他一些内容。 空间域影像超分辨率重建方法主要包括非均匀间隔样本内插 (Interpolation of NonUniformly Spaced Samples)、后向投影迭代(IBP)，概率论方法 (Probabilitic Methods)以及集合论方法 (Set Theoretic Methods)、混合 MAP/POCS 方法以及自适应滤波方法等。 非均匀 空 间样本差值算法 观测影像序列经过配准后，形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像，这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。 非均匀间隔样本内插方法是超分辨率图像复原最直观的方法。 在这一方法中，首先对图像进行相对运动估算，即配准，然后进行非均匀插值以便产生一幅分辨率较高的图像，最后对图像进行去模糊。 通用插值方法将包含原始函数的空间分解为适当的子空间，在每一个子空间内进行以插值为目的的尺度变换，然后将插值空间逆变换到原始空间。 这样原始空间也就包含了插值函数，相当于在原始 空间内插值。 挑选这些子空间的原则是：尺度变换的操作能够保持原始函数的特性。 使用估算的相对运动信息，可以获得非均匀间隔样点上的 HR 图像。 一旦通过非均匀插值获得一幅 HR 图像，就能处理复原问题以消除模糊与噪声。 可以使用任何考虑噪声存在的去卷积方法来进行复原。 Aizawa,Komatsu 和 Saito 提出了另一种基于内插的方法，对通过立体相机获取超分辨率影像的方法进行了讨论Masayuki 用内插滤波方法对遥感影像进行了模拟试验，证明了超分辨率的可行性，但效果并不很理想。 近年来，有的学者对基于小波的图像超分辨率技术进行 了初步的研究和试验， Nguyen 和 Milanfar 提出了基于小波插值方法的超分辨率复原。 其基本思想是将多帧低分辨率数据变换到不同尺度的小波空间，然后在不同尺度的小波空间进行图像复原，得到 HR 图像，取得了比较满意的试验结果。 总的来说，非均匀插值方法的优势是它具有相对较低的计算负荷，并能进行实时应用。 但是， 7 内插方法过于简单化，因为观察数据是从严格的欠采样得到的，在复原这一步 (典型的假设是脉冲采样 )不能得到比低分辨率图像中更多的频率成分。 并且退化模 型是受限制的，它们只适用于模糊和噪声特性对全部低分辨率图像都一 样的情况，也能利用任何先验信息。 另外，由于复原步骤忽视了插值阶段中产生的误差，所以不能保证整个复原算法的最优性。 迭代反投影法 Irani 等提出了一种迭代反投影算法。 这种算法首先用输出图像的一个初始估计作为当前结果，并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低分辨率模拟图像与实际观测图像的差值称为模拟误差，根据模拟误差不断更新当前估计。 Tom 等通过改进运动补偿方法，进一步提高了迭代反投影算法的性能，并将迭代反投影算法推广应用到彩色视频序列的超分辨率图像重建上。 迭代反投影算 法的优点是直观、简单；缺点是问题具有病态性，解不惟一，而且难以利用先验信息。 投影算法 凸集投影算法是一种集合理论重建方法。 超分辨率图像的可行域是一组凸约束集合的交集，而这组凸约束集合代表了期望的超分辨率图像的一些特性，如数据可靠、能量有限、正定、支撑域有界、平滑等。 POCS 算法是一种迭代过程，在给定超分辨率图像可行域中任意一个点的前提下，可以找到一个满足所有凸约束条件的点（即收敛解）。 Stark 和 Oskoui 首先将 POCS 应用于超分辨率图像重建。 Tekalp 等进行了改进，考虑了传感器噪声。 Patti 等又提出了考虑多种降质因素的图像获取模型，包括照相机运动、非零孔径时间、传感器单元的非零物理尺寸、由光学成像元件引起的模糊、传感器噪声、任意空间时间采样等。 最大后验概率估计和最大似然估计算法是一种统计重建方法，它是把超分辨率重建问题看成一个统计估计问题。 最大后验概率估计的含义就是在已知低分辨率视频序列的条件下，使出现高分辨率图像的后验概率达到最大。 根据贝叶斯理论，高分辨率图像的后验概率等于以下两项之积： 1）已知理想高分辨率图像的条件下，低分辨率视频序列 的条件概率； 2）理想高分辨率图像的先验概率。 条件概率项通常采用高斯模型，先验概率项在不同的算法中采用不同的模型。 通常采用的先验模型应该具有三个特点： 1）是一个局部平滑函数； 2）具有边缘保持能力；3）是一个凸函数。 大多数最大后验概率估计算法的差别就是在先验模型的选择上。 一种常用的先验模型是 HuberMarkov 模型。 将对数似然函数化简，得到一个约束最优化问题。 MAP 估计算法就是将目标函数最小化。 若目标函数是凸函数，则保证了它在最优化过程中的收敛性。 8 Schultz 等提出了 MAP 超分辨率图像重建算法，它是单 帧图像插值算法的推广。 这种方法采用 HuberMarkov 模型作为图像的先验信息，这些先验约束是解决超分辨率重建问题的病态性所必须的。 Hardie 等提出了一种与超分辨率图像和配准参数同时有关的 MAP 目标函数，这种方法可以同时进行运动估计和图像重建。 为了解决 MAP 超分辨率重建方法的病态性问题，可以把 TikhonovArsenin 正则化引入到超分辨率重建方法中 TikhonovArsenin 正则化函数可以认为是贝叶斯框架中 Markov 随机场先验的特例。 MAP/POCS 方法 混合 MAP/POCS 方法就是在最大后验概率方法的迭代优化过程中加人一些先验约束。 在对超分辨率重建进行深人研究的基础上，有的学者提出将统计理论与集合论有机统一在一起，能同时考虑观察图像的随机统计特征和凸集特征，这就是所谓的混合 MAP/POCS 方法，对于最大后验概率估计算法，其优点是可以在解中直接加入先验约束、能确保解的存在和惟一，其降噪能力较强且收敛稳定性高；其缺点是收敛慢、运算量大。 另外，最大后验概率估计算法的边缘保持能力不强，由这类方法超分辨率复原的图像的细节信息容易被平滑掉，对于凸集投影算法，其优点是可以方便地加入先验信息 ，可以较好的保持高分辨率图像上的边缘和细节特征；缺点是解不唯一且依赖于初始估计，并且运算量大、收敛稳定性不高等。 另外， POCS 算法中的图像修正过程是基于数据一致性的，因而超分辨率估计图像的边缘振荡效应是它的一个明显不足之处。 比较 MAP 估计、 POCS 两种算法的优缺点，可以发现两种算法有许多互补性，如： MAP 估计的迭代收敛稳定性比 POCS算法好，但 POCS 算法的收敛速度却比 MAP 估计快； MAP 估计的降噪能力比 POCS强，但 POCS 的边缘保持能力却比 MAP 估计来的好； MAP 估计可以平滑性参数控制，但 POCS 对先验 知识可以强制约束等。 同时两种算法也用共同的优良特性，比如两种算法都容易加入先验约束等。 鉴于两种算法有这样的特点，很多学者提出了将基于概率理论的方法与基于集合理论的方法统一起来形成混合 MAP/POCS算法，以期待新算法能将数学的严格性、解的唯一性与先验约束的方便性有机地结合。 已有的理论证实，只有采用梯度下降最优化方法才能保证这种混合MAP/POCS 方法收敛到全局最优解。 常见的图像重构算法的比较 超分辨率图像重构包括频域和空间域两类主要算法，频域算法首先被提出，但是目前的研究则基本都是对空间域算法进行 的，通过前面的介绍我们己经可以看到空间域算法具有更好的适应性和重构效果，下面对这两类算法做一个详细比较，可以更清楚地看到它们各自优劣所在。 9 表 21：频域算法与空间域算法的比较 频域算法 空间域算法 运动模型 全局性限制 基本上没有限制 噪声模型 受限制 较灵活 退化模型 受限制 可为移变或移不变 超分辨率图像重构机制 去混迭、去模糊 去混迭和利用先验知识进行频带展宽 计算的复杂性 低 高 先验知识约束 难利用 能够有效的利用 可拓展性 差 好 复原图像的质量 一定条件下较好 很好 从表中可以看到，频域算法中采用的各系统模型都是相对简单的，而空间域算法则尽量采用通用的，能够包含各种实际可能遇到情况的模型，因此频域算法只能在特定的情况下使用，空间域算法则适用于几乎是所有的场合。 当然这是因为二者的出发点不一样，频域算法本身就是为了对一种特定的图像序列 (卫星拍摄图像 )进行处理而产生的，它的处理思想也是基于这样的特殊情况，所以难以改进扩展。 频域算法的提出引出了超分辨率图像重构的课题，而空间域算法是为了解决超分辨率图像重构问题而产生的，在设计算法的时候自然要先考虑算法的适应范围的问题。 频 域算法的理论很简单，只涉及到一些傅立叶变换的知识，进行图像重构时的计算量也不大，空间域算法考虑了各种运动、降质、噪声情况以及图像的先验知识，因此算法相对复杂，而且多数空间域算法要采用重复修正逼近的方法求解，计算量也非常大。 从图像重构的效果来看，空间域算法比频域算法好，主要是因为它对先验知识有较好的包容性，先验知识对图像的限制通常是非线性的，而从图像复原的相关知识中我们可以了解到图像频谱的扩展是要通过非线性过程的作用来实现。 空间域算法中最有前途的是 MAP 算法与 POCS 算法，它们都具有高度的灵活性和良好的可扩 展性，重构图像的效果也比较令人满意，贝叶斯算法与 POCS 算法相比有更严谨的理论框架，其最大的优点是重构结果是唯一的， POCS 算法的优点则是算法比较直观，对先验知识的利用更加简单灵活。 下面把这两种算法的一些特性作一比较。 10 表 22： MAP 算法与 POCS 算法的比较 MAP 算法 POCS 算法 使用的理论 大量 有限 先验知识 使用先验概率密度，容易应用，没有大的限制 使用凸集，容易应 用，有效而且简单 重构结果 唯一的 MAP 估计值 不唯一，凸集的交 集 优化方法 标准的迭代算法，收敛性好 迭代投影法，收敛 较慢 计算量 高 较高 11 3 POCS 算法及其改进算法的实现 超分辨率图像重构是一个典型的病态求逆问题。 所谓病态问题，用数学的语言来讲，就是由方程的己知条件，无法唯一地确定方程的解。 求解病态问题的通用方法是采用正则化方法，即利用图像的各种有关信息来约束问题的可能解的空问范围。 在超分辨率图像重构中，正则化一般是通过以下两种方式来进行 ： (1) 利用图像序列所能提供的额外的、有关图像的空间一时间约束信息 (低分。