图像超分辨率重建技术研究论文

图像超分辨率重建技术研究论文内容摘要：

Interpolation of NonUniformly Spaced Samples 后向投影迭代 IBP 概率论方法 Probabilitic Methods 以及集合论 方法 Set Theoretic Methods 混合MAPPOCS 方法以及自适应滤波方法等 非均匀空间样本差值算法 观测影像序列经过配准后形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网非均匀间隔样本内插方法是超分辨率图像复原最直观的方法在这一方法中首先对图像进行相对运动估算即配准然后进行非均匀插值以便产生一幅分辨率较高的图像最后对图像进行去模糊通用插值方法将包含原始函数的空间分解为适当的子空间在每一个子空间内进行以插值为目 的的尺度变换然后将插值空间逆变换到原始空间这样原始空间也就包含了插值函数相当于在原始空间内插值挑选这些子空间的原则是尺度变换的操作能够保持原始函数的特性使用估算的相对运动信息可以获得非均匀间隔样点上的 HR 图像一旦通过非均匀插值获得一幅 HR 图像就能处理复原问题以消除模糊与噪声可以使用任何考虑噪声存在的去卷积方法来进行复原 AizawaKomatsu和 Saito提出了另一种基于内插的方法对通过立体相机获取超分辨率影像的方法进行了讨论 Masayuki 用内插滤波方法对遥感影像进行了模拟试验证明了超分辨率的可行性但效果 并不很理想近年来有的学者对基于小波的图像超分辨率技术进行了初步的研究和试验 Nguyen 和Milanfar 提出了基于小波插值方法的超分辨率复原其基本思想是将多帧低分辨率数据变换到不同尺度的小波空间然后在不同尺度的小波空间进行图像复原得到 HR 图像取得了比较满意的试验结果总的来说非均匀插值方法的优势是它具有相对较低的计算负荷并能进行实时应用但是内插方法过于简单化因为观察数据是从严格的欠采样得到的在复原这一步 典型的假设是脉冲采样 不能得到比低分辨率图像中更多的频率成分并且退化模 型是受限制的它们只适用于模糊和噪 声特性对全部低分辨率图像都一样的情况也能利用任何先验信息另外由于复原步骤忽视了插值阶段中产生的误差所以不能保证整个复原算法的最优性 迭代反投影法 Irani 等提出了一种迭代反投影算法这种算法首先用输出图像的一个初始估计作为当前结果并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像低分辨率模拟图像与实际观测图像的差值称为模拟误差根据模拟误差不断更新当前估计 Tom 等通过改进运动补偿方法进一步提高了迭代反投影算法的性能并将迭代反投影算法推广应用到彩色视频序列的超分辨率图像重建上迭代反投影算法 的优点是直观简单缺点是问题具有病态性解不惟一而且难以利用先验信息凸集投影算法是一种集合理论重建方法超分辨率图像的可行域是一组凸约束集合的交集而这组凸约束集合代表了期望的超分辨率图像的一些特性如数据可靠能量有限正定支撑域有界平滑等 POCS 算法是一种迭代过程在给定超分辨率图像可行域中任意一个点的前提下可以找到一个满足所有凸约束条件的点即收敛解 Stark 和 Oskoui 首先将 POCS 应用于超分辨率图像重建 Tekalp 等进行了改进考虑了传感器噪声 Patti 等又提出了考虑多种降质因素的图像获取模型包括照相机运动非零孔径 时间传感器单元的非零物理尺寸由光学成像元件引起的模糊传感器噪声任意空间时间采样等最大后验概率估计和最大似然估计算法是一种统计重建方法它是把超分辨率重建问题看成一个统计估计问题最大后验概率估计的含义就是在已知低分辨率视频序列的条件下使出现高分辨率图像的后验概率达到最大根据贝叶斯理论高分辨率图像的后验概率等于以下两项之积 1已知理想高分辨率图像的条件下低分辨率视频序列的条件概率 2理想高分辨率图像的先验概率条件概率项通常采用高斯模型先验概率项在不同的算法中采用不同的模型通常采用的先验模型应该具有三个特点 1 是一个局部 平滑函数 2具有边缘保持能力 3 是一个凸函数大多数最大后验概率估计算法的差别就是在先验模型的选择上一种常用的先验模型是 HuberMarkov 模型将对数似然函数化简得到一个约束最优化问题 MAP 估计算法就是将目标函数最小化若目标函数是凸函数则保证了它在最优化过程中的收敛性Schultz等提出了 MAP超分辨率图像重建算法它是单帧图像插值算法的推广这种方法采用 HuberMarkov 模型作为图像的先验信息这些先验约束是解决超分辨率重建问题的病态性所必须的 Hardie 等提出了一种与超分辨率图像和配准参数同时有关的 MAP目标函数这种方法可以同时进行运动估计和图像重建为了解决 MAP超分辨率重建方法的病态性问题可以把 TikhonovArsenin 正则化引入到超分辨率重建方法中 TikhonovArsenin 正则化函数可以认为是贝叶斯框架中 Markov随机场先验的特例 APPOCS 方法 混合 MAPPOCS 方法就是在最大后验概率方法的迭代优化过程中加人一些先验约束在对超分辨率重建进行深人研究的基础上有的学者提出将统计理论与集合论有机统一在一起能同时考虑观察图像的随机统计特征和凸集特征这就是所谓的混合 MAPPOCS 方法对于 最大后验概率估计算法其优点是可以在解中直接加入先验约束能确保解的存在和惟一其降噪能力较强且收敛稳定性高其缺点是收敛慢运算量大另外最大后验概率估计算法的边缘保持能力不强由这类方法超分辨率复原的图像的细节信息容易被平滑掉对于凸集投影算法其优点是可以方便地加入先验信息可以较好的保持高分辨率图像上的边缘和细节特征缺点是解不唯一且依赖于初始估计并且运算量大收敛稳定性不高等另外 POCS 算法中的图像修正过程是基于数据一致性的因而超分辨率估计图像的边缘振荡效应是它的一个明显不足之处比较 MAP 估计 POCS 两种算法的优缺点可以 发现两种算法有许多互补性如 MAP估计的迭代收敛稳定性比 POCS算法好但 POCS算法的收敛速度却比MAP 估计快 MAP 估计的降噪能力比 POCS 强但 POCS 的边缘保持能力却比 MAP 估计来的好 MAP 估计可以平滑性参数控制但 POCS 对先验知识可以强制约束等同时两种算法也用共同的优良特性比如两种算法都容易加入先验约束等鉴于两种算法有这样的特点很多学者提出了将基于概率理论的方法与基于集合理论的方法统一起来形成混合 MAPPOCS 算法以期待新算法能将数学的严格性解的唯一性与先验约束的方便性有机地结合已有的理论证实只有采用梯度 下降最优化方法才能保证这种混合 MAPPOCS 方法收敛到全局最优解 24 常见的图像重构算法的比较 超分辨率图像重构包括频域和空间域两类主要算法频域算法首先被提出但是目前的研究则基本都是对空间域算法进行的通过前面的介绍我们己经可以看到空间域算法具有更好的适应性和重构效果下面对这两类算法做一个详细比较可以更清楚地看到它们各自优劣所在 表 21MAP 算法与 POCS 算法它们都具有高度的灵活性和良好的可扩展性重构图像的效果也比较令人满意贝叶斯算法与 POCS 算法相比有更严谨的理论框架其最大的优点是重构结果是唯一的 POCS 算法的优点则是算法比较直观对先验知识的利用更加简单灵活下面把这两种算法的一些特性作一比较 表 22MAP 算法与 POCS 算法的比较 MAP 算法 POCS 算法 使用的理论 大量 有限 先验知识 使用先验概率密度容易应用没有大的限制 使用凸集容易应 用有效而且简单 重构结果 唯一的 MAP 估计值 不唯一凸集的交 集 优化方法 标准的迭代算法收敛性好 迭代投影法收敛 较慢 计算量 高 较高 3 POCS 算法及其改进算法的实现 超分辨率图像重构是一个典型的病态求逆问题所谓病态问题用数学的语言来讲就是由方程的己知条件无法唯一地确定方程的解求解病态问题的通用方法是采用正则化方法即利用图像的各种有关信息来约束问题的可能解的空问范围在超分辨率图像重构中正则化一般是通过以下两种方式来进行 1 利用图像序列所能提供的额外的有关图像的空间一时间约束信息 低分辨率图像序列通 常能够提供有关约束同一场景高分辨率图像的亚像素信息 2 利用各种有关图像的先验知识来约束高分辨率图像的解空间 例如有关图像的局部平滑先验知识边界先验知识能量有界性先验知识等 凸集投影 Projection onto convex setsPOCS 是图像重构的重要理论方法之一该方法以其强大的先验知识包含能力成为近年来图像复原领域中一种主要方法并在图像超分辨率重构方面也得到了很好的应用 POCS 方法之所以在图像超分辨率重构领域收到如此重视主要在于该方法存在着以下优点 1 原理简单 POCS 方法原理直观 实现算法简单唯一的困难在于投影操作算子的确定 2 灵活的空域观测模型因为 POCS 方法是空间域的典型公式非常一般的运动模型观测值模型均能适应其中运动即观测值模型的复杂度对 POCS 方法几何没有影响 3 强大的先验。