CN103873875A

CN103873875A - 一种用于图像超分辨的分层亚像素运动估计方法

Info

Publication number: CN103873875A
Application number: CN201410114075.2A
Authority: CN
Inventors: 刘琚; 伯君; 孙国霞; 赵悦
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2014-03-25
Filing date: 2014-03-25
Publication date: 2014-06-18

Abstract

本发明提供一种用于图像超分辨的分层亚像素运动估计方法，属于图像处理领域。该方法分为整像素运动估计和亚像素运动估计两个阶段。进行整像素运动估计时采用小波分解，构造图像金字塔，并通过采用重叠块运动估计和UMHexagonS算法逐层进行由粗到精的快速匹配。进行亚像素运动估计时采用NEDI插值，以快速得到准确的估计结果。实验结果表明该方法以极小的搜索代价获得了相当准确的搜索结果。

Description

一种用于图像超分辨的分层亚像素运动估计方法

技术领域

本发明涉及一种用于图像超分辨的分层亚像素运动估计方法，属于图像处理技术领域。

背景技术

在大量的电子图像应用领域，人们经常期望得到高分辨率（简称HR）图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就能很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。因此，寻找一种增强当前分辨率水平的方法是非常必须的。

一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率（简称LR）图像得到高分辨率图像。其基本前提是对于同一场景可以获取多幅LR细节图像，并且LR图像是基于亚像素精度的平移亚采样。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。通过亚像素运动估计，得到低分辨率图像间的运动矢量就可以从多幅LR图像中合成出HR图像。因此，精确而快速的亚像素运动估计成为决定超分辨效果的关键技术。

亚像素运动估计是在整像素运动估计的基础上将估计精度提高到亚像素级别，其普遍采用的方法是块搜索与插值相结合的算法。在所有块搜索算法中，全搜索算法是精度最高的，但由于其计算量过高，难以用于实际应用。而普遍采用的菱形搜索、三步搜索等快速搜索算法由于其算法自身缺陷容易陷入局部最优解，影响运动估计的准确性。在插值阶段常用的双线性插值算法以灰度加权值作为新的灰度值，使得新图像出现边缘模糊问题。因此，一种好的亚像素运动估计方法必须同时考虑搜索精度和运算速度。

发明内容

为解决传统亚像素运动估计方法中的局部最优和边缘模糊问题，实现准确而快速的亚像素运动估计，本发明提出一种UMHexagonS算法与小波分解相结合的方法。UMHexagonS算法使用非对称十字型多层次六边形格点搜索策略，对小幅度运动向量和大幅度运动向量都有很好的适应性，能尽可能避免菱形搜索、三步搜索等快速搜索算法的局部最优问题，UMHexagonS算法与小波分解相结合，进行由粗到精的分层搜索，进一步降低了算法的计算复杂度，使算法最终达到的估计精度与全搜索近似，而计算复杂度与全搜索相比大大降低。进行亚像素运动估计时采用NEDI插值，以快速得到准确的估计结果。

为实现上述发明目的，本发明采用下述技术方案：

一种用于图像超分辨的分层亚像素运动估计方法，该方法将UMHexagonS算法与小波分解相结合，实现准确而快速的亚像素运动估计，该方法包括以下步骤：

步骤1：将参考图像R和待配准图像F分别采用小波分解生成图像金字塔，并分别取其低频信息LL分量作为搜索对象；

步骤2：从最顶层开始，采用UMHexagonS算法进行搜索；

步骤3：以上一层的搜索结果作为下一层搜索的粗略位置，直到得到原分辨率图像的搜索结果；

步骤4：对待配准图像进行NEDI插值，放大倍数为N；

步骤5：对插值后的图像块下采样，生成一组低分辨率的图像块；

步骤6：将参考图像R中的匹配块与步骤5得到的低分辨率图像块进行匹配，得到亚像素级的配准结果。

优选的，在步骤1中采用haar小波对参考图像R和待配准图像F分解生成图像金字塔。

优选的，在步骤2和步骤3中采用重叠块运动估计，以提高运动估计的效果，降低块效应。

优选的，在步骤5中对插值后的图像块在水平方向上和垂直方向上每隔N个点取一个点，生成一组低分辨率图像块。

优选的，在步骤5中对待配准图像F进行分块时采用重叠块的形式。

优选的，在步骤6中采用重叠块运动估计，以提高运动估计的效果，降低块效应。

本发明中，采用小波分解构造图像金字塔，具有抗噪声和平滑的特点，进行由粗到精的逐级搜索以加快搜索速度，并且采用NEDI插值，它运用了自相似性的概念，其边缘导向特性可以协调插值的系数，使得随机导向的阶跃边缘更加匹配。在进行块运动估计时，采用重叠块运动估计，提升了运动估计的效果，降低了块效应。并且采用了UMHexagonS搜索算法，其运算精度与全搜索近似，而运算复杂度大大降低。实验结果表明，本方法搜索位置数下降率在90%以上，而搜索精度比全搜索没有明显下降，本发明提出的分层亚像素运动估计方法，在兼顾到配准精度的同时，极大地降低了算法的运算量，提升了配准效率。

附图说明

图1是本发明所述的用于图像超分辨的分层亚像素运动估计方法的流程图；

图2是Lena图像小波多分辨率分解结果示意图；

（a）原图

（b）一级分解图

（c）二级分解图

图3是图像金字塔模型示意图；

图4是UMHexagonS算法搜索过程的示意图；

图5是多分辨率法分层搜索示意图；

图6是NEDI插值过程示意图。

（a）第一步

（b）第二步

具体实施方式

本发明提出一种UMHexagonS算法与小波分解相结合的方法。UMHexagonS算法使用非对称十字型多层次六边形格点搜索策略，对小幅度运动向量和大幅度运动向量都有很好的适应性，能尽可能避免菱形搜索、三步搜索等快速搜索算法的局部最优问题，UMHexagonS算法与小波分解相结合，进行由粗到精的分层搜索，进一步降低了算法的计算复杂度，使算法最终达到的估计精度与全搜索近似，而计算复杂度与全搜索相比大大降低。进行亚像素运动估计时采用NEDI插值，以快速得到准确的估计结果。图1中明确表示了本发明所述方法的整体流程，具体实施步骤如下：

步骤1：将参考图像R和待配准图像F用haar小波分解后生成图像金字塔模型，它的每一级都包括LL、LH、HL、HH分量，选取LL分量作为搜索的对象，图2所示为lena图像小波分解结果的示意图，图3所示为生成三层图像金字塔模型的示意图。

步骤2：从最顶层开始进行搜索，搜索时采用重叠块运动估计，将图像分块向外扩展一部分，以减轻块效应。采用UMHexagonS算法进行搜索，UMHexagonS算法的搜索过程如图4所示：

（1）首先进行非对称的十字型搜索，用“△”表示，水平方向的搜索范围为竖直方向的两倍，这一步可以为下一步的搜索提供精确的搜索起点；

（2）以步骤（1）确定的搜索起点为中心进行5x5的全搜索，用“○”表示，以确定小运动的精确运动向量；

（3）进行16个点的六边形搜索，用“□”表示，构造不同尺度的多六边形网格，其最佳搜索位置作为下一步搜索的搜索中心；

（4）进行扩展搜索，直到最佳搜索位置位于搜索区域的中心，用

和“■”表示。

步骤3：以上一层的搜索结果作为下一层搜索的粗略位置，直到得到原分辨率图像的搜索结果，在进行逐级搜索时，以一层分解为例，先对低分辨率图像块进行搜索配准，得到一个运动向量(x,y)，然后再将高分辨率图像块，即原待配准图像块，在以参考图像的坐标点(2x,2y)为中心的周围进行小范围的配准，如图5所示，在(2x,2y)点向四周扩展两个像素(灰色圆点处)细化配准结果。

步骤4：对待配准图像F进行插值，放大倍数为N，插值时采用NEDI插值，假设缩放系数N等于2，NEDI插值可以分成两步，如图6所示。第一步是对点(2i+1,2j+1)进行插值，插值后的灰度值根据四个临近对角的像素灰度值按以下公式计算确定：

Y_{2 i + 1,2 j + 1} = Σ_{k = 0}^{1} Σ_{l = 0}^{1} α_{2 k + 1} \cdot Y_{2 (i + k), 2 (j + l)}

第二步是用同样的方法在旋转45°之后，将剩余的空白点进行插值。

步骤5：对插值后的图像块下采样，即在水平和垂直方向上每间隔N个点取一点，生成一组低分辨率的图像块。

步骤6：将参考图像R中的匹配块与步骤5得到的插值图像块进行匹配，得到最佳运动向量。将这个运动乘以

之后，就得到了亚像素级的配准结果。

以上公开的仅为本发明的具体实施例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims

1.一种用于图像超分辨的分层亚像素运动估计方法，该方法将UMHexagonS算法与小波分解相结合，实现准确而快速的亚像素运动估计，其特征在于进一步包括以下步骤：

步骤2：从最顶层开始，采用UMHexagonS算法进行搜索；

步骤4：对待配准图像进行NEDI插值，放大倍数为N；

2.根据权利要求1所述的用于图像超分辨的分层亚像素运动估计方法，其特征在于在步骤1中采用haar小波对参考图像R和待配准图像F分解生成图像金字塔。

3.根据权利要求1所述的用于图像超分辨的分层亚像素运动估计方法，其特征在于在步骤2和步骤3中采用重叠块运动估计，以提高运动估计的效果，降低块效应。

4.根据权利要求1所述的用于图像超分辨的分层亚像素运动估计方法，其特征在于在步骤5中对插值后的图像块在水平方向上和垂直方向上每隔N个点取一个点，生成一组低分辨率图像块。

5.根据权利要求1所述的用于图像超分辨的分层亚像素运动估计方法，其特征在于在步骤5中对待配准图像F进行分块时采用重叠块的形式。

6.根据权利要求1所述的用于图像超分辨的分层亚像素运动估计方法，其特征在于在步骤6中采用重叠块运动估计，以提高运动估计的效果，降低块效应。