CN102163329A - 基于尺度类推的单幅红外图像的超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于尺度类推的单幅红外图像的超分辨率重建方法，主要解决现有方法存在的边缘模糊、纹理弱、信噪比低、实时性差的问题。步骤为：(1)对待超分辨重建的红外图像s进行立方插值，得到立方插值后的图像B；(2)对高分辨率的红外图像H进行非下采样轮廓波分解，将它的低通子带作为用于学习的低分辨率图像，将它的N个带通方向子带作为用于学习的高频细节图像，并通过尺度类推依次学习它们之间的映射关系；(3)将映射关系依次作用于立方插值后的图像B，得到N个高分辨率的带通方向子带；(4)对立方插值后的红外图像B和N个高分辨率的带通方向子带一起进行非下采样轮廓波逆变换，得到超分辨率重建的红外图像S。超分辨率重建的红外图像视觉效果好，边缘纹理突出，信噪比高。

Description

基于尺度类推的单幅红外图像的超分辨率重建方法

技术领域

本发明属于图像信号处理技术领域，涉及超分辨率图像重建方法，具体涉及一种基于尺度类推的单幅红外图像的超分辨率重建方法。

背景技术

红外成像设备作用距离远，隐蔽性好，具有理想的环境适应性，与可见光相比，红外图像除具有干扰小、图像信息简洁等特点外，还能反映物体的热辐射特征。因此，它被广泛的应用于军事和民用领域。但是，红外图像普遍具有整体偏暗、目标和背景对比度低、纹理弱、噪声大、图像的灰度分布较为集中等不足，不易于观察图像的细节。由于以上特点，对红外图像进行超分辨率重建，成了改善图像质量、提高图像分辨率、突出目标细节的一种途径。

图像空间分辨率是对图像细节分辨能力的一种度量，也是评价目标细微程度的关键性指标。为了提高图像的分辨率，最常见的传统方法是插值法：包括最近邻插值、双线性插值和立方卷积插值等。这些算法实现简单，运行速度快，且能适用于任何图像。但从信息的角度来看，并没有增加任何细节，且会导致放大后的图像轮廓模糊，高频信息受损。因而此类方法获得高分辨率图像的效果不是很好。超分辨率技术突破了传统方法的束缚，提出利用多幅具有互补信息的低分辨率图像来重构一幅高分辨率图像。目前，超分辨率重建技术主要分为频域法和空域法。频域法最早是由Tsai和Huang在1984年提出的，该方法缺乏灵活性，不能推广到一般的非平移运动模型。相比于频域法，空域法能够方便的融合各种先验信息，降质模型涉及范围广，具有更大的灵活性，主要有非均匀插值法，迭代反投影(IBP)算法，凸集投影(POCS)算法，最大后验概率估计算法(MAP)和最大似然估计方法(ML)，混合ML/MAP/POSC，自适应滤波法，超分辨率盲重建法等。空域法不依赖于其他外界信息，简单、易用，但由于所需信息只能从输入图像序列获得，而需要增加的信息本质上是无法预测的，随着分辨率放大系数的增加，所需信息更多，无论增加多少输入图像，都无法再改善重建效果。近年来，人们又提出基于学习的超分辨率重建方法，通过一个训练集合来作为学习样本，用一种搜索匹配方式将样本的细节信息添加到待处理图像中，用一幅低分辨率图像来复原高分辨图像。基于学习的超分辨率方法为了获得更准确的细节信息，训练集合中的样本数量往往很大，导致算法运行速度较慢。2001年纽约大学的Herzmann等人提出了图像类推，并可以通过图像类推来实现超分辨率重建，但是由于图像的灰度值变化范围比较大，会导致类推过程产生较大的误差。国内的古元亭和吴恩华提出基于图像类推的超分辨率技术，用一种自我类推的方法来提高图像的清晰程度。该方法能产生较为合理的细节以增强图像，但此方法因为学习样本只有自身，能获取供学习的信息量较低，使获取的超分辨率图像效果不是很理想，会产生一定的人工痕迹和视觉上过硬的边缘。对于分辨率低、边缘纹理模糊的红外图像，常用的超分辨率重建方法大都存在边缘模糊、纹理细节弱、信噪比低、实时性弱等问题。

发明内容

本发明的目的是要提供一种边缘纹理较突出、信噪比高、视觉效果好的基于尺度类推的红外图像的超分辨率重建方法。

本发明实现上述目的所采用的技术方案是，一种基于尺度类推的红外图像的超分辨率重建方法，其特征在于：对待超分辨率重建的红外图像s进行超分辨率重建，包括以下步骤：

(1)对高分辨率的红外图像H进行非下采样轮廓波分解，得到1个低通子带和N个带通方向子带，N为正整数；

(2)对待超分辨重建的红外图像s进行立方插值，得到立方插值后的图像B；

(3)将步骤(1)中的高分辨率的红外图像H的低通子带作为用于学习的低分辨率图像A，再将高分辨率的红外图像H的N个带通方向子带依次作为用于学习的高频细节图像，同时依次记作A₁，A₂...A_m...A_N，其中A_m代表第m个用于学习的高频细节图像；

(4)通过尺度类推依次学习低分辨率图像A和高频细节图像A₁，A₂...A_m...A_N之间的映射关系f₁，f₂...f_m...f_N，再将映射关系f₁，f₂...f_m...f_N依次作用于立方插值后的图像B，得到N个高分辨率的带通方向子带，依次记作f₁(B)，f₂(B)...f_m(B)...f_N(B)；

(5)先将立方插值后的红外图像B作为高分辨率的低通方向子带，再将它和N个高分辨率的带通方向子带f₁(B)，f₂(B)...f_m(B)...f_N(B)一起进行非下采样轮廓波逆变换，得到超分辨率重建的红外图像S，从而完成对待超分辨率重建的红外图像s的超分辨率重建。

步骤(1)中，对高分辨率的红外图像H进行J级非下采样轮廓波分解，高分辨率的红外图像H首先通过非下采样塔式分解实现多尺度分解，然后通过非下采方向滤波器实现方向分解，得到各尺度上的带通方向子带和低通子带C₀，其中j表示尺度，k表示带通子带方向，

表示尺度j上分解的方向数。

步骤(4)中的尺度类推包括以下过程：已知一组图像A和A₁，A₂...A_m...A_N，其中A为步骤(3)中的用于学习的低分辨率图像，A₁，A₂...A_m...A_N为步骤(3)中的N个用于学习的高频细节图像，B为步骤(2)中的立方插值后的图像，通过这N+2幅图像按照规定的合成规则，生成步骤(5)中的N个高分辨率的带通方向子带目标图像f₁(B)，f₂(B)...f_m(B)...f_N(B)。

$A:A_1,A_2...A_m...A_N\⇒B:f_1\left(B\right),f_2\left(B\right)...f_m\left(B\right)...f_N\left(B\right)$

用A’代表第m个高频细节图像A_m，用B’代表生成的第m个高分辨率的带通方向子带目标图像f_m(B)，用p表示图像A和A’的同一个位置；用q表示图像B和B’的同一位置；用L表示图像金子塔的总层数；用A_l′(p)表示A’在第l层P位置的邻域；用B_l′(q)表示B’在第l层q位置的邻域，用s表示记录像素对应关系的数据结构，用s_l(q)表示第l层q位置的邻域的数据结构。

尺度类推算法的伪代码流程如下：

函数尺度类推(A，A′，B)

分别建立A，A′，B的高斯金字塔；

分别计算A，A′，B的特征向量；

初始化搜索结构

循环：从金字塔的最高层到最底层，遍历各层l

循环：从左上角至右下角，以扫描线顺序遍历每个像素q∈B_l′

p←函数最佳匹配(A，A′，B，B′，s，l，q)

B_l′(q)←A_l′(p)

s_l(q)←p

返回：B_l′

其中所述的函数最佳匹配，采用了两种不同的搜索方式，近邻搜索(BESTAPPROXIMATEMATCH)和一致搜索(BESTCOHERENCEMATCH)，一致性参数k用来调节两种方法的权重，决定输出的结果。最佳匹配是一个搜索过程，通过搜索确定采样像素位置p，并回馈到合成位置q(为了合成B_l′层图像的像素q，用B′_l，B′_l-1，B_l，B_l-1四幅图在q点处的邻域去搜索在A和A’中的一个最佳匹配像素p)。

用F_l(q)表示一连串的特征向量包括A和A’在当前l层和上层l-1层q位置的邻域，用P_app表示该P位置是通过近邻搜索(BESTAPPROXIMATEMATCH)方法确定的，用P_coh表示该P位置是通过一致搜索(BESTCOHERENCEMATCH)方法确定的，用L_k表示每一层确定的一致性参数k，用d_coh表示F_l(P_app)和F_l(q)差的模，d_app表示F_l(P_coh)和F_l(q)差的模。

函数最佳匹配的伪代码流程如下：

函数最佳匹配(A，A′，B，B′，s，l，q)

P_app←BESTAPPROXIMATEMATCH(A，A′，B，B′，l，q)

P_coh←BESTCOHERENCEMATCH(A，A′，B，B′，l，q)

d_app←||F_l(P_app)-F_l(q)||²

d_coh←||F_l(P_coh)-F_l(q)||²

如果

则

返回P_coh

否则

返回P_app

所述图像高斯金字塔的定义如下：

高斯金字塔的生成包含低通滤波和降采样的过程，设原图像G₁为高斯金字塔的最底层，即第1层，则第l层高斯金子塔由下式生成：

$G_l(i,j)=\left\{\begin{array}{c}{G}_{1}l=1,\\ \underset{m=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-2}{\overset{2}{\mathrm{\&Sigma;}}}w(m,n)G_{l-1}(2i+m,2j+n),l\&le;M/2,j\&le;N/\mathrm{2,1}<l\&le;L\end{array}\right.$

其中w(m，n)是一个具有高斯低通滤波特性的窗口函数，M和N分别为图像G_l-1的行数和列数，L为金字塔的总层数。

本发明所达到的有益效果：本发明融合了图像类推、立方插值和非下采样轮廓波变换的优点，弥补了图像类推法误差较大而立方插值无法获得高频细节信息的不足，可以使添加的纹理细节更加合理并接近真实，超分辨率重建的红外图像视觉效果好，边缘纹理突出，信噪比高。非下采样轮廓波变换是一种多分辨率、多方向且平移不变的图像表示方法，消除了轮廓波变换的频谱混叠现象，并增强了方向选择性和平移不变性。对高分辨率的红外图像H进行非下采样轮廓波变换，高分辨率的红外图像H被分解成多尺度、多方向的细节信息，这些细节信息代表了图像不同频率带不同方向的特征，可以简化系数之间的关系。将高分辨率的红外图像H的低通子带与带通方向子带构成训练集合，从两者中学习如何由模糊产生细节的生成方式。由于在尺度类推学习过程中只对带通方向子带进行学习，而带通方向子带的灰度值变化范围较小，所以在学习过程中产生的误差大为减小，并且超分辨率重建的红外图像具有更好的边缘细节保持效果，视觉效果好。

附图说明

图1为本发明的红外图像的超分辨率重建方法流程图。

具体实施方式

以下结合附图对本发明做进一步详细描述。

如图1所示，一种基于尺度类推的单幅红外图像的超分辨率重建方法，对于待超分辨率重建的红外图像s进行超分辨率重建，包括以下步骤：

(1)对高分辨率的红外图像H进行非下采样轮廓波分解，得到1个低通子带和N个带通方向子带，N为正整数；

(2)对待超分辨重建的红外图像s进行立方插值，得到立方插值后的图像B；

(3)将步骤(1)中的高分辨率的红外图像H的低通子带作为用于学习的低分辨率图像A，再将高分辨率的红外图像H的N个带通方向子带依次作为用于学习的高频细节图像，同时依次记作A₁，A₂...A_m...A_N，其中A_m代表第m个用于学习的高频细节图像；

(4)通过尺度类推依次学习低分辨率图像A和高频细节图像A₁，A₂...A_m...A_N之间的映射关系f₁，f₂...f_m...f_N，再将映射关系f₁，f₂...f_m...f_N依次作用于立方插值后的图像B，得到N个高分辨率的带通方向子带，依次记作f₁(B)，f₂(B)...f_m(B)...f_N(B)；

(5)先将立方插值后的红外图像B作为高分辨率的低通方向子带，再将它和N个高分辨率的带通方向子带f₁(B)，f₂(B)...f_m(B)...f_N(B)一起进行非下采样轮廓波逆变换，得到超分辨率重建的红外图像S，从而完成对待超分辨率重建的红外图像s的超分辨率重建。

Claims (5)

1.一种基于尺度类推的单幅红外图像的超分辨率重建方法，其特征在于：对于待超分辨率重建的红外图像s进行超分辨率重建，包括以下步骤：

(1)对高分辨率的红外图像H进行非下采样轮廓波分解，得到1个低通子带和N个带通方向子带，N为正整数；

(2)对待超分辨重建的红外图像s进行立方插值，得到立方插值后的图像B；

(3)将步骤(1)中的高分辨率的红外图像H的低通子带作为用于学习的低分辨率图像A，再将高分辨率的红外图像H的N个带通方向子带依次作为用于学习的高频细节图像，同时依次记作A₁，A₂...A_m...A_N，其中A_m代表第m个用于学习的高频细节图像；

(4)通过尺度类推依次学习低分辨率图像A和高频细节图像A₁，A₂...A_m...A_N之间的映射关系f₁，f₂...f_m...f_N，再将映射关系f₁，f₂...f_m...f_N依次作用于立方插值后的图像B，得到N个高分辨率的带通方向子带，依次记作f₁(B)，f₂(B)...f_m(B)...f_N(B)；

(5)先将立方插值后的红外图像B作为高分辨率的低通方向子带，再将它和N个高分辨率的带通方向子带f₁(B)，f₂(B)...f_m(B)...f_N(B)一起进行非下采样轮廓波逆变换，得到超分辨率重建的红外图像S，从而完成对待超分辨率重建的红外图像s的超分辨率重建。

2.根据权利要求1所述的基于尺度类推的单幅红外图像的超分辨率重建方法，其特征在于：步骤(1)中，对高分辨率的红外图像H进行J级非下采样轮廓波分解，高分辨率的红外图像H首先通过非下采样塔式分解实现多尺度分解，然后通过非下采方向滤波器实现方向分解，得到各尺度上的带通方向子带

和低通子带C₀，其中j表示尺度，k表示带通子带方向，

表示尺度j上分解的方向数。

3.根据权利要求1所述的基于尺度类推的单幅红外图像的超分辨率重建方法，其特征在于：步骤(4)中的尺度类推包括以下过程：已知一组图像A和A₁，A₂...A_m...A_N，其中A为步骤(3)中的用于学习的低分辨率图像，A₁，A₂...A_m...A_N为步骤(3)中的N个用于学习的高频细节图像，B为步骤(2)中的立方插值后的图像，通过这N+2幅图像按照规定的合成规则，生成步骤(5)中的N个高分辨率的带通方向子带目标图像f₁(B)，f₂(B)...f_m(B)...f_N(B)；

$A:A_1,A_2...A_m...A_N\&DoubleRightArrow;B:f_1\left(B\right),f_2\left(B\right)...f_m\left(B\right)...f_N\left(B\right)$

用A’代表第m个高频细节图像A_m，用B’代表生成的第m个高分辨率的带通方向子带目标图像f_m(B)，用p表示图像A和A’的同一个位置；用q表示图像B和B’的同一位置；用L表示图像金子塔的总层数；用A_l′(p)表示A’在第l层P位置的邻域；用B_l′(q)表示B’在第l层q位置的邻域，用s表示记录像素对应关系的数据结构，用s_l(q)表示第l层q位置的邻域的数据结构；

尺度类推算法的伪代码流程如下：

函数尺度类推(A，A′，B)

分别建立A，A′，B的高斯金字塔；

分别计算A，A′，B的特征向量；

初始化搜索结构

循环：从金字塔的最高层到最底层，遍历各层l

循环：从左上角至右下角，以扫描线顺序遍历每个像素q∈B_l′

p←函数最佳匹配(A，A′，B，B′，s，l，q)

B_l′(q)←A_l′(p)

s_l(q)←p

返回：B_l′

4.根据权利要求3所述的基于尺度类推的单幅红外图像的超分辨率重建方法，其特征在于：其中所述的函数最佳匹配，采用了两种不同的搜索方式，近邻搜索(BESTAPPROXIMATEMATCH)和一致搜索(BESTCOHERENCEMATCH)，一致性参数k用来调节两种方法的权重，决定输出的结果。最佳匹配是一个搜索过程，通过搜索确定采样像素位置p，并回馈到合成位置q(为了合成B_l′层图像的像素q，用B′_l，B′_l-1，B_l，B_l-1四幅图在q点处的邻域去搜索在A和A’中的一个最佳匹配像素p)；

用F_l(q)表示一连串的特征向量包括A和A’在当前l层和上层l-1层q位置的邻域，用P_app表示该P位置是通过近邻搜索(BESTAPPROXIMATEMATCH)方法确定的，用P_coh表示该P位置是通过一致搜索(BESTCOHERENCEMATCH)方法确定的，用L_k表示每一层确定的一致性参数k，用d_coh表示F_l(P_app)和F_l(q)差的模，d_app表示F_l(P_coh)和F_l(q)差的模；

函数最佳匹配的伪代码流程如下：

函数最佳匹配(A，A′，B，B′，s，l，q)

P_app←BESTAPPROXIMA TEMA TCH(A，A′，B，B′，l，q)

P_coh←BESTCOHERENCEMATCH(A，A′，B，B′，l，q)

d_app←||F_l(P_app)-F_l(q)||²

d_coh←||F_l(P_coh)-F_l(q)||²

如果

则

返回P_coh

否则

返回P_app

5.根据权利要求3所述的基于尺度类推的单幅红外图像的超分辨率重建方法，其特征在于：所述图像高斯金字塔的定义如下：

高斯金字塔的生成包含低通滤波和降采样的过程，设原图像G₁为高斯金字塔的最底层，即第1层，则第l层高斯金子塔由下式生成：

$G_l(i,j)=\left\{\begin{array}{c}{G}_{1}l=1,\\ \underset{m=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-2}{\overset{2}{\mathrm{\&Sigma;}}}w(m,n)G_{l-1}(2i+m,2j+n),l\&le;M/2,j\&le;N/\mathrm{2,1}<l\&le;L\end{array}\right.$

其中w(m，n)是一个具有高斯低通滤波特性的窗口函数，M和N分别为图像G_l-1的行数和列数，L为金字塔的总层数。

Images