CN109410177A - 一种超分辨率图像的图像质量分析方法及*** - Google Patents

Abstract

本发明提供了一种超分辨率图像的图像质量分析方法及***，通过获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；将三个池化分数相融合得到图像质量分析值。本发明在超分辨率图像上的分析比现有的图像质量分析方法更加客观准确，为监控领域、卫星图像以及医学影像中对低分辨图像进行重建后得到的超分辨率图像质量进行分析提供了重要的应用价值。

Description

一种超分辨率图像的图像质量分析方法及***

技术领域

本发明涉及数字图像处理及计算机视觉技术领域，尤其涉及的是一种超分辨率图像的图像质量分析方法及***。

背景技术

图像超分辨率是图像处理领域中的一个重要研究课题，通过对图像进行超分辨率处理，可以提高图像的分辨率，使得图像更为清晰，其在图像重建中具有较多重要应用，例如：

(1)在数字电视(DTV)向高清晰度电视(HDTV)过度阶段，仅有部分电视节目会以HDTV的形式播出，不少节目采用的是DTV的形式。因此，可以利用超分辨率重建技术将DTV信号转化为与HDTV接收机相匹配的信号，提高电视节目的兼容性；

(2)在采集军事与气象遥感图像时，由于受到成像条件与成像***分辨率的限制，不可能获得清晰度很高的图像,而通过利用超分辨率重建技术，在不改变卫星图像探测***的前提下，可实现高于***分辨率的图像观测；

(3)在医学成像***中(如CT、MRI和超声波仪器等)，可以用超分辨率重建技术来提高图像质量，对病变目标进行仔细地检测；

(4)在银行、证劵等部门的安全监控***中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索；

(5)可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和视频。

随着深度学习的不断发展，图像超分辨率处理技术也在不断前进，已经出现了很多研究成果。然而，对于超分辨图像质量分析仍然面临着巨大挑战。由于人的视觉感知存在差异，对图像质量的主观评价标准参差不齐，亟需一种客观准确的超分辨率图像质量分析方法，建立图像质量的客观评判标准，以此来推动图像超分辨率技术的不断发展。

目前已经出现了许多图像质量分析的方法，如PSNR算法(Peak Signal toNoiseRatio，峰值信噪比)，MOS算法(Mean Opinion Scores，主观质量评分)以及SSIM算法(Structural SIMilarity，图像相似度)等。为了分析高光谱图像的质量，还提出了一个多元SSIM，将多光谱像素作为一个多元向量。除了在SSIM中使用的平均值、方差和协方差外，图像质量分析利用到许多其他特征和信息。比如信息保真度准则及视觉信息保真度，将参考图像与失真图像之间的相互信息作为视觉质量计算。

因为图像结构特征在视觉感观中占主导地位，许多现有的全参考图像质量方法强调图像结构失真的重要性。然而对于超分辨率图像来说，图像细节同样重要。另外，对于一些超分辨率图像里面存在的虚假纹理，现有的图像质量分析方法没有进行考虑。因此现有的这些图像质量分析方法并不适合于超分辨率图像的图像质量分析。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于提供一种超分辨率图像的图像质量分析方法及***，克服现有技术中缺乏针对超分辨率图像的质量分析方法的缺陷。

本发明提供的第一实施例为一种超分辨率图像的质量分析方法，其中，包括步骤：

获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；

分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；

对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；

将三个池化分数相融合得到图像质量分析值。

可选的，分解出所述源参考图像和超分辨图像纹理分量的步骤包括：

分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；

将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；

将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量。

可选的，所述分别计算超分辨率图像和源参考图像中每个像素的统计特征向量步骤包括：

使用方向梯度直方图算法、尺度不变特征匹配算法或者局部二值模式算法获取超分辨率图像和源参考图像中每个像素的统计特征向量。

可选的，分解出所述源参考图像和超分辨图像结构分量的步骤包括：

将超分辨率图像和源参考图像分成多个图像块；

计算每个图像块的主方向和所述主方向的内积并取绝对值，得到内积值；

计算超分辨率图像和源参考图像在结构分量中每个像素的归一化的梯度幅度；

将所述内积值、所述梯度幅度值和预设第二调整因子相结合，得到所述结构分量。

可选的，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：

计算源参考图像和超分辨图像的高频能量向量做内积，将内积的值与所述高频能量向量的2范数之比作为高频分量。

可选的，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：

计算源参考图像和超分辨图像的高频能量向量，将所述高频能量向量与所述高频能量向量的2范数之积作为高频分量。

可选的，所述高频能量的计算公式为：

其中，j是像素的位置索引，N(i)是像素i的相邻像素，N_N是相邻像素的数目，s是结构分量，s_σ是s通过一个方差为σ的高斯卷积核卷积得到，s_σ代表了s的低频部分。

可选的，所述对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数的步骤还包括：

对所述纹理分量、结构分量和高频分量进行加权平均。

可选的，所述将三个池化分数相融合得到图像质量分析值的步骤包括：

所述图像质量分析值如下公式计算得到：

其中，p为图像质量分析值，α>0且β>0，α和β为调整影系数；p_t,p_s,p_h分别为所述纹理分量、结构分量和高频分量的加权平均值。

本发明提供的第二实施例为一种超分辨率图像的质量分析***，其中，包括：

图像信息获取模块，用于获取源参考图像和获取与所述源参考图像的内容和像素个数均相同的超分辨率图像；

图像分量分解模块，用于分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；

池化处理模块，用于对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；

分值融合模块，用于将三个池化分数相融合得到图像质量分析值。

有益效果，本发明提供了一种超分辨率图像的图像质量分析方法及***，通过获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；将三个池化分数相融合得到图像质量分析值。在超分辨率图像上的测试，本发明比现有的图像质量分析方法更贴近人类视觉评判机制，且客观实验数据优胜于现有的图像质量分析方法。为监控领域、卫星图像以及医学影像中对低分辨图像进行重建后得到的超分辨率图像质量进行分析提供了重要的应用价值。

附图说明

图1是本发明所提供的一种超分辨率图像的图像质量分析方法的步骤流程图；

图2是本发明提供的所述超分辨率图像的图像质量分析***的原理结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供的第一实施例为一种超分辨率图像的质量分析方法，如图1所示，包括步骤：

步骤S1、获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像。

源参考图像和超分辨率图像之间具有相同的内容和像素个数，将超分辨率图像与源参考图像相对比，得到该超分辨率图像的质量分析值。因此本步骤中首先得到需要进行比对的超分辨率图像及其源参考图像。

步骤S2、分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量。

分别分解出源参考图像和超分辨率图像的纹理分量、结构分量和高频分量，依次对两个图像的这三个分量进行比对，根据三个分量的比对结果，得到质量分析结果。

步骤S3、对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数。

步骤S4、将三个池化分数相融合得到图像质量分析值。

具体的，本步骤中所述将三个池化分数相融合得到图像质量分析值的步骤包括：利用如下所述图像质量分析值如下公式计算得到图像质量分析值：

其中，p为图像质量分析值，α>0且β>0，α和β为调整影系数；p_t,p_s,p_h分别为所述纹理分量、结构分量和高频分量的加权平均值。

当分别从源参考图像和超分辨率图像中分解出纹理分量、结构分量和高频分量后，对三个分量进行池化处理，再将池化分数相融合得到超分辨率图像的质量分析值。

上述步骤S2中包括分别将源参考图像和超分辨率图片分解成纹理分量和结构分量，并分别从源参考图像和超分辨率图片中提取出高频分量，分别对各个分量进行图像质量比较。

具体的，分解出所述源参考图像和超分辨图像纹理分量的步骤包括：

分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；

将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；

将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量。

上述分解出图像纹理分量的方法可以通过如下实施例实现

纹理分量使用统计特征，比如使用SIFT直方图统计特征来描述纹理特征。给定源参考图像r和与其相同内容和相同像素个数的超分辨率图像u，设纹理分量表示为Mt，对图像u和r中的第i个像素有：

其中||·||₂代表2范数，<·,·>代表内积运算，f_r(i)和f_u(i)分别是超分辨率图像r和源参考图像u在第i个像素上的统计特征向量，K_t是适应性变量由公式(2)得到：

其中t_r(i)和t_u(i)分别是超分辨率图像r和源参考图像u的纹理分量中以第i个像素为中心的图像块，这两个图像块是相同大小。C_t是一个正常量用来调整K_t的范围。var(·)用来表示计算其参数的方差，max(·,·)表示返回其参数的最大值。通过公式(1)和(2)可以计算得到纹理分量M_t,容易证明M_t的范围是0到1。

此外，所述分别计算超分辨率图像和源参考图像中每个像素的统计特征向量步骤包括：使用方向梯度直方图算法、尺度不变特征匹配算法或者局部二值模式算法获取超分辨率图像和源参考图像中每个像素的统计特征向量。

本发明所述方法中计算统计特征来计算纹理分量，实际计算统计特征的方法还可以是HOG算法，HOG算法可以提取3780维的向量，作为计算纹理分量中的统计特征向量。SIFT算法，SIFT算法可以提取128维的向量，作为计算纹理分量中的统计特征向量。LBP算法，使用LBP特征谱的统计直方图作为统计特征向量。还有基于直方图的统计特征等。可以想到的是，所述的HOG算法,SIFT算法,LBP算法，基于直方图统计等方法提取的统计特征向量任意组合，组合向量也可以作为计算纹理分量中的统计特征向量。

进一步的，分解出所述源参考图像和超分辨图像结构分量的步骤包括：

将超分辨率图像和源参考图像分成多个图像块；

计算每个图像块的主方向和所述主方向的内积并取绝对值，得到内积值；

计算超分辨率图像和源参考图像在结构分量中每个像素的归一化的梯度幅度；

将所述内积值、所述梯度幅度值和预设第二调整因子相结合，得到所述结构分量。

具体的，本实施例中以结构分量使用梯度特征进行的分解，其详细内容如下：

设结构分量表示为M_s，计算图像结构分量中主方向梯度，需要先计算图像中每个图像块的主方向，图像块的主方向由半正定矩阵J得到：

其中，i是图像块的中心像素，g_x和g_y分别是该图像块中横轴和纵轴的梯度向量。J有两个特征值和两个特征向量，较小的特征值对应的特征向量即是该图像块梯度主方向。

其中|·|代表返回绝对值。n_r(i)和n_u(i)是归一化的特征向量，它们分别是超分辨率图像r和源参考图像u在结构分量中的第i个像素的主方向。同样M_s的范围也是0到1，公式(4)中K_s定义如下：

其中，g_mr(i)和g_mu(i)分别表示超分辨率图像r和源参考图像u在结构分量中的第i个像素的归一化的梯度幅度。C_s是一个正常量用来调整K_s的范围。

上述步骤中计算图像块的主方向梯度来计算结构分量，实际计算结构分量还可以通过相对总变差方法从纹理分量中提取得到，使用可迭代的滚动指导滤波器也可以获得结构分量。实际在计算结构分量中主方向梯度的时候，还可以使用canny算子，sobel算子等，并且所述的图像块的大小可以是可变的。

进一步的，分别将所述源参考图像和超分辨图像分解成高频分量的步骤包括：

计算源参考图像和超分辨图像的高频能量向量做内积，将内积的值与所述高频能量向量的2范数之比作为高频分量。

进一步的，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：

计算源参考图像和超分辨图像的高频能量向量，将所述高频能量向量与所述高频能量向量的2范数之积作为高频分量。

下面，以高频分量使用不同频段的特征为实施例，对其分解方法做进一步的解析。

设高频分量表示为M_h，高频分量由公式(7)获得。计算高频分量之前要先比较超分辨率图像r和源参考图像u的高频能量，高频能量计算由公式(6)得到。

其中j是位置索引，N(i)是像素i的相邻像素，N_N是相邻像素的数目，s是结构分量。s_σ是s通过一个方差为σ的高斯卷积核卷积得到，s_σ代表了s的低频部分。

其中，h_r和h_u分别是超分辨率图像r和源参考图像u由公式(6)计算得到的高频能量。C_h是一个正常量，用以避免分母过小造成的不稳定性。

上述方法中使用高斯卷积核来计算高频分量，实际计算高频分量还可以使用不同频段特征的方法。如下高频能量计算公式：

其中h(i)表示第i个像素的高频能量，它是一个向量，k可取(2,3，4...)，不同的高斯卷积核卷积相减得到不同频段的频率分量，其组合而成的向量作为高频能量h。

高频能量h是一个向量，则计算高频分量的公式如下：

其中2倍的超分辨率图像和源参考图像的高频能量向量做内积，与各自的高频能量向量的2范数之比作为超分辨率图像质量分析的高频分量，C_h是一个正常数，用来避免分母过小产生的不稳定性。实际上高频能量向量还可以取各自的范数后再相乘作为高频能量的特征，可以取其他任意范数情况。

通过上述公式(1)至(7)，分解出源参考图像和超分辨率图像的纹理分量、结构分量和高频分量。下面对分解出的三个分量对进行处理。

所述对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数的步骤还包括：

对所述纹理分量、结构分量和高频分量进行加权平均。

具体的，对三个分量进行处理的步骤包括：

需要将这三个分量分别进行池化，池化后得到的分数最终融合得到对超分辨率图像r和源参考图像u的分析分数。

池化纹理分量、结构分量和高频分量需要加权平均，加权平均公式如下:

其中，N是图像像素的数目，q∈{t,s,h}分别表示纹理分量、结构分量和高频分量的索引，p_q代表三个分量的池化分数，w_q是每个分量里每个像素的权重，w_q由公式(9)至(11)计算后的结果得到。

其中，t_r(i)和t_u(i)与公式(2)相同计算，g_mr(i)和g_mu(i)与公式(5)相同计算，h_r(i)和h_u(i)与公式(6)相同计算。公式(9)至(11)中分母的设置是为了归一化。

最后融合三个分量池化后的分数得到p，p由公式(10)计算得到：

其中，α>0且β>0，α和β是为了调整不同分量在融合过程中的影响程度。p_t,p_s,p_h分别由公式(8)计算得到。通过比较结构分量和纹理分量的平均强度可以获得β的值，如公式(13)：

其中，s和t分别是图像结构分量和纹理分量的强度。mean(·)为求均值函数，log(·)为取对数函数。β的值大于1，在获得β时使用了Weber-Fechner法则，也可以使用穷举法获得β。

至此，我们已经得到了超分辨图像u相对于源参考图像r的图像质量分析的分数p。

具体的，在上述方法的基础上，对上述方法还可以有一下改进或者替换方法：

本发明在使用结构纹理分解时，使用了TV-L¹模型优化公式：

其中λ是拉格朗日乘子系数，u是纹理分量，BV是巴拿赫空间，Ω是图片的一个区域，f是一张图片。实际上还可以使用Meyer,Vese-Osher等其他优化模型。

本发明中计算适应性变量K_t是实际上还可以是如下三种公式：

其中，mean(.)表示求均值函数。

其中，|.|表示取绝对值。

其中，||.||表示取2范数。实际上还可以是其他范数情况。

本发明中计算β的公式实际上还可以是如下两种公式：

其中var(.)代表求方差函数。

其中sum(.)代表求和函数。计算β实际上还可以是求和函数和求方差函数的结合。较佳的，β使用穷举法计算的值为3.9709。

本发明使用结构纹理分解方法，实现了在超分辨率图片上进行图像视觉质量分析。对将源参考图像恢复到超分辨率图像后的质量分析提供了更加客观的分析方法，避免了主观上评价超分辨率图像质量的盲目性。为监控领域、卫星图像以及医学影像中对低分辨图像进行重建后得到的超分辨率图像质量进行分析提供了重要的应用价值。由于超分辨率重建技术在一定条件下，可以克服图像***内在分辨率的限制，提高被处理图像的分辨率，因而在视频、遥感、医学和安全监控等领域具都有十分重要的应用。

本发明提供的第二实施例为一种超分辨率图像的质量分析***，如图2所示，包括：

图像信息获取模块310，用于获取源参考图像和获取与所述源参考图像的内容和像素个数均相同的超分辨率图像；其功能如步骤S1所述。

图像分量分解模块320，用于分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；其功能如步骤S2所述。

池化处理模块330，用于对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；其功能如步骤S3所述。

分值融合模块340，用于将三个池化分数相融合得到图像质量分析值。其功能如步骤S4所述。

本发明所公开的方法及***中不同方式获得纹理分量、结构分量、高频分量可任意组合。

本发明提供了一种超分辨率图像的图像质量分析方法及***，通过获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；将三个池化分数相融合得到图像质量分析值。在超分辨率图像上的测试，本发明比现有的图像质量分析方法更贴近人类视觉评判机制，且客观实验数据优胜于现有的图像质量分析方法。本发明可以应用于其他上采样图像以及现有的许多图像数据库。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种超分辨率图像的质量分析方法，其特征在于，包括：

获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；

分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；

对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；

将三个池化分数相融合得到图像质量分析值。

2.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，分解出所述源参考图像和超分辨图像纹理分量的步骤包括：

分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；

将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；

将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量。

3.根据权利要求2所述的超分辨率图像的质量分析方法，其特征在于，所述分别计算超分辨率图像和源参考图像中每个像素的统计特征向量步骤包括：

使用方向梯度直方图算法、尺度不变特征匹配算法或者局部二值模式算法获取超分辨率图像和源参考图像中每个像素的统计特征向量。

4.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，分解出所述源参考图像和超分辨图像结构分量的步骤包括：

将超分辨率图像和源参考图像分成多个图像块；

计算每个图像块的主方向和所述主方向的内积并取绝对值，得到内积值；

计算超分辨率图像和源参考图像在结构分量中每个像素的归一化的梯度幅度；

将所述内积值、所述梯度幅度值和预设第二调整因子相结合，得到所述结构分量。

5.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：

计算源参考图像和超分辨图像的高频能量向量做内积，将内积的值与所述高频能量向量的2范数之比作为高频分量。

6.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：

计算源参考图像和超分辨图像的高频能量向量，将所述高频能量向量与所述高频能量向量的2范数之积作为高频分量。

7.根据权利要求5或6所述的超分辨率图像的质量分析方法，其特征在于，所述高频能量的计算公式为：

其中，j是像素的位置索引，N(i)是像素i的相邻像素，N_N是相邻像素的数目，s是结构分量，s_σ是s通过一个方差为σ的高斯卷积核卷积得到，s_σ代表了s的低频部分。

8.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，所述对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数的步骤还包括：

对所述纹理分量、结构分量和高频分量进行加权平均。

9.根据权利要求8所述的超分辨率图像的质量分析方法，其特征在于，所述将三个池化分数相融合得到图像质量分析值的步骤包括：

所述图像质量分析值如下公式计算得到：

其中，p为图像质量分析值，α>0且β>0，α和β为调整系数；p_t,p_s,p_h分别为所述纹理分量、结构分量和高频分量的加权平均值。

10.一种超分辨率图像的质量分析***，其特征在于，包括：

图像信息获取模块，用于获取源参考图像和获取与所述源参考图像的内容和像素个数均相同的超分辨率图像；

图像分量分解模块，用于分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；

池化处理模块，用于对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；

分值融合模块，用于将三个池化分数相融合得到图像质量分析值。