CN106709945A - 一种对于超分辨率图像的质量评价方法 - Google Patents

Abstract

本发明涉及一种对于超分辨率图像的质量评价方法，其特征在于：首先利用低分辨率图像和超分辨率图像之间的像素对应关系，获得局部图像块之间的对应关系，再分别求低分辨率图像块和超分辨率图像块的能量以及纹理信息，通过这两个特征的变化得到图像块之间的视觉相似性。最后的超分辨率图像质量由低分辨率图像和超分辨率图像的局部图像块的视觉相似性评估得到。实验结果在超分辨率图像的质量评价中呈现出良好的效果。

Description

一种对于超分辨率图像的质量评价方法

技术领域

本发明涉及一种超分辨率图像质量评价方法。属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

图像的超分辨率重建技术广泛的应用在各个领域，包括医学图像处理、红外成像、脸部/虹膜识别、图像编辑等。其目的是在给定一张或者数张低分辨率图像的情况下，重构的得到一张超分辨率图像。在过去的十几年中，研究人员提出了许多图像超分辨率重建算法，根据低分辨率图像的数目，图像超分辨率重建算法可以分为多幅图像的超分辨率重建算法和单幅图像的超分辨率重建算法

对于单幅图像的超分辨率重建，目前存在着许多不同的算法。基于传统的插值方法都是通过一个基函数，比如双线性插值、双三次插值以及最近邻算法，通常情况下，这些方法都简单有效，但是由于这些算法的像素插值操作，会导致边缘和高频区域出现混叠效应和模糊失真。

因为这些基于插值的算法的局限性，许多性能更优的超分辨率算法相继提出。基于重建的算法是在拥有先验知识的前提下，通过一个正则化损失函数去获得超分辨率图像，所使用的先验知识包括边缘信息，稀疏先验。基于样本学习的算法是通过学习一个低分辨率图像和超分辨率图像的图像块之间的映射函数，重构超分辨率图像。这些图像块样本可以通过输入的图像、外部数据库、混合数据源等路径获得，映射函数的学习方法包括支持向量回归，字典稀疏表示以及深度学习等。

对于以上所提到的图像超分辨重建算法，其性能主要是通过小规模的主观实验来验证的，定量的评价超分辨图像质量的研究现在还很少。但是，主观实验不仅耗财，也耗时，并且无法嵌入超分辨率算法去作优化，因此需要研究用于超分辨率图像的客观质量评价算法。

发明内容

为了弥补目前对于超分辨率图像质量评价模型研究的不足，本发明基于超分辨率图像质量评价模型提出了一种对于超分辨率图像的质量评价方法。本发明通过以下技术方案实现：

一种对于超分辨率图像的质量评价方法，其特征在于，包括以下步骤：

A.首先利用低分辨率图像和超分辨率图像之间的像素对应关系，获取局部图像块之间的对应关系；

B.根据所得的低分辨率图像和超分辨率图像的图像块对应关系，分别求对应图像块的能量特征以及纹理特征，根据所求得的能量特征和纹理特征，计算图像块之间的能量信息变化和纹理特征差异；

C.综合低分辨率图像和超分辨图像所包含的对应图像块之间的能量信息变化以及纹理特征差异，获得超分辨率图像质量。

进一步地，所述能量特征和纹理特征为图像的视觉特征，视觉特征通过离散余弦变换获得，计算方式如下：

其中C是离散余弦变换矩阵，N表示图像块大小，C₁和C₂的N值分别等于f的行数和列数，f代表一个图像块，F表示由f经过离散余弦变换得到的矩阵，其中矩阵F中的第一个元素F(1,1)是DC系数，表示图像的能量特征，矩阵F中除第一个元素F(1,1)外的其他元素为AC系数，表示图像的纹理特征。

进一步地，通过图像块之间的DC系数来计算图像之间的能量变化，其具体步骤为：

A.将低分辨率图像分成n块，将低分辨率图像的图像块集合表示为b，b＝{b₁,b₂…,b_n}；

B.将超分辨率图像分成n块，将超分辨率图像的图像块集合表示为b′，b′＝{b′₁,b′₂…,b′_n}；

C.获得低分辨率图像和高分辨率图像的图像块能量特征，用式(1)和式(2)计算得到的DC系数来表示图像块能量特征，对于集合b中所包含的图像块计算得到的DC系数由集合D表示，D＝{D₁,D₂…,D_n}，块b₁对应的DC系数为D₁，块b_n对应的DC系数为D_n；对于集合b′所包含的图像块计算得到的DC系数由集合D′表示，D′＝{D′₁,D′₂…,D′_n}，即块b′₁对应的DC系数为D′₁，块b′_n对应的DC系数为D′_n；

D.获得低分辨率图像和超分辨图像的能量变化，低分辨率图像和超分辨率图像对应的图像块之间的能量变化可由式(3)来计算：

其中，b_k和b′_k表示低分辨率图像和超分辨率图像对应的两个图像块，C₁＝6.5025，和分别表示相应图像块的能量均值，m表示和的均值，计算方法如下:

D_k表示低分辨率图像块b_k对应的DC系数，S_k表示图像块b_k的大小；D′_k表示超分辨率图像块b′_k对应的DC系数，S′_k表示图像块b′_k的大小，k∈{1,2…,n}，

低分辨率图像和超分辨图像的能量变化F_e(LR,HR)可以计算如下：

其中b_k∈{b₁,b₂…b_n}；b′_k∈{b′₁,b′₂…b′_n}，LR表示低分辨率图像，HR表示超分辨率图像。

进一步地，通过相对应图像块之间的纹理特征差异计算的得到低分辨率图像和超分辨率图像之间的纹理特征差异，其具体步骤是：

A.对于低分辨率图像中的一个大小为N_b*N_b的图像块，经过式(1)和式(2)离散余弦变换后得到个AC系数，用向量A表示，

B.对于超分辨率图像中的对应的大小为N_b′*N_b′的图像块，经过离散余弦变换可以得到个AC系数，用向量A′表示，

C.低分辨率图像和超分辨率图像的对应图像块之间的纹理特征差异由得到的AC系数的均值和方差表示，由式(7)来计算：

其中C₂＝6.5025，C₃＝58.5225，m_A和m_A′分别表示向量A和向量A′均值，d_A和d_A′分别表示向量A和向量A′的方差，b_k表示低分辨率图的第k个图像块，b′_k表示超分辨率图像的第k个图像块，f_t(b_k,b′_k)表示低分辨率图像和超分辨率图像相对应的第k个图像块的纹理特征差异；

D.获得低分辨率图像和超分辨率图像之间的纹理特征差异，低分辨率图像和超分辨率图像之间的纹理特征差异通过对应图像块之间的纹理特征差异叠加得到，可由式(8)计算：

其中，LR表示低分辨率图像，HR表示超分辨率图像，b_k∈{b₁,b₂…b_n}，表示低分辨率图像分成{b₁,b₂…b_n}这n个图像块；b′_k∈{b′₁,b′₂…b′_n}，表示超分辨率图像分成{b′₁,b′₂…b′_n}这n个图像块；F_t(LR,HR)表示低分辨率图像和超分辨率图像之间的纹理特征差异。

进一步地，将所述的能量和纹理特征结合，计算质量分数来预测超分辨图像的质量，所述质量分数可由式(9)计算得到：

Q＝F_e(LR,HR)F_t(LR,HR) (9)其中，F_e(LR,HR)和F_t(LR,HR)分别为低分辨率图像和超分辨率图像之间的能量特征和纹理特征差异值，Q表示超分辨率图像分数。

本发明的技术效果：分别通过离散余弦变换所获得的DC系数和AC系数来计算图像能量信息和纹理信息的差异，最终超分辨率图像的质量由能量信息和纹理信息的差异计算得到。得到的客观质量分数与主观分数相关性更高。

附图说明

图1为本发明的算法框架图。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的详细描述。

本发明的过程如图1所示，其包括一下步骤：

步骤1：建立局部图像块对应关系。根据低分辨率图像和超分辨率图像的局部位置关系，获得低分辨率图像和超分辨率图像的图像块对应关系。其中低分辨率图像的大小可表示为i*j，i表示低分辨率图像的行数，j表示低分辨率图像的列数；超分辨率图像的大小可表示为(k*i)*(k*j)，k>1，k*i表示超分辨率图像的行数，k*j表示超分辨图像的列数。取低分辨率图像中的一个图像块(1:i₁,1:j₁)，则对应于超分辨图像中的图像块(1:k*i₁,1:k*j₁)。(1:i₁,1:j₁)表示低分辨率图像中大小为i₁*j₁的图像块，图像块的像素点横坐标的取值范围为(1,i₁)，纵坐标的取值范围为(1,j₁)；(1:k*i₁,1:k*j₁)表示超分辨率图像中大小为(k*i₁)*(k*j₁)的图像块，k>1，图像块像素点横坐标的取值范围为(1,k*i₁)，纵坐标的取值范围为(1,k*j₁)。

步骤2：提取特征。通过离散余弦变换得到的DCT系数来提取特征：两个图像块的能量和纹理特征都通过DCT系数提取，从而建立质量评价模型。DCT系数由DC系数和AC系数组成。在每一个块中，DC系数表示图像块的能量信息，AC系数代表了块中纹理特性。每张图像的能量和纹理特征分别用DC系数和AC系数表示。如式(1′)、(2′)表示：

DC＝{dc₁,dc₂,dc₃,…dc_n} (1′)

AC_n＝{ac₁,ac₂,ac₃,…ac_n} (2′)其中DC表示图像DC系数向量，即一张图像可由n个DC系数表示，一个图像块对应一个DC系数，dc_n分别表示第n个图像块的DC系数。AC_n表示第n个图像块的AC系数向量，记第n个图像块大小为N*N，则包含的AC系数的个数为N²-1。即一张图像可分为n块，每一块大小为N*N，每一个图像块通过离散余弦变换可得到1个DC系数和N²-1个AC系数。

步骤3：计算特征差异。低分辨率图像和超分辨率图像之间的能量差异由

DC系数的均值计算得到。低分辨率图像和超分辨率图像之间的纹理特征差异可由得到的AC系数的均值和方差表示。对于给定的一张低分辨率图像和对应的超分辨率图像，对低分辨率图像和超分辨率图像进行离散余弦变换，取得DC系数向量，低分辨率图像的DC系数向量由D表示，超分辨率图像的DC系数向量由D′表示。则低分辨率图像和超分辨图像的能量差异可由式(3′)得出：

其中，b_k和b′_k表示低分辨率图像和超分辨率图像对应的两个图像块。C₁＝6.5025，和分别表示相应图像块的能量均值，m表示取均值操作。低分辨率图像和超分辨率图像的能量变化F_e(LR,HR)可以计算如下：

其中b_k∈{b₁,b₂…b_n}；b′_k∈{b′₁,b′₂…b′_n}，LR表示低分辨率图像，HR表示超分辨率图像。

超分辨率图像质量评价方法中的纹理特征差异，是通过对应图像块的纹理特征差异叠加得到，对应图像块纹理特征差异是由离散余弦变换所得到的AC系数计算得出的。对于低分辨率图像中的一个大小为N_b*N_b的图像块，经过离散余弦变换后得到个AC系数，用向量A表示，对于超分辨率图像中的对应的一个图像块N_b′,经过离散余弦变换可以得到个AC系数，用向量A′表示，低分辨率图像和超分辨率图像对应图像块之间的纹理特征差异可由得到的AC系数的均值和方差表示。由式(5′)计算得到：

其中C₂＝6.5025，C₃＝58.5225。m_A和m_A′分别表示向量A和向量A′均值,相应的，d_A和d_A′分别表示向量A和向量A′的方差。b_k表示低分辨率图的第k个图像块，b′_k表示超分辨率图像的第k个图像块。f_t(b_k,b′_k)则表示低分辨率图像和超分辨率图像相对应的第k个图像块的纹理特征差异。F_t(LR,HR)表示低分辨率图像和超分辨率图像之间的纹理特征差异，即为对应图像块之间纹理特征差异之和。可由式(6′)计算：

其中，LR表示低分辨率图像，HR表示超分辨率图像。b_k∈{b₁,b₂…b_n}，表示低分辨率图像分成b₁,b₂…b_n这n个图像块；b′_k∈{b′₁,b′₂…b′_n}，表示超分辨率图像分成b′₁,b′₂…b′_n这n个图像块；F_t(LR,HR)表示低分辨率图像和超分辨率图像之间的纹理特征差异，即为对应图像块之间纹理特征差异之和。

步骤4：计算质量分数。超分辨率图像质量通过结合低分辨率图像和超分辨率图像的能量特征和纹理特征差异，给予相同权重，评估得到。超分辨率图像中的能量特征变化会导致图像视觉信息退化，而且纹理特征的变化会导致图像高频区域的失真。超分辨率图像质量评价方法将能量和纹理特征结合，来预测超分辨图像的质量分数。质量分数可由式(7′)计算得到：

Q＝Fe(LR,HR)Ft(LR,HR) (7′)

其中Fe和Ft分别为低分辨率图像和超分辨率图像之间的能量特征和纹理特征差异值。

如表1、2所示，实验证明本发明提出的超分辨率图像质量评价模型明显优于目前的其他模型。通过与7种常见的全参考质量评价模型来比较，评估的指标：PLCC(Pearsonlinear correlation coefficient)和SROC(Spearman correlation coefficient)。PLCC系数是用来度量两个变量X和Y之间的相互关系的，图像质量评价中X、Y分别是图像的主观分数和客观分数，取值范围在[-1，+1]之间。斯皮尔曼等级相关系数用来估计两个变量X、Y之间的相关性，其中变量间的相关性可以使用单调函数来描述。如果两个变量取值的两个集合中均不存在相同的两个元素，那么，当其中一个变量可以表示为另一个变量的很好的单调函数时(即两个变量的变化趋势相同)，两个变量之间的ρ可以达到+1或-1。相关系数用来衡量客观评价和主观评价的线性相关程度，相关系数越大，则客观质量评价模型的性能则越好。

表1

Components	Energy Change	Texture Variation	Proposed
				KRCC	0.4092	0.4996	0.5885
SRCC	0.6001	0.6958	0.8035

表2

	PSNR	SSIM	MSSIM	NQM	VIF	MAD	NSS-SR	Proposed
									KRCC	0.3296	0.4502	0.5325	0.5703	0.2786	0.5523	0.0917	0.5885
SRCC	0.4760	0.6203	0.7096	0.7632	0.5226	0.7363	0.1343	0.8035

上述内容为本发明的详细说明，任何依照本发明的权利要求范围所做的同等变化与修改，皆为本发明的权利要求范围所涵盖。

Claims (5)

1.一种对于超分辨率图像的质量评价方法，其特征在于，包括以下步骤：

A.首先利用低分辨率图像和超分辨率图像之间的像素对应关系，获取局部图像块之间的对应关系；

B.根据所得的低分辨率图像和超分辨率图像的图像块对应关系，分别求对应图像块的能量特征以及纹理特征，根据所求得的能量特征和纹理特征，计算图像块之间的能量信息变化和纹理特征差异；

C.综合低分辨率图像和超分辨图像所包含的对应图像块之间的能量信息变化以及纹理特征差异，获得超分辨率图像质量。

2.根据权利要求1所述的对于超分辨率图像的质量评价方法，其特征在于：所述能量特征和纹理特征为图像的视觉特征，视觉特征通过离散余弦变换获得，计算方式如下：

$F=C_1^T\·f\·C_2---\left(1\right)$

其中C是离散余弦变换矩阵，N表示图像块大小，C₁和C₂的N值分别等于f的行数和列数，f代表一个图像块，F表示由f经过离散余弦变换得到的矩阵，其中矩阵F中的第一个元素F(1,1)是DC系数，表示图像的能量特征，矩阵F中除第一个元素F(1,1)外的其他元素为AC系数，表示图像的纹理特征。

3.根据权利要求2所述的对于超分辨率图像质量评价方法，其特征在于：通过图像块之间的DC系数来计算图像之间的能量变化，其具体步骤为：

A.将低分辨率图像分成n块，将低分辨率图像的图像块集合表示为b，b＝{b₁,b₂…,b_n}；

B.将超分辨率图像分成n块，将超分辨率图像的图像块集合表示为b′，b′＝{b′₁,b′₂…,b′_n}；

C.获得低分辨率图像和高分辨率图像的图像块能量特征，用式(1)和(2)计算得到的DC系数来表示图像块能量特征，对于集合b中所包含的图像块计算得到的DC系数由集合D表示，D＝{D₁,D₂…,D_n}，,块b₁对应的DC系数为D₁，块b_n对应的DC系数为D_n；对于集合b′所包含的图像块计算得到的DC系数由集合D′表示，D′＝{D′₁,D′₂…,D′_n}，即块b′₁对应的DC系数为D′₁，块b′_n对应的DC系数为D′_n；

D.获得低分辨率图像和超分辨图像的能量变化，低分辨率图像和超分辨率图像对应的图像块之间的能量变化由式(3)来计算：

$f_e(b_k,b_k^{\′})=\frac{2m_{D_k}{m}_{D_k^{\′}}+C_1}{m_{D_k}^2+m_{D_k^{\′}}^2+C_1}---\left(3\right)$

其中，b_k和b′_k表示低分辨率图像和超分辨率图像对应的两个图像块，C₁＝6.5025，和分别表示相应图像块的能量均值，计算方法如下:

$m_{D_k}=\frac{D_k}{S_k}---\left(4\right)$

$m_{D_k^{\′}}=\frac{D_k^{\′}}{S_k^{\′}}---\left(5\right)$

D_k表示低分辨率图像块b_k对应的DC系数，S_k表示图像块b_k的大小；D′_k表示超分辨率图像块b′_k对应的DC系数，S′_k表示图像块b′_k的大小，k∈{1,2…,n}，低分辨率图像和超分辨图像的能量变化F_e(LR,HR)计算如下：

$F_e(LR,HR)=\underset{(b_k,b_k^{\′})}{\Σ}{f}_e(b_k,b_k^{\′})---\left(6\right)$

其中b_k∈{b₁,b₂…b_n}；b′_k∈{b′₁,b′₂…b′_n}，LR表示低分辨率图像，HR表示超分辨率图像。

4.根据权利要求2或3所述的对于超分辨率图像质量方法，其特征在于：通过相对应图像块之间的纹理特征差异计算的得到低分辨率图像和超分辨率图像之间的纹理特征差异，其具体步骤是：

A.对于低分辨率图像中的一个大小为N_b*N_b的图像块，经过式(1)和(2)离散余弦变换后得到个AC系数，用向量A表示，

B.对于超分辨率图像中的对应的大小为N_b′*N_b′的图像块，经过离散余弦变换得到个AC系数，用向量A′表示，

C.低分辨率图像和超分辨率图像的对应图像块之间的纹理特征差异由得到的AC系数的均值和方差表示，由式(7)来计算：

$f_t(b_k,b_k^{\′})=\frac{(2m_A{m}_{A^{\′}}+C_2)(2d_A{d}_{A^{\′}}+C_3)}{(m_A^2+m_{A^{\′}}^2+C_2)(d_A^2+d_{A^{\′}}^2+C_3)}---\left(7\right)$

其中C₂＝6.5025，C₃＝58.5225，m_A和m_A′分别表示向量A和向量A′均值，d_A和d_A′分别表示向量A和向量A′的方差，b_k表示低分辨率图的第k个图像块，b′_k表示超分辨率图像的第k个图像块，f_t(b_k,b′_k)表示低分辨率图像和超分辨率图像相对应的第k个图像块的纹理特征差异；

D.获得低分辨率图像和超分辨率图像之间的纹理特征差异，低分辨率图像和超分辨率图像之间的纹理特征差异通过对应图像块之间的纹理特征差异叠加得到，由式(8)计算：

$F_t(LR,HR)=\underset{(b_k,b_k^{\′})}{\Σ}{f}_t(b_k,b_k^{\′})---\left(8\right)$

其中，LR表示低分辨率图像，HR表示超分辨率图像，b_k∈{b₁,b₂…b_n}，表示低分辨率图像分成{b₁,b₂…b_n}这n个图像块；b′_k∈{b′₁,b′₂…b′_n}，表示超分辨率图像分成{b′₁,b′₂…b′_n}这n个图像块；F_t(LR,HR)表示低分辨率图像和超分辨率图像之间的纹理特征差异。

5.根据权利要求4所述的对于超分辨率图像质量方法，其特征在于：将所述这能量和纹理特征结合，计算质量分数来预测超分辨图像的质量，所述质量分数由式(9)计算得到：

Q＝F_e(LR,HR)F_t(LR,HR) (9)

其中，F_e(LR,HR)和F_t(LR,HR)分别为低分辨率图像和超分辨率图像之间的能量特征和纹理特征差异值，Q表示超分辨率图像分数。