CN107203991A - 一种基于光谱残差的半参考图像质量评价方法 - Google Patents

Abstract

本发明属于图像评价技术领域，提出了一种基于光谱残差的半参考图像质量评价方法，包括以下步骤：分别计算待评价图像Id和参考图像Ir的RSR（Id）值和RSR（Ir）值；计算待评价图像与参考图像的RSRM值；根据RSRM值大小来评价图像质量；待评价图像和参考图像的RSR值的计算过程为：计算图像I的梯度大小G(I)；计算图像I和G（I）的小波系数{DWT（I），DWT（G（I））}；计算小波系数{DWT（I），DWT（G（I））}中各个组分的光谱残差SR；计算小波系数{DWT（I），DWT（G（I））}中各个组分的显著值SM；通过分形维数进行编码，得到各个组分的显著值SM的残余谱规则性值RSR；本发明提出的图像评价方法具有良好性能，可以广泛应用于图像处理领域。

Description

一种基于光谱残差的半参考图像质量评价方法

技术领域

本发明涉及一种半参考图像质量评价方法，具体涉及一种基于光谱残差的半参考图像质量评价方法。

背景技术

图像质量评价(IQA)是图像处理中的一个基本问题，是许多应用的关键，如感知最佳编码器设计、图像通信和图像恢复等。根据原始图像的可用性，IQA可以分为三类：全参考IQA(FR-IQA)，无参考IQA(NR-IQA)和半参考IQA(RR-IQA)。FR-IQA需要整个原始图像，NR-IQA不需要原始图像的任何信息，而RR-IQA需要原始图像的部分信息。对于RR-IQA来说，度量的核心问题是特征提取。图像的特征可以是局部的或全局的。全局特征描述整个图像的视觉特征。例如，Wang,Z.,Wu,G.,Sheikh,H.R.,Simoncelli,E.P.,et al.:’Quality-awareimages’,IEEE Trans.Image Process,2006,15,(6),pp.1680–1689一文中，WNISM方法是通过广义高斯密度函数对可转角金字塔系数的分布进行建模，将分布参数估计为图像特征。为了进一步提高WNISM的性能，Li,Q.,Wang,Z.:’Reduced-reference image qualityassessment using divisive normalization-based image representation’,IEEEJournal of Selected Topics in Signal Processing,2009,3,(2),pp.202–211一文中引入了分解归一化转换，以消除系数相关。其它文献中也使用类似的方法。由于人类视觉***的多通道性质，还有人建议，使用基于图像表示的几何系数的归一化直方图。

另一方面，局部特征描述了图像小斑点的视觉特征。例如，基于信息理论，Soundararajan提出的RRED计算每个3×3块的小波系数的局部熵作为图像特征来测量图像质量。在文献Shnayderman,A.,Gusev,A.,Eskiciogl,A.:’An SVD-Based gray-scaleimage quality measure for local and global assessment’,IEEE Trans.ImageProcess.,2006,15,(2),pp.422–429中，采用奇异值分解(SVD)提取图像8×8像素块的奇异值作为图像特征，以量化图像质量。从分形分析理论的角度，还有人提出了SPCRM来测量参考图像和失真图像之间的相位一致性的局部规律性的差异。在文献Xu,Y.,Liu,D.,Quan,Y.,et al.:’Fractal analysis for reduced reference image quality assessment’,IEEE Trans.Image Process,2015,24,(7),pp.2098–2109中，根据人眼对不同频带的敏感度不同，每个频带的失真导致单个质量下降，局部分形维数用于分别计算不同频带上的视觉信息降解以进行质量评估。如我们所知，RR-IQA期望使用更少的参考图像数据并实现更高的预测精度，因此这些方法的缺点是使用了参考信息的数量较多。

虽然上述图像全局特征在RR-IQA上实现了一些良好的性能，但仍然存在一些问题。一个问题是，RR-IQA度量使用的一些特征直接从图像中提取出来，并没有考虑到在人类视觉***中不是所有的失真都是可区分的，例如SRRM方法。另一个问题是，RR-IQA度量使用的某些图像特征在不同的失真类型上并不是鲁棒性的。它们对于共享相同失真类型的图像性能良好，但是当涉及多种失真类型时，它们的评价效果不好，例如WNISM。因此，需要提出一种在不同失真类型之间的一致性好的图像评价方法。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于光谱残差的半参考图像质量评价方法，以提高半参考图像质量评价的一致性。

为了解决上述技术问题，本发明采用的技术方案为：一种基于光谱残差的半参考图像质量评价方法，其特征在于，包括以下步骤：S101、计算待评价图像Id的残余谱规则性值RSR(Id)；S102、计算参考图像Ir的残余谱规则性值RSR(Ir)；S103、计算待评价图像与参考图像的RSRM值，计算公式为：RSRM(I_r，I_d)＝||RSR(I_r)-RSR(I_d)||₁；S104、根据RSRM值大小来评价图像质量，RSRM值越小，说明图像质量越好；所述待评价图像和参考图像的残余谱规则性值RSR的计算过程为：计算图像I的梯度大小G(I)；计算图像I和G(I)的小波系数{DWT(I)，DWT(G(I))}；计算小波系数{DWT(I)，DWT(G(I))}中各个组分的光谱残差SR；计算小波系数{DWT(I)，DWT(G(I))}中各个组分的显著值SM；通过分形维数对各个组分的显著值进行编码，得到各个组分的显著值SM的残余谱规则性值RSR，计算公式为RSR(I)＝{FD[SM(DWT(I)，DWT(G(I))]}}，所述DWT表示小波系数，FD表示分形维数。

小波系数{DWT(I)，DWT(G(I))}中各个组分的光谱残差SR的计算公式为： 式中，L(f)＝log(A(f))，A(f)＝abs(F(I(x)))，A(f)表示图像I的振幅谱，L(f)表示对数谱；h_n表示频域大小为n的平均滤波器，表示卷积运算，F表示傅里叶变换，x表示图像空域，f表示图像频域。

所述h_n表示频域大小为3的平均滤波器。

小波系数{DWT(I)，DWT(G(I))}中各个组分的显著值SM的计算公式为： 式中，g(x)表示空间域中的二维高斯滤波器，F^-1表示逆傅里叶变换，P(f)＝angle(F(I(x)))，表示图像I的相位谱；所述表示卷积运算。

所述梯度大小G(I)计算公式为：

所述表示卷积运算，

所述小波系数的计算公式为：

式中，I表示图像，x和y表示图像坐标，表示Daubechie小波函数中的“DB2”小波，m和n表示小波尺度，i和j表示像素位置，M和N表示图像的大小。

本发明与现有技术相比具有以下有益效果：本发明通过利用小波、光谱残差和分形维数来对图像质量进行评价。小波旨在模拟人类视觉***的多通道结构，SR可以指示图像的显著性，分形分析可以将SR编码为图像特征。首先通过小波变换提取图像子带；然后获得SR以及SM以表示每个子带的显著性；然后用分形维数用于测量SM的不规则度；最后，所有计算的分形维数被连接成特征向量，通过比较待评价图像的分形维数以及参考图像的分型维数，并进行一次范式求解，可以得到待评价图像RSRM值，由于分形维数与人类视觉***有很强的相关性，图像结构得到了很好的体现，因此，本发明提出的RSRM图像评价方法获得的客观得分与主观评价的相关性更强，通过实验证实了RSRM值与图像质量紧密相关，并且，经多个数据库的PLCC，SROCC，KROCC和RMSE，MAE值证实，RSRM要优于其他评价方法，也就是说，本发明的评价方法，不仅性能指标的平均性能较好。并且，在不同失真类型之间的一致性也较好。

附图说明

图1为RSRM度量的SROCC性能指标在四个数据库(TID2013，TID2008，CSIQ和LIVE)上的上的性能随小波分解尺度参数的变化；

图2为不同类型的失真下，本发明提出的RSRM度量的客观值与失真度的关系，图中横轴表示失真度，纵轴表示RSRM值，(1)表示高斯模糊，(2)表示高斯白噪声，(3)表示JPEG压缩(4)表示椒盐噪声(5)表示斑点噪声；

图3～图10为在CSIQ数据库中，八种IQA度量在不同失真类型(AWN、JPEG、JP2K、APN、GB、CTD)下的散点图，图中横轴表示客观值，纵轴表示主观评价DMOS值；其中，图3表示RSRM度量，图4表示WNISM度量，图5表示SVD度量，图6表示SRRM度量，图7表示SPCRM度量，图8表示SSRM度量，图9表示SSIM度量，图10表示PSNR度量；

图11表示TID2013数据库中SVD度量和RSRM度量的散点图，图中横轴表示客观值，纵轴表示主观评价MOS值，图中，(1)～(3)表示SVD度量在AGN、SCN、MN失真下的散点图，(4)～(6)表示RSRM度量在AGN、SCN、MN失真下的散点图，(7)～(9)表示SVD度量在GB、CN、LCNI失真下的散点图，(10)～(11)表示RSRM度量在GB、CN、LCNI失真下的散点图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于光谱残差的半参考图像质量评价方法，包括以下步骤：

S101、计算待评价图像Id的残余谱规则性值RSR(Id)；

S102、计算参考图像Ir的残余谱规则性值RSR(Ir)；

S103、计算待评价图像与参考图像的RSRM(残余谱规则相似度)值，计算公式为：

RSRM(I_r，I_d)＝||RSR(I_r)-RSR(I_d)||₁；

S104、根据RSRM值大小来评价图像质量，RSRM值越小，说明图像质量越好。

其中，以图像I为例，图像I的RSR(残余谱的规则性)值的计算过程具体为：

(1)计算图像I的梯度大小G(I)；

其中，梯度大小G(I)计算公式为：

式(1-1)中，表示卷积运算，

(2)计算图像I和G(I)的小波系数{DWT(I)，DWT(G(I))}；

其中，小波系数DWT的计算公式为：

式(2-1)中，I表示图像，x和y表示图像坐标，表示Daubechie小波函数中的“DB2”小波，m和n表示小波尺度，i和j表示像素位置，M和N表示图像的大小。

(3)计算小波系数{DWT(I)，DWT(G(I))}中各个组分的光谱残差SR；

其中，小波系数{DWT(I)，DWT(G(I))}中各个组分的光谱残差SR的计算公式为：

式(3-1)中，L(f)＝log(A(f))，A(f)＝abs(F(I(x)))，表示图像I的振幅谱，h_n表示频域大小为n的平均滤波器，表示卷积运算，F表示傅里叶变换，x表示图像空域，f表示图像频域。傅里叶变换可以将图像的空域表示转换为频域表示。

(4)计算小波系数{DWT(I)，DWT(G(I))}中各个组分的显著值SM；

其中，小波系数{DWT(I)，DWT(G(I))}中各个组分的显著值SM的计算公式为：

式(4-1)中，g(x)表示空间域中的二维高斯滤波器，F^-1表示逆傅里叶变换，P(f)＝angle(F(I(x)))，表示图像I的相位谱；所述表示卷积运算。

(5)通过分形维数对各个组分的显著值进行编码，得到各个组分的显著值SM的残余谱规则性值RSR，计算公式为：

RSR＝{FD[SM(DWT(I)，DWT(G(I))]}} (5-1)

式(5-1)中，FD表示分形维数，本发明实施例中，分形维数的计算采用差分盒维算法(DBC：differential box counting)，相对于其它算法，差分盒维算法具有准确、快速、有效的特点，DBC将大小为M×M的图像I(x，y)看做3D点集{(x,y,z|z＝I(x，y)}，(x，y)表示平面位置，z表示灰度值。Xy平面被分割成许多s×s的网格。在每个网格上，是一列s×s×h的盒子，h表示每个盒子的高度，满足G/h＝M/s，G表示图像最大灰度值。设图像灰度在第(i，j)网格中的最小值和最大值分别落在第k和第l个盒子中，则覆盖第(i，j)网格中的图像所需的盒子数为：n_r(i,j)＝l-k+1，而覆盖整个图像所需的盒子数则分形维数的理论值为但在数据处理过程中，一般是通过线性拟合求斜率来进行分形维数FD编码。

通过将RSRM应用于四个最大的数据库，我们发现，当小波尺度大约为5时，会获得更好的结果，如图1所示，为四个数据库中，SROCC曲线与尺度的关系。因此，本发明中，设定5为尺度数量，从而RSR的特征长度是32维。更具体地说，对于RSR，我们在每个SR上只得到一个分形维数特征。由于小波分解的尺度为5(即J＝5)，所以存在32个小波系数矩阵，包括2个低通分量和30个高通分量。每个系数矩阵有一个SR，因此图像特征为32×1＝32维。编码得到RSR对应一个32维的特征向量。

在实际的图像评价过程中，一般是对客户端的图像进行评价，则待评价图像为客户端片源，服务器上片源作为参考图像。

步骤S103中，计算得到的RSRM值为一个具体数字，RSRM的值越小，表示图像的质量越好。

为了验证本发明提出的RSRM值对图像评价的效果，我们计算了LIVE数据库中，所有图像样本的平均RSRM值，如图2所示，当失真度增加时，预测的质量值上升，说明本发明的评价方法预测符合图像质量。

此外，发明人采用TID2013图像数据库，TID2008数据库，CSIQ图像数据库和LIVE图像数据库来评估提出的RSRM度量。表1列出了四个数据库的简要信息。共有6445个失真的图像，每个图像以(差)平均意见得分(DMOS/MOS)提供主观评价。

表1.四个图像数据库

为了评估预测性能，发明人计算了RSRM度量的五个常用性能指标，分别为Pearson线性相关系数(PLCC)，Spearman秩次相关系数(SROCC)，Kendall秩次相关系数(KROCC)，均方根误差(RMSE)和平均绝对误差(MAE)。较高的PLCC，SROCC，KROCC和较低的RMSE，MAE值，IQA指标更好。并将RSRM度量的这五个常用性能指标与其他代表性的RR-IQA度量进行比较，它们是：SSRM(空间规则相似度)，SRRM(Radon拉东投影规则相似度)，WNISM(小波域自然图像统计模型)，RR-SSIM，SPCRM(相位规则相似度)，SVD(奇异值分解)和FR-IQAmetrics(全参考图像评价度量)：SSIM(结构相似度)，PSNR(峰值信噪比)。

不同的图像质量评价模型得到的客观值的范围是不同的(例如，SSIM的范围是(0，1)，而标准图像库的主观评价值范围是(0，100)，显然二者不在一个数量级上，为便于比较，需要利用非线性函数将客观评价值映射到主观评价值，得到预测值。首先，需要利用非线性回归函数将目标分数x(对于本发明的RSRM方法，x即为RSRM值)映射到f(x)，公式如下：

其中，上述公式中，x表示客观值，f(x)表示预测值，拟合参数β₁，β₂，……β₅由拟合过程确定。

然后，计算各个度量方法的上述五个常用性能指标，其中，RMSE表示均方根误差，首先计算每幅图像的预测值与主观值差的平方，然后求平均值，最后求平方根。其计算公式如下：

其中，Xi表示每幅图像的预测值，Yi表示图每幅图像的主观值。

MAE表示平均绝对值，其计算公式如下，该指标首先计算每幅图像的预测值与主观值差的绝对值，然后再求和后进行平均。其计算公式如下：

PLCC表示Pearson线性相关系数，其计算公式如下，

其中，Xi表示每幅图像的预测值，Yi表示图每幅图像的主观值，表示所有图像预测值的平均值，表示所有图像主观值的平均值。

SROCC表示Spearman等级相关系数，其计算公式如下，

式(10-1)中，RXi和RYi表示图每幅图像的客观值和主观值分别按相同顺序(由大到小或由小到大)排序后，对于第i个值在各自序列中的序号，n表示测试图像总个数。KROCC与SROCC类似。

表2列出了RSRM在上述4个数据库的实验结果和与其它度量的比较，并对RR-IQA的最佳结果利用下划线进行了突出显示。从表2可以看出，与RR-IQA度量相比，RSRM在四个数据库上表现最好。与FR-IQA度量相比，RSRM在四个数据库上的性能远优于PSNR，而在TID2013和LIVE数据库上，RSRM的性能略逊于SSIM。此外，表2中还提供了四个数据库的平均PLCC，SROCC和KROCC结果。平均方案有两种，第一种方案是性能指标直接平均。在第二个方案中，性能指标由数据库的大小衡量。与RR-IQA/FR-IQA指标相比，我们可以看到RSRM平均性能最好。

表2各个图像质量评价度量在四个图像数据库中的综合指标

本发明的发明人不仅通过典型的性能指标来验证了RSRM的优越性能，而且，RSRM的优越性能也可以在客观和主观评价的散点图上看到。图3～图10显示了主观评价与IQA指标(包括RSRM，SRRM，WNISM，SPCRM，SSRM，SVD，SSIM和PSNR)在CSIQ数据库中获得的客观评价的散点图。图3中的横轴表示各种度量的客观值，纵轴表示图像的主观评价DMOS值，每一点表示一个失真的图像，并且根据公式(6-1)获得曲线。从图3～图10可以看出，与其它IQA指标相比，RSRM的散点图更加紧凑，这意味着本发明提出的RSRM度量获得的客观得分与主观评价的相关性更强。此外，表2还给出了IQA度量使用的图像特征的长度。RSRM的特征长度比WNISM，SRRM和SSRM长，但比SVD，SSIM和PSNR短。

此外，在在四个数据库中共有52组失真类型，我们对每组失真类型进行实验。表3列出了SROCC的实验结果。最好的结果利用下划线进行突出显示。此外，表3还给出了表现最佳的度量的失真类型数。从表3可以看出，SVD比其他RR-IQA指标更好。然而，如前所述，RSRM在四个数据库上比SVD好得多。为了提供SVD和RSRM之间的性能比较的视觉效果，图11显示了TID2013数据库中SVD和RSRM对于不同失真的散点图。可以看出，SVD对单个失真的散点图中的点彼此更接近，而RSRM对各个失真的散点图更接近拟合曲线。也就是说，SVD随不同的失真类型而变化，而RSRM在不同的失真类型之间是非常一致的。

表3RR-IQA度量在不同失真类型下的SROCC值对比

综上所述，本发明通过利用小波、光谱残差和分形维数为RR-IQA提出了一个RSR的特征提取框架，并且基于RSR特征提取，提出了一种基于光谱残差的半参考图像质量评价方法。小波旨在模拟人类视觉***的多通道结构，光谱残差表示局部区域对人类视觉***的重要性，分形维数对光谱残差进行编码。本发明通过RSRM在四个最大的图像数据库(TID2013，TID2008，CSIQ和LIVE数据库)上进行评估，实验结果证实RSR不仅与人类视觉***相关，而且对于各种图像失真都是鲁棒的。因此，本发明提出的一种半参考图像质量评价方法，相对于其他度量评价，具有更好的性能指标，而且，该方法在不同失真类型之间的图像评价的一致性较好，可以广泛应用于图像处理领域。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于光谱残差的半参考图像质量评价方法，其特征在于，包括以下步骤：

S101、计算待评价图像Id的残余谱规则性值RSR(Id)；

S102、计算参考图像Ir的残余谱规则性值RSR(Ir)；

S103、计算待评价图像与参考图像的RSRM值，计算公式为：

RSRM(I_r，I_d)＝||RSR(I_r)-RSR(I_d)||₁；

S104、根据RSRM值大小来评价图像质量，RSRM值越小，说明图像质量越好；

所述待评价图像和参考图像的残余谱规则性值RSR的计算过程为：

计算图像I的梯度大小G(I)；

计算图像I和G(I)的小波系数{DWT(I)，DWT(G(I))}；

计算小波系数{DWT(I)，DWT(G(I))}中各个组分的光谱残差SR；

计算小波系数{DWT(I)，DWT(G(I))}中各个组分的显著值SM；

通过分形维数对各个组分的显著值进行编码，得到各个组分的显著值SM的残余谱规则性值RSR，计算公式为

RSR(I)＝{FD[SM(DWT(I)，DWT(G(I))]}}；

所述DWT表示小波系数，FD表示分形维数。

2.根据权利要求1所述的一种基于光谱残差的半参考图像质量评价方法，其特征在于，小波系数{DWT(I)，DWT(G(I))}中各个组分的光谱残差SR的计算公式为：

<mrow> <mi>S</mi> <mi>R</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>L</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>h</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>L</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

式中，L(f)＝log(A(f))，A(f)＝abs(F(I(x)))，A(f)表示图像I的振幅谱，L(f)表示对数谱；h_n表示频域大小为n的平均滤波器，表示卷积运算，F表示傅里叶变换，x表示图像空域，f表示图像频域。

3.根据权利要求2所述的一种基于光谱残差的半参考图像质量评价方法，其特征在于，所述h_n表示频域大小为3的平均滤波器。

4.根据权利要求2所述的一种基于光谱残差的半参考图像质量评价方法，其特征在于，小波系数{DWT(I)，DWT(G(I))}中各个组分的显著值SM的计算公式为：

<mrow> <mi>S</mi> <mi>M</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <msup> <mi>F</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mi>S</mi> <mi>R</mi> <mo>(</mo> <mi>f</mi> <mo>)</mo> <mo>+</mo> <mi>P</mi> <mo>(</mo> <mi>f</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>;</mo> </mrow>

式中，g(x)表示空间域中的二维高斯滤波器，F^-1表示逆傅里叶变换，P(f)＝angle(F(I(x)))，表示图像I的相位谱；所述表示卷积运算。

5.根据权利要求1所述的一种基于光谱残差的半参考图像质量评价方法，其特征在于，所述梯度大小G(I)计算公式为：

<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <msup> <mi>I</mi> <mn>2</mn> </msup> <mo>&amp;CircleTimes;</mo> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> <mo>+</mo> <msup> <mi>I</mi> <mn>2</mn> </msup> <mo>&amp;CircleTimes;</mo> <msub> <mo>&amp;dtri;</mo> <mi>y</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> <mrow> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> <mo>;</mo> </mrow>

所述表示卷积运算，

6.根据权利要求1所述的一种基于光谱残差的半参考图像质量评价方法，其特征在于，所述小波系数的计算公式为：

式中，I表示图像，x和y表示图像坐标，表示Daubechie小波函数中的“DB2”小波，m和n表示小波尺度，i和j表示像素位置，M和N表示图像的大小。