CN105118053A - 一种基于压缩感知的全参考图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于压缩感知的全参考图像质量客观评价方法，包括：步骤1，对参考图像和失真图像分别进行预处理得到相应的图像灰度矩阵；步骤2，针对所述的失真图像和参考图像的图像灰度矩阵基于压缩感知原理构造稀疏的随机观测矩阵；步骤3，将所述的随机观测矩阵分别与参考图像和失真图像的图像灰度矩阵相乘得到相应的投影系数矩阵；步骤4，计算失真图像的投影系数矩阵相对于参考图像的投影系数矩阵的峰值信噪比作为失真图像的客观评价值。本发明的全参考图像质量客观评价方法全面提高了PSNR评价方法的各项指标水平，且同时相对于工程学评价方法减小了评价时间消耗。

Description

一种基于压缩感知的全参考图像质量客观评价方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于压缩感知的全参考图像质量客观评价方法。

背景技术

图像传递着大量的信息，在数码电子产品和互联网应用中举足轻重。伴随着海量的图像数据，我们面临着信息的快速筛选、图像内容的有效分析以及图像质量的准确判断等问题。图像质量客观评价方法通过计算机模拟人眼视觉***来建模研究图像质量，该方法以自动连续的高效工作方式而成为了该领域的研究重点。其中，全参考图像质量评价结果最可靠，且其理论和算法对半参考及无参考图像质量评价具有重要的借鉴意义。因此，当前全参考图像质量客观评价方法成为了研究热点。

传统的经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等，这些算法既然没有考虑图像的结构特征而去除冗余像素，也没有结合人眼的视觉特性，因而评价结果与人眼主观测试差距较大，利用上述算法得到的评价结果的斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC的指标水平都比较低。

通过引入人类视觉***(HumanVisionSystem，HVS)的感知特性，提出了许多仿生学评价算法，例如Dalay算法，Lubin算法，Safranek-Johnson算法，Teo-Heeger算法，Watson离散余弦变换算法以及Watson小波变换算法等。但有许多***性缺陷制约着仿生学方法的性能，例如简单的视觉刺激HVS研究机理并不能完整的表达高度复杂的视觉信息处理过程，此外，仿生学建模算法复杂，速度慢，建模效率低，且需要主观实验检验模型的有效性，存在建模无效的情况，实验结果表明仿生学方法的评价效率相对传统的经典算法并没有明显的改善。

近些年，图像质量评价领域出现了一些工程学评价方法及其改进算法，例如，结构相似度SSIM方法，信息保真度IFC方法，奇异值分解SVD方法，梯度结构相似度GSM算法，特征结构相似度FSIM算法，视觉保真度VIF算法等。工程学算法相对仿生学算法无需复杂的建模过程，相对而言可以提高评价速度，但该类算法往往无法使得到的评价结果的斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC同时保持在较高的水平。

发明内容

针对现有技术的不足，本发明提供了一种基于压缩感知的全参考图像质量客观评价方法，其核心是将压缩感知理论用于图像质量评价，通过构造的随机压缩观测矩阵对图像进行稀疏投影变换得到投影系数矩阵，然后基于投影系数矩阵进行质量评价，全面提高了经典评价PSNR类方法的各项评价指标((包括斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC))的水平，使得SROCC的指标达到了工程学SSIM方法同样的水平，而RMSE和PLCC指标超过了工程学方法的水平，且相对于工程学评价方法，本发明减小了评价时间消耗。

一种基于压缩感知的全参考图像质量客观评价方法，包括：

步骤1，对参考图像和失真图像分别进行预处理得到相应的图像灰度矩阵；

步骤2，针对所述的失真图像和参考图像的图像灰度矩阵基于压缩感知原理构造稀疏的随机观测矩阵；

步骤3，将所述的随机观测矩阵分别与参考图像和失真图像的图像灰度矩阵相乘得到相应的投影系数矩阵；

步骤4，计算失真图像的投影系数矩阵相对于参考图像的投影系数矩阵的峰值信噪比作为失真图像的客观评价值。

将压缩感知理论用于图像质量客观评价研究领域中，通过构造稀疏的随机观测矩阵对图像进行稀疏投影变换，然后基于投影矩阵进行图像的质量评价，由于观测矩阵较强的随机性和稀疏性，得到的投影矩阵(投影系数矩阵)不仅能够反映原图像的空间结构特征，而且能够提取原图像的主要能量系数，压缩掉冗余像素信息，因此利用图像的投影矩阵进行质量评价，能够大大降低计算量，且符合人眼的主观视觉特性。该发明全面提高了PSNR图像质量客观评价方法的各项指标水平，且同时相对于工程学评价方法减小了评价时间消耗。

所述步骤1中预处理包括依次进行灰度化处理和高斯低通滤波。

作为优选，高斯低通滤波时采用的窗口大小为k×k，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，即：t＝min{P，Q}，P×Q为失真图像的大小。进一步优选，高斯低通滤波时采用的标准差为1.0～3.0。

构建的随机观测矩阵可以服从高斯随机分布、泊松随机分布或均匀随机分布，作为优选，所述的随机观测矩阵为服从高斯随机分布的随机观测矩阵)。

所述稀疏的随机观测矩阵中每个元素均在1、-1和0中随机选取。作为优选，1、-1和0被选取的概率分别为1/p、1/p和1-2/p，即：对于随机观测矩阵任意一个元素，其取值为1、-1和0被选取的概率分别为1/p、1/p和1-2/p，p的取值范围为3～6。

作为优选，随机观测矩阵的行数x和列数y满足：

x＝0.001～0.5s，y＝r，

其中，r、s分别为所述图像灰度矩阵的行数和列数。

进一步优选，x＝0.1s。

满足上述条件的随机观测矩阵具有如下优点：

1)随机观测矩阵尽可能大的稀疏化；2)满足压缩感知的有限等距性质(RestrictedIsometryProperty,RIP)。

所述步骤4中根据如下公式计算峰值信噪比：

$PSNR=10\×{\log }_{10}\left(\frac{{(2^n-1)}^2}{MSE}\right),MSE=\frac{1}{M\×N}\underset{i=1}{\overset{M-1}{\Σ}}\underset{j=1}{\overset{N-1}{\Σ}}{\[y(i,j)-x(i,j)\]}^2$

其中，PSNR为峰值信噪比，投影系数矩阵的大小为M×N，x(i,j)、y(i,j)分别为参考图像和失真图像对应的投影系数矩阵中第i行第j列的元素值；n为参考图像的灰度等级水平。

与现有技术相比，本发明将压缩感知理论用于图像质量评价，通过构造的压缩观测矩阵对图像进行稀疏投影变换得到投影系数矩阵，然后基于投影系数矩阵进行质量评价，本发明方法全面提高了PSNR评价方法的各项指标水平，且相对于工程学评价方法减小了评价时间消耗。

附图说明

图1为本发明基于压缩感知的图像质量客观评价方法的操作流程图；

图2(a)为本实施例的参考图像；

图2(b)为本实施例的失真图像；

图2(c)为2(a)的灰度图；

图2(d)为2(b)的灰度图；

图2(e)为2(c)的高斯低通滤波图；

图2(f)为2(d)的高斯低通滤波图；

图2(g)为2(e)的稀疏投影图；

图2(h)为2(f)的稀疏投影图。

具体实施方式

下面将结合附图和具体实施例对本发明作进一步详细说明。

本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的MOS值(主观评价分值)已知，该MOS值即为人眼的主观测试结果。

进行全参考图像质量客观评价时首先从LIVERelease2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，如图1所示，该方法包括：

步骤1，对参考图像和失真图像(如图2(a)和图2(b)所示)分别进行预处理得到相应的图像灰度矩阵；

进行预处理时：

首先，按照如下公式对参考图像和失真图像进行灰度变换，将其分别变换为灰度图像Gray：

Gray＝0.29900·R+0.58700·G+0.11400·B

其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B三个通道上的强度值。本实施例得到的灰度图像如图2(c)和图2(d)所示。

然后，分别对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。

本实施例中考虑到LIVERelease2图像标准数据库中的图像大小，针对所有图像进行高斯低通滤波时采用的窗口大小均为16×16，且标准差为1.0。

本实施例中得到图像灰度矩阵对应的图像表示结果如图2(e)和图2(f)所示。

基于该滤波器对灰度图像进行低通滤波处理，在二维互相关过程中，未使用边缘补0部分进行计算的结果部分。

步骤2，针对失真图像和参考图像的图像灰度矩阵基于压缩感知原理构造稀疏的随机观测矩阵(二者共用一个随机观测矩阵)；

随机观测矩阵的行数小于图像灰度矩阵的列数，列数等于图像灰度矩阵的行数。本实施例中得到的随机观测矩阵的行数x和列数y满足下述要求：x取值范围为0.001～0.5s(本实施例中为p＝0.1s)，q＝r，r、s分别为源图像经过低通滤波后的图像灰度矩阵的行数和列数。随机矩阵的元素取值服从随机分布，每个的元素均在1、-1和0中随机取值，且其取值概率分别为1/6、1/6和2/3。

步骤3，将随机观测矩阵分别与参考图像和失真图像的图像灰度矩阵相乘得到相应的投影系数矩阵(相应的图像表示如图2(g)和图2(h)所示)；

即利用得到的随机观测矩阵对参考图像和失真图像进行观测，本实施例中得到的投影系数矩阵能够既反映了原图像(参考图像和失真图像)的空间结构特征，又突出了眼视觉提取的图像主要能量特征系数，这样基于投影系数矩阵评价得到的质量评估结果更加准确。

步骤4，根据如下公式计算计算失真图像的投影系数矩阵相对于参考图像的投影系数矩阵的峰值信噪比：

$PSNR=10\×{\log }_{10}\left(\frac{{(2^n-1)}^2}{MSE}\right),MSE=\frac{1}{M\×N}\underset{i=1}{\overset{M-1}{\Σ}}\underset{j=1}{\overset{N-1}{\Σ}}{\[y(i,j)-x(i,j)\]}^2$

其中，PSNR为峰值信噪比，投影系数矩阵的大小为M×N，x(i,j)、y(i,j)分别为参考图像和失真图像对应的投影系数矩阵中第i行第j列的元素值；n为参考图像的灰度等级水平)。

基于客观评价PSNR分值和LIVERelease2图像标准数据库中记载的各个失真图像的主观评估分MOS分值，根据国际视频质量专家组(VideoQualityExpertsGroup，VQEG)规范计算得到本发明的客观评价方法的SROCC指标、RMSE指标和PLCC指标。

表1为利用本实施例的客观评价方法(SPMM)与现有的评价方法对LIVERelease2图像标准数据库中的标准案例进行权参考图像指令客观评价时得到的评价结果的SROCC指标、RMSE指标和PLCC指标对比。本实施例中的现有的评价方法包括PSNR(PeakSignaltoNoiseRatio，峰值信噪比)、VIF(VisualInformationFidelity，视觉信息保真度)、SSIM(StructuralSimilarity，结构相似度)、MSSIM(Multi-scaleStructuralSimilarity，多尺度结构相似)、NQM(NoiseQualityMeasure，噪声质量测量)。

Release2图像标准数据库中失真图像的格式包括JP2K、JPEG、WN、Gblur和FF，为说明本实施例的方法的适用范围，表1中给出的不同方法下各个指标(即评价指标)的值为对Release2图像标准数据库中该类的所有失真图像评价后得到评价结果的评价指标的平均值，表1中All表示针对Release2图像标准数据库中的所有格式的失真图像。

表1

表2为本实施例的客观评价方法与现有的评价方法的时间对比，其中总体时间是将Release2图像标准数据库中所有失真图像全部评价完所花费的总评价时间，平均时间是平均每个失真图像的评价时间，通过总体时间除以失真图像的数量得到。

表2

从表1和表2，可以看出，与现有的评价方法比较，单独从评价指标上看，本实施例的方法对应的RMSE和PLCC评价指标水平整体(All)上最高，同时SROCC也维持在一个较高的水平，远高于PSNR方法。单独从评价时间上看，本实施例方法的略低于PSNR方法，但是明显优于其它方法。从SROCC、RMSE、PLCC和评价时间等指标的综合水平上看，本实施例方法的评价效率优于其他方法。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于压缩感知的全参考图像质量客观评价方法，其特征在于，包括：

步骤1，对参考图像和失真图像分别进行预处理得到相应的图像灰度矩阵；

步骤2，针对所述的失真图像和参考图像的图像灰度矩阵基于压缩感知原理构造稀疏的随机观测矩阵；

步骤3，将所述的随机观测矩阵分别与参考图像和失真图像的图像灰度矩阵相乘得到相应的投影系数矩阵；

步骤4，计算失真图像的投影系数矩阵相对于参考图像的投影系数矩阵的峰值信噪比作为失真图像的客观评价值。

2.如权利要求1所述的基于压缩感知的全参考图像质量客观评价方法，其特征在于，所述步骤1中预处理包括依次进行灰度化处理和高斯低通滤波。

3.如权利要求2所述的基于压缩感知的全参考图像质量客观评价方法，其特征在于，高斯低通滤波时采用的标准差为1.0～3.0。

4.如权利要求2所述的基于压缩感知的全参考图像质量客观评价方法，其特征在于，高斯低通滤波时采用的窗口大小为k×k，k的取值范围为0.015t～0.42t，其中，t＝min{P，Q}，P×Q为失真图像的大小。

5.如权利要求1所述的基于压缩感知的全参考图像质量客观评价方法，其特征在于，所述稀疏的随机观测矩阵中每个元素均在1、-1和0中随机选取。

6.如权利要求5所述的基于压缩感知的全参考图像质量客观评价方法，其特征在于，随机观测矩阵的行数x和列数y满足：

x＝0.001～0.5s，y＝r，

其中，r、s分别为所述图像灰度矩阵的行数和列数。

7.如权利要求1～6中任意一项所述的基于压缩感知的全参考图像质量客观评价方法，其特征在于，所述步骤4中根据如下公式计算峰值信噪比：

$PSNR=10\×{\log }_{10}\left(\frac{{(2^n-1)}^2}{MSE}\right),MSE=\frac{1}{M\×N}\underset{i=1}{\overset{M-1}{\Σ}}\underset{j=1}{\overset{N-1}{\Σ}}{\[y(i,j)-x(i,j)\]}^2$

其中，PSNR为峰值信噪比，投影系数矩阵的大小为M×N，x(i,j)、y(i,j)分别为参考图像和失真图像对应的投影系数矩阵中第i行第j列的元素值；n为参考图像的灰度等级水平。