CN107316323B - 基于多尺度分析法建立的无参考图像质量评估方法 - Google Patents

Abstract

本发明公开了基于多尺度分析法建立的无参考图像质量评估方法，能有效评估基于深度图像绘制技术合成图像的质量。本发明考虑到基于深度图像绘制技术合成图像的参考图像通常不可获得，利用深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识建立了无参考图像多尺度分析质量评估模型。根据利用主流数据库来对模型进行性能测试的结果，本发明的性能和现有的评估方法相比有较大优势。值得注意的是，由于目前很少有关于深度图像绘制技术合成图像的无参考评估方法的研究，本发明填补了这方面的空白，为将来无参考图像质量评价算法的提高开辟了一个方向。

Description

基于多尺度分析法建立的无参考图像质量评估方法

技术领域

本发明属于图像质量评价方法，利用多尺度分析法建立一种新型无参考图像质量评估方法，能有效评价基于深度图像绘制技术合成的图像质量。

背景技术

基于深度图像绘制技术合成的图像可为用户提供自由视角的体验，使得它能被广泛应用于远程教育、监控、医疗和娱乐等领域。基于深度图像绘制技术合成的图像原理是通过相邻图像合成出虚拟图像。在此过程中，不可避免会引入几何失真。如图1，几何失真和模糊、噪声失真等相比呈现出不同的视觉影响。然而，目前缺乏对基于深度图像绘制技术合成的图像的质量评估方法的研究。现有的图像质量评估算法多依据于参考图像，由于基于深度图像绘制技术合成的图像本身为虚拟图像，通常不能获取其参考图像，因此现有方法难以适用。

为此，本发明提出了基于多尺度分析的无参考图像质量评估方法。本发明主要依据原理是深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随着图像尺寸缩小而趋于减小的先验知识。以图1(a)为参考图像X，(d)为相应的基于深度图像绘制技术合成的图像Y为例。由图2可知，X和Y的距离随着尺寸缩小而减小，其中结构相似度(SSIM[1])的值与图像相似度成正相关，与图像距离成负相关。我们发现Y₅和相对应的参考图像X₅之间SSIM非常高，意味着两者之间具有非常高的相似度。由此规律，提出了基于多尺度分析的无参考图像质量评估方法，经过和其它一些图像质量评估方法进行对比实验，本发明的性能有明显的优势。

发明内容

本发明利用多尺度分析法建立一种新型无参考图像质量分析方法。本发明主要依据原理是深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识。当图像尺寸缩小到一定程度时，通过升采样技术使图片尺寸匹配估计图像的大小就可以近似的作为相应的参考图像。使得本方法在没有参考图像的情况下也能对图像进行评估，并且通过实验可知，本方法的性能比现有无参考评估方法都要优越。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、通过双边插值技术将Y_i图像进行升采样达到与Y₁相匹配的尺寸，得到近似参考图像

第二步、计算像素点相似度

第三步、计算图像每一个像素点各尺度相似度融合结果

第四步、为了消除升采样引入的模糊失真，通过设置阈值τ，计算出

第五步、最后计算出基于深度图像绘制技术合成图像的质量评估分数Q_MSA。

本发明的原理是：主要依据两点，其一是深度图像绘制技术造成几何失真破坏自然图像自相似特性，另一是失真程度随着图像尺寸缩小而趋于减小。由图2所示，X₅和Y₅的SSIM值很高，也就意味着Y₅与X₅相似度很高，因此可以用Y₅近似为参考图像X₅。参考图像和基于深度图像绘制技术合成图像的距离公式可以近似为：例如

其中“^”表示将图像升采样得到相匹配的尺寸。为了解决升采样引入模糊失真的问题，用相似度

代替距离

通过计算每一个像素的相似度

并设置阈值τ来过滤模糊失真得到

提取出几何失真区域，效果如图3。最后计算出几何失真像素点占总图像像素点比例作为多尺度质量评估值Q_MSA。可知Q_MSA值越小代表几何失真比例越小，主观评分将会越高。

附图说明

图1、典型失真(白噪声和高斯模糊)与几何失真之间的差异的图示。

图2、参考图像和基于深度图像绘制技术合成图像在多尺度上的比较。2↓：降采样缩小2倍。4↑：升采样放大4倍。

图3、(a)、(b)为图1.(a)参考图像的

和

的结果图，(c)、(d)为图1.(d)基于深度图像绘制技术合成图像的

和

的结果图。

图4、300幅图像大约5千万像素点的

值分布图。

具体实施方式：

下面对本发明的实施例作详细说明，本实施例在本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：

第一步，通过双边插值技术将Y_i图像进行升采样达到与Y₁相匹配的尺寸，得到近似参考图像

其中Y₁为原尺寸基于深度图像绘制技术合成的图像，Y_i为Y₁按比例缩小的图像，随i增大依次缩小2倍，由实验得出i＝{1,2,3,4,5}即可，

为升采样近似参考图像。

第二步，计算像素点相似度

方法如下：

其中y_1j为Y₁图像位置j的像素点和

为

图像位置j的像素点，Δ＝5，防止分母为零造成溢出。

第三步，计算图像每一个像素点各尺度相似度融合结果

方法如下：

其中N为尺度数，N由第一步可知为5，j指图像中像素点的索引，{θ₁，θ₂，θ₃，θ₄，θ₅}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}。

第四步，为了消除升采样引入的模糊失真，提取出几何失真区域，通过设置阈值τ，计算出

方法如下：

其中阈值τ基于大数据样本的自然图像的统计特性得出。随机选取300幅高质量自然场景图像，并且计算它们的

上述所选图像均不含有几何失真，即，所有300幅图像的大约5千万像素点的

值均高于阈值τ。绘制出所有像素点

值的直方图。通过直方图可得出99.85％的像素点的

值大于0.1，因此将阈值τ设置为0.1来提取出几何失真区域。通过此公式可提取出几何失真区域，

由第三步求得。

第五步，最后计算出基于深度图像绘制技术合成的图像的质量评估分数Q_MSA，方法如下：

其中L为图像像素总量，

由第4步求得。

实施效果

依据上述步骤，本发明利用IRCCyN/IVC数据库[2]来对方法进行性能测试。同时，以9种其它质量评估方法进行比较。这9种方法分为两类，一类为6种有参考评估方法：SSIM、FSIM、IGM、ADD-SSIM、PSIM和MW-PSNR，另一类为3种无参考评估方法NIQE、SISBLIM和ASIQE。采用三种常用的评价指标，斯皮尔曼有序等级相关系数(SROCC)、皮尔森线性相关系数(PLCC)和平均绝对误差(MAE)。

主客观评估分数非线性回归方程：

其中Q_MSA为客观评估分数，f(Q_MSA)为回归后的客观分数，{v₁,v₂,v₃,v₄,v₅}为非线性回归拟合过程的参数，使得f(Q_MSA)与主观分数尽量接近。

SROCC的计算公式如下：

其中d_i表示第i幅图像主客观评估等级差异。W表示主客观评估对的总数。SROCC的值越接近于1越好。

PLCC的计算公式为：

其中o_i和

分别是第i幅图像的主观分数和所有图像主观分数的均值。q_i和

分别是第i幅图像的回归后的客观分数和所有图像的回归后的客观分数的均值。PLCC的值越接近于1越好。

MAE的计算公式为：

其中o_i和q_i分别为第i幅图像的主观分数和回归后的客观分数，W为图像总数。MAE的值越小越好。

最终可得本发明提出方法的SROCC、PLCC和MAE分别达到0.6521、0.6393和0.3938。接近性能最好的全参考图像质量估计方法，与现有的无参考图像质量估计方法相比有很大优势。

[1]SSIM：Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表的“Image quality assessment:From error visibility to structuralsimilarity”；

表1中所述的算法具体是指：

[2]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image qualityassessment:From error visibility to structural similarity,”IEEE Trans.ImageProcess.,vol.13,no.4,pp.600-612,Apr.2004.Online at:http://live.ece.utexas.edu/research/quality

[3]L.Zhang,L.Zhang,X.Mou,and D.Zhang,“FSIM:Afeature similarity indexfor image quality assessment,”IEEE Trans.Image Process.,vol.20,no.8,pp.2378-2386,Aug.2011.

[4]J.Wu,W.Lin,G.Shi,and A.Liu,“Perceptual qualitymetric with internalgenerativemechanism,”IEEE Trans.Image Process.,vol.22,no.1,pp.43-54,Jan.2013

[5]K.Gu,S.Wang,G.Zhai,W.Lin,X.Yang,and W.Zhang,“Analysis ofdistortiondistribution for pooling in imagequality prediction,”IEEETrans.Broadcasting,vol.62,no.2,pp.446-456,Jun.2016.

[6]K.Gu,L.Li,H.Lu,X.Min,and W.Lin,“A fast reliable image qualitypredictor by fusing micro-and macrostructures,”IEEE Trans.Ind.Electron.,vol.64,no.5,pp.3903-3912,May 2017.

[7]D.S.Stankovic,D.Kukolj,and P.Le Callet,“DIBRsynthesized imagequality assessment based on morphological wavelets,”in QoMEX,pp.1-6,Jan.2015.

[8]A.Mittal,R.Soundararajan,and A.C.Bovik,“Makinga‘completely blind’image qualityanalyzer,”IEEE SPL,vol.22,no.3,pp.209-212,Mar.2013.

[9]K.Gu,G.Zhai,X.Yang,and W.Zhang,“Hybrid noreference quality metricfor singly and multiply distortedimages,”IEEE Trans.Broadcasting,vol.60,no.3,pp.555-567,Sep.2014.

[10]K.Gu,J.Zhou,J.-F.Qiao,G.Zhai,W.Lin,and A.C.Bovik,“No-referencequalityassessment of screen content pictures,”IEEE Trans.Image Process.,2017.

Claims (1)

1.基于多尺度分析方法建立无参考图像质量评估方法，其特征在于包括以下步骤：

第一步、多尺度近似参考图像生成，其方法是：通过双边插值技术将Y_i图像进行升采样达到与Y₁相匹配的尺寸，得到近似参考图像

其中Y₁为基于深度图像绘制技术合成的原尺寸图像，Y_i为Y₁按比例缩小的图像，随i增大依次缩小2倍，由实验得出i＝{1,2,3,4,5}即可，

为升采样近似参考图像；

第二步、计算像素点相似度

方法如下：

其中y_1j为Y₁图像位置j的像素点和

为

图像位置j的像素点，△＝5，防止分母为零造成溢出；

第三步、计算图像每一个像素点各尺度相似度融合结果

方法如下：

其中N为尺度数，N由第一步可知为5，j指图像中像素点的索引，{θ₁θ₂θ₃θ₄θ₅}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}；

第四步、为了消除升采样引入的模糊失真，通过设置阈值τ，计算出阈值滤波后的多尺度融合相似度

方法如下：

其中阈值τ设置为0.1；通过此公式可提取出几何失真区域，

由第三步求得；

第五步、最后计算出基于深度图像绘制技术合成图像的质量评估分数Q_MSA，

其中L为图像像素总量，

由第四步求得。

Images