CN109345520A - 一种图像清晰度的质量评价方法 - Google Patents

Abstract

本发明提供了一种图像清晰度的质量评价方法，将失真图像转换为灰度图像，然后进行奇异值分解，提取图像结构和亮度方面的失真信息；考虑到颜色信息在图像的质量评价中起着重要的作用，利用四元数能够将图像的颜色信息作为一个整体处理，四元数奇异值分解的研究表明四元数分解产生的奇异值能够反映图像视觉感知表示的变化，因此四元数的奇异值能够用来评价自然失真图像的清晰度；提取结构和颜色方面的特征后，利用支持向量回归模型来评价含有真实模糊失真图像的质量。

Description

一种图像清晰度的质量评价方法

技术领域

本发明涉及一种图像清晰度的质量评价方法，特别涉及一种利用灰度图像的奇异值分 解提取结构和亮度方面失真信息，利用四元数的奇异值分解提取颜色的整体失真信息的图 像清晰度的质量评价方法和装置。

背景技术

信息技术的快速发展，为图像的传输和采集提供了便利。然而受外在因素或内在因素 的制约，图像和视频在传输、采集、压缩和显示等过程中不可避免地会引入失真，导致图 像质量的下降。如何评价这些图像的质量变得尤为重要。

由于清晰度在图像质量评价中起到了关键作用，引起了学者们的关注。在文献Marziliano P，Dufaux F，Winkler S，et al.Perceptual blur and ringing metrics：application to JPEG2000[J].Signal Processing-Image Communication，2004，19(2)：163-172，作者提出了一 种针对图像清晰度的质量评价算法，该算法计算所有边缘的平均宽度，对图像进行边缘检 测，给出图像的清晰度分数。在文献Ferzli R，Karam L J.A No-Reference Objective Image Sharpness Metric Based on the Notion of JustNoticeable Blur(JNB)，IEEE Transactions on Image Processing，2009，18(4)：717-728.，作者提出了恰可见模糊并与概率求和模型结合，给 出图像清晰度的质量分数。在文献：Narvekar N D，Karam L J.A No-Reference Image Blur Metric Based on theCumulative Probability of Blur Detection(CPBD)，IEEE Transactions on ImageProcessing，2011，20(9)：2678-2683，作者通过计算模糊检测的累计概率预测图像的清 晰度。在文献：Li L，Lin W，Wang X，et al.No-Reference Image Blur Assessment Based onDiscrete Orthogonal Moments，IEEE Transactions on Cybemetics，2016，46(1)：39-50，作者利 用离散正交矩预测图像的清晰度分数。Bahrami等提出了一种基于最大局部变化量(Maximum Local Variation，MLV)的图像清晰度质量评价算法，利用MLV分布的标准差作为图像的清晰度分数。Sang等提出一种基于奇异值曲线的清晰度评价算法(SingularValue Curve，SVC)。在文献：Vu P V，Chandler D M.A Fast Wavelet-Based Algorithmfor Global and Local Image Sharpness Estimation，IEEE Signal ProcessingLetters，2012，19(7)：423-426，作 者提出将图像进行离散小波变换，计算变换后子带的能量，给出图像的清晰度质量分数。

然而上述这些图像清晰度评价算法对计算机合成的模糊失真有效，但对含有真实模糊 失真的图像效果不理想。因为自然失真图像包含各种原因引起的复杂模糊类型不容易被建 模。因此，设计出能够评价含有真实模糊失真的自然失真图像的算法具有很大的挑战性。

发明内容

本发明的目的是针对上述问题，提出一种基于灰度图像的奇异值分解与四元数分解的 奇异值来评价图像清晰度的方法与装置，在没有参考图像的情况下对图像的清晰度质量进 行评价，并且得出的图像清晰度评价分数与图像的主观质量分数一致性程度很高，较当前 主流的清晰度评价算法，能准确反映图像清晰度的质量。

为实现上述目的，本发明提出一种图像清晰度的质量评价方法，该方法包括：

步骤一：将原始失真图像进行下采样三次，得到三个下采样图像；

步骤二：将原始失真图像以及三个下采样图像转为灰度图像，然后进行奇异值分解， 提取图像结构和亮度方面的失真信息；

步骤三：利用四元数模型将原始图像以及三个下采样图像的彩色信息作为一个整体， 根据复伴随矩阵奇异值分解得到颜色特征信息；

步骤四：通过Frobenius范数获得步骤三中颜色特征信息的能量，将原始失真图像以 及三个下采样图像进行局部清晰度处理，根据局部清晰度处理值对能量值进行归一化处 理，得到的能量值作为失真图像的特征值；

步骤五：将步骤二提取的图像结构和亮度方面的失真信息，结合步骤四得到的失真图 像的特征值，利用支持向量回归进行回归训练，得到图像的质量预测模型，从而得出失真 模糊图像的质量分数。

所述步骤二中的灰度图像奇异值分解包括：

灰度图像W_m×n的奇异值分解为：W_m×n＝U_m×mS_m×nV_n×n；

其中：S为对角阵，定义为：S＝diag(σ_i，σ₂，...，σ_r)，σ_i＞0(i＝1，...，r)，r＝rank(W)；U是 单位矩阵，定义为：U＝[u₁，u₂，…，u_m]；V是单位矩阵，定义为：V＝[v₁，v₂，…，v_n]；对角线元素σ_i的值称为矩阵W的奇异值，也就是亮度方面信息；

单位矩阵U和V的列是正交基，将单位矩阵U和单位矩阵V的转置进行相乘得到图像的结 构信息UV^T。

所述步骤三的具体步骤为：

a、将原始图像以及三个下采样图像进行颜色空间转换，转换到LAB彩色空间；

b、用纯四元数表示转换后的含有真实模糊失真的自然失真图像：Q＝F_Li+F_Aj+F_Bk，其 中L、A、B表示LAB彩色空间的三个通道；

c、根据复伴随矩阵对四元数Q的奇异值分解为：其中Z和R表示四元数矩阵Q(m，n)的右奇异向量和左奇异向量，向 量中的元素也为四元数，*表示共轭转置，∑_r为对角阵，其对角元素σ_i是四元数矩阵 Q(m，n)的奇异值，r是四元数矩阵Q(m，n)的秩。

所述步骤四的具体步骤为：

a、通过Frobenius范数能够用来表示四元数F_Q的能量E：

其中Z和R是单位超复数矩阵，其范数为1；

b、将原始失真图像以及三个下采样图像转换至灰度域，通过二维高斯权重函数处理得 到：

其中，m和n是图像空间域的索引，u和σ表示均值和方差， ω＝{ω_k，l|k＝-K…K，l＝-L…L}是二维高斯权重函数；

c、根据局部清晰度处理值对能量值进行归一化处理得到能量值为：

本发明的有益效果为：本发明所揭示的一种图像清晰度的质量评价方法，其具有如下 特点：

第一：考虑到不同距离观察图像，图像显示的细节信息是不一样的，故而本发明不仅 对原始失真图像进行特征的提取，同时对下采样三个尺度的图像进行特征提取，总共四个 输入图像可以更全面的反应图像的整体失真信息；

第二：采用灰度图像奇异值分解产生的奇异值和奇异向量来描述图像的结构失真信息； 用四元数将失真图像的颜色信息作为一个整体考虑，进行四元数奇异值分解产生的奇异值 能够反映图像视觉感知表示的变化，评价图像颜色方面的失真，通过结构与颜色两者相结 合的方式进行图像质量评价，更能准确反映图像的清晰度质量；

第三：人类视觉***在评价图像的清晰度时更关注图像的清晰区域，故而本申请将失 真图像转到灰度域后通过二维高斯权重函数进行局部清晰度处理，再根据不同图像的能量 值，利用局部清晰度来归一化能量值，从而得到更加准确的图像质量评价特征；

本发明的方法符合人类视觉感知***对图像清晰度的认知特性，与人的主观感受一致 性更好。此方法在评价图像清晰度的质量上与主观质量评价更加一致，比以往的图像清晰 度质量评价方法更准确、更稳定。

附图说明

图1是本发明提出的图像清晰度的质量评价方法流程图；

图2是本发明实施评价相机图像的装置方框图；

图3是奇异值分解产生的奇异值对图像的影响；

图4是奇异值分解产生的奇异向量对图像的影响；

图5是低能量值的图像；

图6是高能量值的图像；

图7与主流的清晰度质量评价算法在RBID图像库中的PLCC性能比较；

图8与通用型质量评价算法在RBID图像库中的PLCC性能比较。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。

如图1～2所示，本发明所揭示的一种图像清晰度的质量评价方法，该方法包括：

步骤一：将原始失真图像进行下采样三次，得到三个下采样图像；

步骤二：将原始失真图像以及三个下采样图像转为灰度图像，然后进行奇异值分解， 提取图像结构和亮度方面的失真信息；

步骤三：利用四元数模型将原始图像以及三个下采样图像的彩色信息作为一个整体， 根据复伴随矩阵奇异值分解得到颜色特征信息；

步骤四：通过Frobenius范数获得步骤三中颜色特征信息的能量，将原始失真图像以 及三个下采样图像进行局部清晰度处理，根据局部清晰度处理值对能量值进行归一化处 理，得到的能量值作为失真图像的特征值；

步骤五：将步骤二提取的图像结构和亮度方面的失真信息，结合步骤四得到的失真图 像的特征值，利用支持向量回归进行回归训练，得到图像的质量预测模型，从而得出失真 模糊图像的质量分数。

对于步骤一：

考虑到不同距离观察图像所显示的细节信息不一样，故而在图像输入之前先将原始图 像进行下采样三次得到三个图像，再配合原始图像作为输入图像，可以体现多个尺度的图 像信息，从而全面反映图像的失真信息。

对于步骤二：

将输入的四幅图像转化为灰度图像，建立灰度图像矩阵，并进行奇异值分解：

灰度图像矩阵W_m×n的奇异值分解为：W_m×n＝U_m×mS_m×nV_n×n；

其中：S为对角阵，定义为：S＝diag(σ_i，σ₂，...，σ_r)，σ_i＞0(i＝1，...，r)，r＝rank(W)；U是 单位矩阵，定义为：U＝[u₁，u₂，…，u_m]；V是单位矩阵，定义为：V＝[v₁，v₂，…，v_n]；对角线元素σ_i的值称为矩阵W的奇异值，也就是亮度方面信息；

单位矩阵U和V的列是正交基，将单位矩阵U和单位矩阵V的转置进行相乘得到图像的结 构信息UV^T；

提取原始失真图像及下采样3次图像的奇异矩阵和奇异值作为失真图像的结构质量特 征。

为了直观的观察奇异值和奇异向量对图像的影响，图3和图4给出示例，从图3可以观察到奇异值主要影响图像的亮度变化，从图4可以观察到奇异向量主要是影响图像的结构，奇异向量少，只显示图像的主要结构，奇异向量多，显示更多图像的细节。

对于步骤三：

现有的彩色图像的处理，一般是将彩色图像进行转换，提取出亮度信息然后再对其进 行奇异值分解，或者将奇异值分解直接作用于彩色图像的一个颜色通道上，然后这两种方 法都没有将图像作为一个整体，忽视了彩色图像的颜色信息，采用四元数模型可以将图像 的彩色信息作为一个整体处理；

一个四元数通常包含两部分，实部和虚部，可以定义为：Q＝x+yi+zj+wk；

其中i，j和k是虚部单元，x，y，z和w是实数。纯四元数是指第一个实数x＝0的情况。纯四元数被广泛地应用于彩色图像的表示，三个虚部用来表示彩色图像红、绿和蓝的三个通道。因此，纯四元数表示一幅彩色图像I可以定义为：Q_i＝F_Ri+F_Gj+F_Bk，其中，R， G和B分别代表红、绿和蓝三个颜色通道；

考虑到LAB颜色空间更接近于人类视觉***，故而将原始图像以及三个下采样图像进行 颜色空间转换，转换到LAB彩色空间；

用纯四元数表示转换后的含有真实模糊失真的自然失真图像：Q＝F_Li+F_Aj+F_Bk，其中L、 A、B表示LAB彩色空间的三个通道；

根据复伴随矩阵对四元数Q的奇异值分解为：其中Z和R表示四元数矩阵Q(m，n)的右奇异向量和左奇异向量，向 量中的元素也为四元数，*表示共轭转置，∑_r为对角阵，其对角元素σ_i是四元数矩阵 Q(m，n)的奇异值，r是四元数矩阵Q(m，n)的秩。

对于步骤四：

模糊导致图像高频信息的丢失从而改变图像的能量，而四元数奇异值的改变能反映图 像能量的变化，图像越模糊能量值越小，图像越清晰能量值越大。考虑到不同内容的图像， 它们的能量是不一样的，如图5所示，该附图的能量值为892100，而图6中这幅图的能量 值为1714600，而人类视觉***在评价图像的清晰度时更关注图像的清晰区域，如果将能 量值作为图像质量评价特征，必须消除图像内容的影响。本发明采用图像局部清晰度来归 一化能量，消除图像内容对能量的影响。

首先，通过Frobenius范数能够用来表示四元数F_Q的能量E：

其中Z和R是单位超复数矩阵，其范数为1，根据彩色自然失真图像能量的计算公式， 彩色自然失真图像能量由超复数奇异值分解得到的奇异值决定，也就是说，超复数奇异值 分解得到的奇异值代表着彩色图像的能量；

图像局部清晰度：

将原始失真图像以及三个下采样图像转换至灰度域，通过二维高斯权重函数处理得到：

其中，m和n是图像空间域的索引，u和σ表示均值和方差， ω＝{ω_k，l|k＝-K…K，l＝-L…L}是二维高斯权重函数，σ包含丰富的图像结构信息，因此可 衡量图像的局部清晰度。

c、根据局部清晰度处理值对能量值进行归一化处理得到能量值为：

第四步就是常规的步骤，将提取好的特征，利用支持向量回归进行回归训练，得出图 像的质量预测模型，得出失真模糊图像的质量分数。

验证

为了更好地验证本发明评价图像清晰度质量的准确性，将本发明方法与与其他通用型 图像清晰度评价算法和通用型无参考图像评价算法在含有真实失真的图像库上进行测试。

实验采用含有真实模糊的自然失真图像库RBID，该图像库共有586幅图像，分辨率从1280*960到2272*1704不等，既有简单失真也包含复杂失真类型的图像。该数据库的 主观测试采用ITU-R 500标准，主观分数从0到5，主观测试的人数为180个。

利用大量的高保真自然图像提取空间域的自然场景统计规律反映图像的质量特征，使 用的自然场景统计模型，给出图像的质量分数，该方法记为NIQE；利用小波变换，用广 义高斯分布来拟合，提取特征后使用机器学习的方法来预测其质量分数，该方法记为BIQI； 利用当图像受到不同失真类型后会改变其统计规律，结合失真类型的概率，来评价失真图 像的质量，该方法记为DIIVINE；利用局部归一化的亮度系数来衡量失真图像的自然性， 该方法记为BRISQUE。下面就把本发明方法与这四种通用型无参考图像质量评价方法在RBID图像库做实验进行对比。

利用恰可见模糊(Just Noticeable Blur，JNB)的概念，并与概率求和模型结合，提出了一 种图像清晰度的质量评价算法，该方法记为JNB。在JNB算法的基础上进行改进，通过计 算模糊检测的累计概率给出失真图像的清晰度分数，该方法记为CPBD。利用基于离散正 交矩提出的一种图像清晰度的质量评价算法，该方法记为BIBLE。利用最大局部变化量分 布的标准差作为图像的清晰度分数，该方法记为MLV。下面就把本发明方法与这四种无参 考清晰度质量评价方法在RBID图像库做实验进行对比。

根据视频质量专家组的建议，本发明对图像质量评价算法的性能评价采用如下的四个 指标：

第一个评价指标，皮尔森线性相关系数(Pearson Linear CorrelationCoefficient，PLCC) 用来评价算法预测的准确性，第二个评价指标，斯皮尔曼秩相关系数(Spearman Rank order Correlation Coefficient，SRCC)用来评价算法的单调性，第三个评价指标是均方根误差(Root Mean Square Error，RMSE)是用来评价算法的准确性

本发明采用单调逻辑拟合函数用来实现主观分数和客观分数之间的映射，来计算出上 述三个评价指标：

其中：y代表原始的客观分数，f(y)代表拟合后的分数，其中α_i{i＝1，2，3，4，5}是拟合 回归参数。

表1给出了本发明方法与四种无参考清晰度质量评价算法在RBID图像库中的性能指 标结果；表2给出了本发明方法与四种通用型无参考图像质量评价算法在RBID图像数据库中的性能指标结果；PLCC和RMSE用于衡量评价算法的准确性；SRCC和KRCC用于 衡量图像质量评价方法的单调性；其中SRCC，PLCC，KRCC数值越大，代表算法性能越 好，RMSE数值越小性能越好。

表1

表2

由表1和表2可以看出，本发明与专门的清晰度图像质量评价算法还是和通用型无参 考图像质量评价方法比，在含有真实模糊失真的图像库RBID的效果均为最好，而且本发明的SRCC和KRCC值均明显高于其他方法，说明了本发明在评价图像质量上具有很高的 稳定性，PLCC值均高于其它方法，RMSE均低于其它方法，说明了本发明在评价图像质 量上具有很高的准确性。图7给出本发明所设计的算法与当前主流的清晰度质量评价算法 在RBID图像库上的PLCC性能比较图，图8给出本发明算法与当前主流的通用型无参考 质量评价算法在RBID图像库上的PLCC性能比较图，从两张图可以看出本发明算法设计 的算法性能优于当前主流的专门的清晰度质量评价算法和通用型无参考质量评价算法。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解 在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变 型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种图像清晰度的质量评价方法，其特征在于，该方法包括：

步骤一：将原始失真图像进行下采样三次，得到三个下采样图像；

步骤二：将原始失真图像以及三个下采样图像转为灰度图像，然后进行奇异值分解，提取图像结构和亮度方面的失真信息；

步骤三：利用四元数模型将原始图像以及三个下采样图像的彩色信息作为一个整体，根据复伴随矩阵奇异值分解得到颜色特征信息；

步骤四：通过Frobenius范数获得步骤三中颜色特征信息的能量，将原始失真图像以及三个下采样图像进行局部清晰度处理，根据局部清晰度处理值对能量值进行归一化处理，得到的能量值作为失真图像的特征值；

步骤五：将步骤二提取的图像结构和亮度方面的失真信息，结合步骤四得到的失真图像的特征值，利用支持向量回归进行回归训练，得到图像的质量预测模型，从而得出失真模糊图像的质量分数。

2.根据权利要求1所述的一种图像清晰度的质量评价方法，其特征在于：所述步骤二中的灰度图像奇异值分解包括：

灰度图像W_m×n的奇异值分解为：W_m×n＝U_m×mS_m×nV_n×n；

其中：S为对角阵，定义为：S＝diag(σ_i，σ₂，...，σ_r)，σ_i＞0(i＝1，...，r)，r＝rank(W)；U是单位矩阵，定义为：U＝[u₁，u₂，…，u_m]；V是单位矩阵，定义为：V＝[v₁，v₂，…，v_n]；对角线元素σ_i的值称为矩阵W的奇异值，也就是亮度方面信息；

单位矩阵U和V的列是正交基，将单位矩阵U和单位矩阵V的转置进行相乘得到图像的结构信息UV^T。

3.根据权利要求1所述的一种图像清晰度的质量评价方法，其特征在于：所述步骤三的具体步骤为：

a、将原始图像以及三个下采样图像进行颜色空间转换，转换到LAB彩色空间；

b、用纯四元数表示转换后的含有真实模糊失真的自然失真图像：Q＝F_Li+F_Aj+F_Bk，其中L、A、B表示LAB彩色空间的三个通道；

c、根据复伴随矩阵对四元数Q的奇异值分解为：其中Z和R表示四元数矩阵Q(m，n)的右奇异向量和左奇异向量，向量中的元素也为四元数，*表示共轭转置，∑_r为对角阵，其对角元素σ_i是四元数矩阵Q(m，n)的奇异值，r是四元数矩阵Q(m，n)的秩。

4.根据权利要求1所述的一种图像清晰度的质量评价方法，其特征在于：所述步骤四的具体步骤为：

a、通过Frobenius范数能够用来表示四元数F_Q的能量E：

其中Z和R是单位超复数矩阵，其范数为1；

b、将原始失真图像以及三个下采样图像转换至灰度域，通过二维高斯权重函数处理得到：

其中，m和n是图像空间域的索引，u和σ表示均值和方差，ω＝{ω_k，l|k＝-K…K，l＝-L…L}是二维高斯权重函数；

c、根据局部清晰度处理值对能量值进行归一化处理得到能量值为：