CN109191428B - 基于掩蔽纹理特征的全参考型图像质量评价方法 - Google Patents

Abstract

本发明公开的基于掩蔽纹理特征的全参考型图像质量评价方法属于图像处理及图像质量评价技术领域，首先对参考和失真图像进行颜色空间转换，其次提取参考图像和失真图像梯度幅度和梯度方向特征并计算图像梯度信息相似性，然后计算纹理特征相似性和色差，并分别统计其均值和标准差，构成一个6‑D特征向量，根据随机森林建立回归模型来融合特征向量和主观MOS值，并进行训练；最后提取待测图像的6‑D特征向量，输入至训练好的回归模型中，完成客观图像质量评价。本发明公开的评价方法采用了三种不同的相似性特征，使用随机森林建立回归模型，实现全参考型图像质量进行高精度客观评价，能够与人眼视觉特性保持较高的一致性。

Description

基于掩蔽纹理特征的全参考型图像质量评价方法

技术领域

本发明属于图像处理及图像质量评价技术领域，涉及一种基于掩蔽纹理特征的全参考型图像质量评价方法。

背景技术

随着大数据时代的来临，越来越多的图像被分享在网络上。数字图像作为人们获取信息，进行沟通交流的重要载体，正逐步改变人们的生活方式。随着数据规模的大幅增长，也带来了巨大的挑战，图像在采集、存储、传输和处理的过程中，都可能会发生一定程度的失真。因此，如何有效的处理、传输图像，准确对图像质量进行评价，已经成为了亟待研究的问题。

近年来，由于全参考型图像质量评价算法及相应装置广泛应用于各类图像处理***中来优化参数，因此，全参考型图像质量评价成为研究的热点。目前大多数现有的全参考型图像质量评价方法都是采用基于人眼视觉***(human visual systems，HVS)为原理的框架，W.Zhou等人提出一种图像评价方法：首先，分别提取参考图像和对应失真图像的亮度信息，对比度信息和结构信息等三个指标；其次，计算三个指标的相似性，得到亮度相似性、对比度相似性和结构相似性；最后，平均加权三个相似性特征，得到失真图像的质量分数，以这种理论为前提的背景下，根据图像内容来赋予视觉特征权重。此外，也有一些方法在空域中对整个图像提取一个全局特征实现质量评价，但这种方法不能用来评价彩色图像。

目前一些研究中采用频域特征来描述图像结构信息，进一步改进图像质量评价模型，但是，大部分基于特征相似性计算的图像质量评价方法不能精准反映人眼视觉掩蔽效应，忽略了人眼视觉受生理和心理等复杂因素影响，从而导致评价结果精度较低。

发明内容

本发明的目的是提供一种基于掩蔽纹理特征的全参考型图像质量评价方法，解决了现有评价方法不能精准反映人眼视觉掩蔽效应，忽略了人眼视觉受生理和心理等复杂因素影响的问题，本发明通过参考图像和失真图像的特征相似性计算来建立模型，实现精确的失真图像质量评价。

本发明所采用的技术方案是，基于掩蔽纹理特征的全参考型图像质量评价方法，具体操作过程包括如下步骤：

步骤1.将数据库中的参考图像和失真图像由RGB颜色空间转换到Lab颜色空间中，使图像的颜色信息与亮度信息分离；

步骤2.根据步骤1获取的Lab颜色空间，分别提取参考图像和失真图像在L通道的梯度幅度和梯度方向特征，并计算梯度幅度相似性和梯度方向相似性；

步骤3.在步骤1结束后，依次提取参考图像和失真图像中在L通道的Laws纹理特征，并统计参考图像和失真图像的纹理相似性均值和标准差；

步骤4.根据步骤1获取的Lab颜色空间，计算参考图像和失真图像在L，a，b三个通道的色差，并统计色差的均值和标准差；

步骤5.步骤2、步骤3和步骤4完成后，通过随机森林将获取的梯度幅度相似性、梯度方向相似性、纹理相似性均值和标准差以及特征相似性色差的均值和标准差融合在回归模型中，并将主观评价分数MOS值也输入到回归模型中进行训练，训练好的模型直接用来精确预测待评价图像的质量。

本发明的其他特点还在于，

步骤1的具体过程如下：

根据公式1-3对数据库中的参考图像和失真图像进行颜色空间转换，由RGB颜色空间转换到Lab颜色空间：

其中，R，G和B分别表示彩色图像的三通道，X，Y和Z分别表示颜色的三刺激值，X₀＝0.9505，Y₀＝1.000，Z₀＝1.0890为D₆₅照明条件下的三刺激值，L^*表示颜色空间转换后的明度通道，a^*和b^*分别表示颜色空间转换后的色度通道；RGB颜色空间经过公式1、公式2和公式3计算后得到Lab颜色空间，经颜色空间转换后的图像大小与颜色空间转换前的图像大小相同，实现图像的亮度信息L通道与色度信息a、b通道分离。

步骤2的具体过程如下：

步骤2.1使用具有3*3窗口水平和垂直两个分量的Prewitt算子分别对参考图像和失真图像进行卷积运算，进行梯度幅度和梯度方向特征的提取：

其中，对于一幅图像f(x)，x表示像素点的位置，对图像卷积的方法如公式4所示：

式中，G_x(x)表示水平梯度幅度值，G_y(x)表示垂直梯度幅度值；

步骤2.2经步骤2.1完成后，根据公式5和公式6分别计算参考图像和失真图像的梯度幅度值GM(x)和梯度方向值θ(x)，具体计算方法如下：

步骤2.3经步骤2.2完成后，根据公式7和公式8分别计算参考图像和失真图像的梯度幅度相似性

和梯度方向相似性S_or(x)，具体计算方法如下：

公式7中m，n分别表示图像的宽和高，x表示像素点的位置，I_r(x)和I_d(x)分别表示参考图像和失真图像；公式8中，θ_r和θ_d分别表示参考图像和失真图像的梯度方向，C₁＝1。

步骤3的具体过程如下：

步骤3.1纹理特征提取是采用四个二维Laws滤波器对图像进行卷积运算，其中四个二维Laws滤波器如式9所示：

对于一幅图像f(x)，x表示像素点的位置，将图像分别与公式9中的四个模板作卷积运算并取最大值，其具体形式如公式10所示：

te＝max(f(x)*i),i＝(a),(b),(c),(d) (10)

步骤3.2经步骤3.1后，计算参考图像与失真图像的纹理相似性，其具体计算方式如下：

公式11中，te_r和te_d分别表示参考图像和失真图像的纹理特征，C₂＝100；

步骤3.3经步骤3.2后，统计卷积结果的均值

和标准差

具体统计形式如下所示：；

公式12中，

表示纹理相似性均值，

表示纹理相似性标准差，n表示像素点的总数。

步骤4的具体过程如下：

步骤4.1根据步骤1获得的Lab颜色空间，分别计算参考图像和失真图像在L,a,b三个通道下的色差值ΔE，如公式13所示：

公式13中，

分别表示Lab颜色空间下三通道的值，其中下标r和下标d分别代表参考图像和失真图像；

步骤4.2统计色差的均值

和标准差

如公式14和公式15所示：

式中，m，n分别表示色差图的宽和高，(i,j)表示像素点所在二维平面的位置。

步骤5的具体过程如下：

步骤5.1将获得的六个相似性特征

S_or，

和

和数据库中失真图像的主观平均分数MOS值，将它们共同输入至随机森林建立的回归模型进行训练，并设置模型中决策树的数量ntree＝500，数节点预选变量个数mtry＝2；

步骤5.2利用已训练好的回归模型，将一幅或多幅待检测失真图和与其对应的参考图像按照步骤2、步骤3及步骤4提取相似性特征，再将相似性特征输入至训练好的随机森林回归模型中，得到输出的预测质量分数，完成对失真图像质量的评价。

本发明的有益效果是，基于掩蔽纹理特征的全参考型图像质量评价方法在大型公开数据库上提取图像三种不同的相似性特征，并统计这些相似性特征的均值和标准差来互为补充描述图像信息，解决了传统特征与人眼主观感知一致性低的问题；能够根据随机森林(RF)建立回归模型融合各相似性特征的均值和方差，并结合主观分数MOS值进行学习和预测，提高了模型的鲁棒性，从而增加了应用广泛性；使用时，能大幅度提高图像质量预测精度，并与人眼视觉***具有高度一致性。

附图说明

图1是本发明的基于掩蔽纹理特征的全参考型图像质量评价方法框架图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的基于掩蔽纹理特征的全参考型图像质量评价方法，如图1所示，可将其分为两大部分，分别为：RF模型的建立和图像质量评价的预测：RF模型的建立部分，处理对象是图像数据库中的参考图像和失真图像，提取本发明中的三种相似性特征的均值和方差，结合数据库中的主观MOS值，使用随机森林RF建立回归模型；

图像质量评价的预测部分，计算失真图像和对应的参考图像的梯度幅度相似性、梯度方向相似性、纹理相似性均值、纹理相似性标准差、色差均值和色差标准差，将这三种相似性特征塑造成一个6-D特征向量，并将其输入至RF回归模型作为输入值，从而对失真图像的质量进行预测，完成对图像质量进行评价。

具体操作过程包括如下步骤：

步骤1.将数据库中的参考图像和失真图像由RGB颜色空间转换到Lab颜色空间中，使图像的颜色信息与亮度信息分离：

根据公式1-3对数据库中的参考图像和失真图像进行颜色空间转换，由RGB颜色空间转换到Lab颜色空间：

其中，R,G和B分别表示彩色图像的三通道，X,Y和Z分别表示颜色的三刺激值，X₀＝0.9505，Y₀＝1.000，Z₀＝1.0890为D₆₅照明条件下的三刺激值，L^*表示颜色空间转换后的明度通道，a^*和b^*分别表示颜色空间转换后的色度通道；RGB颜色空间经过公式1、公式2和公式3计算后得到Lab颜色空间，经颜色空间转换后的图像大小与颜色空间转换前的图像大小相同，实现图像的亮度信息L通道与色度信息a、b通道分离；

步骤2.根据步骤1获取的Lab颜色空间，分别提取参考图像和失真图像在L通道的梯度幅度和梯度方向特征，并计算梯度幅度相似性和梯度方向相似性：

步骤2.1使用具有3*3窗口水平和垂直两个分量的Prewitt算子分别对参考图像和失真图像进行卷积运算，进行梯度幅度和梯度方向特征的提取：

其中，对于一幅图像f(x)，x表示像素点的位置，对图像卷积的方法如公式4所示：

式中，G_x(x)表示水平梯度幅度值，G_y(x)表示垂直梯度幅度值；

步骤2.2经步骤2.1完成后，根据公式5和公式6分别计算参考图像和失真图像的梯度幅度值GM(x)和梯度方向值θ(x)，具体计算方法如下：

步骤2.3，经步骤2.2完成后，根据公式7和公式8分别计算参考图像和失真图像的梯度幅度相似性

和梯度方向相似性S_or(x)，具体计算方法如下：

公式7中m，n分别表示图像的宽和高，x表示像素点的位置，I_r(x)和I_d(x)分别表示参考图像和失真图像；公式8中，θ_r和θ_d分别表示参考图像和失真图像的梯度方向，C₁＝1，用于稳定公式8，避免分母出现为零的现象。

步骤3.在步骤1结束后，依次提取参考图像和失真图像中在L通道的Laws纹理特征，并统计参考图像和失真图像的纹理相似性均值和标准差：

步骤3.1纹理特征提取是采用四个二维Laws滤波器对图像进行卷积运算并取最大值，其中四个二维Laws滤波器如式9所示：

对于一幅图像f(x)，x表示像素点的位置，将图像分别与公式9中的四个模板作卷积运算并取最大值，其具体形式如公式10所示：

te＝max(f(x)*i),i＝(a),(b),(c),(d) (10)

步骤3.2经步骤3.1后，计算参考图像与失真图像的纹理相似性，其具体计算方式如下：

公式11中，te_r和te_d分别表示参考图像和失真图像的纹理特征，C₂＝100，用于稳定公式11，避免分母出现为零的现象；

步骤3.3经步骤3.2后，统计卷积结果的均值

和标准差

具体统计形式如下所示：

公式12中，

表示纹理相似性均值，

表示纹理相似性标准差，n表示像素点的总数。

步骤4.根据步骤1获取的Lab颜色空间，计算参考图像和失真图像在L，a，b三个通道的色差，并统计色差的均值和标准差；

步骤4.1根据步骤1获得的Lab颜色空间，分别计算参考图像和失真图像在L,a,b三个通道下的色差值ΔE，如公式13所示：

公式13中，

分别表示Lab颜色空间下三通道的值，其中下标r和下标d分别代表参考图像和失真图像；

步骤4.2统计色差的均值

和标准差

如公式14和公式15所示：

公式14与公式15中，m，n分别表示色差图的宽和高，(i,j)表示像素点所在二维平面的位置；

步骤5.步骤2、步骤3和步骤4完成后，通过随机森林将获取的梯度幅度相似性、梯度方向相似性、纹理相似性均值和标准差以及特征相似性色差的均值和标准差融合在回归模型中，并将主观评价分数MOS值也输入到回归模型中进行训练，训练好的模型直接用来精确预测待评价图像的质量：

步骤5.1将获得的六个相似性特征

S_or，

和

和数据库中失真图像的主观平均分数MOS值，将它们共同输入至随机森林建立的回归模型进行训练，并设置模型中决策树的数量ntree＝500，数节点预选变量个数mtry＝2；

步骤5.2利用已训练好的回归模型，将一幅或多幅待检测失真图和与其对应的参考图像按照步骤2、步骤3及步骤4提取相似性特征，再将相似性特征输入至训练好的随机森林回归模型中，得到输出的预测质量分数，完成对失真图像质量的评价。

本发明的基于掩蔽纹理特征的全参考型图像质量评价方法，首先执行对数据库中的参考和失真图像进行颜色空间转换；其次执行提取参考图像和失真图像的空域梯度和频域相位特征来计算全局最大结构特征相似性；然后执行计算频域纹理和空间频率特征相似性，空域颜色特征相似性，并结合全局最大结构特征相似性来构成一个6-D特征向量；接下来通过随机森林RF结合特征向量和MOS值来建立回归模型进行训练；最后执行提取待测图像的6-D特征向量，将其作为随机森林RF回归模型的输入值，对待测图像质量进行高精度预测，从而对图像质量进行评价。

本发明的基于掩蔽纹理特征的全参考型图像质量评价方法，充分利用了与人眼视觉特性相一致的三种相似性特征的均值和方差，能够根据数据库中的参考图像和失真图像，建立随机森林RF回归模型融合相似性特征，并进行训练和预测，从而高精度预测图像质量评价，与人眼识别保持较高的一致性。

Claims (6)

1.基于掩蔽纹理特征的全参考型图像质量评价方法，其特征在于，具体操作过程包括如下步骤：

步骤1.将数据库中的参考图像和失真图像由RGB颜色空间转换到Lab颜色空间中，使图像的颜色信息与亮度信息分离；

步骤2.根据步骤1获取的Lab颜色空间，分别提取参考图像和失真图像在L通道的梯度幅度和梯度方向特征，并计算梯度幅度相似性和梯度方向相似性；

步骤3.在步骤1结束后，依次提取参考图像和失真图像中在L通道的Laws纹理特征，并统计参考图像和失真图像的纹理相似性均值和标准差；

步骤4.根据步骤1获取的Lab颜色空间，计算参考图像和失真图像在L，a，b三个通道的色差，并统计色差的均值和标准差；

步骤5.步骤2、步骤3和步骤4完成后，通过随机森林将获取的梯度幅度相似性、梯度方向相似性、纹理相似性均值和标准差以及特征相似性色差的均值和标准差融合在回归模型中，并将主观评价分数MOS值也输入到回归模型中进行训练，训练好的模型直接用来精确预测待评价图像的质量。

2.如权利要求1所述的基于掩蔽纹理特征的全参考型图像质量评价方法，其特征在于，所述步骤1的具体过程如下：

根据公式1-3对数据库中的参考图像和失真图像进行颜色空间转换，由RGB颜色空间转换到Lab颜色空间：

其中，R,G和B分别表示彩色图像的三通道，X,Y和Z分别表示颜色的三刺激值，X₀＝0.9505，Y₀＝1.000，Z₀＝1.0890为D₆₅照明条件下的三刺激值，L^*表示颜色空间转换后的明度通道，a^*和b^*分别表示颜色空间转换后的色度通道；RGB颜色空间经过公式1、公式2和公式3计算后得到Lab颜色空间，经颜色空间转换后的图像大小与颜色空间转换前的图像大小相同，实现图像的亮度信息L通道与色度信息a、b通道分离。

3.如权利要求1所述的基于掩蔽纹理特征的全参考型图像质量评价方法，其特征在于，所述步骤2的具体过程如下：

步骤2.1使用具有3*3窗口水平和垂直两个分量的Prewitt算子分别对参考图像和失真图像进行卷积运算，进行梯度幅度和梯度方向特征的提取：

其中，对于一幅图像f(x)，x表示像素点的位置，对图像卷积的方法如公式4所示：

式中，G_x(x)表示水平梯度幅度值，G_y(x)表示垂直梯度幅度值；

步骤2.2经步骤2.1完成后，根据公式5和公式6分别计算参考图像和失真图像的梯度幅度值GM(x)和梯度方向值θ(x)，具体计算方法如下：

步骤2.3经步骤2.2完成后，根据公式7和公式8分别计算参考图像和失真图像的梯度幅度相似性

和梯度方向相似性S_or(x)，具体计算方法如下：

公式7中m，n分别表示图像的宽和高，x表示像素点的位置，I_r(x)和I_d(x)分别表示参考图像和失真图像；公式8中，θ_r和θ_d分别表示参考图像和失真图像的梯度方向，C₁＝1。

4.如权利要求1所述的基于掩蔽纹理特征的全参考型图像质量评价方法，其特征在于，所述步骤3的具体过程如下：

步骤3.1纹理特征提取是采用四个二维Laws滤波器对图像进行卷积运算，其中四个二维Laws滤波器如式9所示：

对于一幅图像f(x)，x表示像素点的位置，将图像分别与公式9中的四个模板作卷积运算并取最大值，其具体形式如公式10所示：

te＝max(f(x)*i),i＝(a),(b),(c),(d) (10)

步骤3.2经步骤3.1后，计算参考图像与失真图像的纹理相似性，其具体计算方式如下：

公式11中，te_r和te_d分别表示参考图像和失真图像的纹理特征，C₂＝100；

步骤3.3经步骤3.2后，统计卷积结果的均值

和标准差

具体统计形式如下所示：

公式12中，

表示纹理相似性均值，

表示纹理相似性标准差，n表示像素点的总数。

5.如权利要求1所述的基于掩蔽纹理特征的全参考型图像质量评价方法，其特征在于，所述步骤4的具体过程如下：

步骤4.1根据步骤1获得的Lab颜色空间，分别计算参考图像和失真图像在L,a,b三个通道下的色差值ΔE，如公式13所示：

公式13中，

分别表示Lab颜色空间下三通道的值，其中下标r和下标d分别代表参考图像和失真图像；

步骤4.2统计色差的均值

和标准差

如公式14和公式15所示：

式中，m，n分别表示色差图的宽和高，(i,j)表示像素点所在二维平面的位置。

6.如权利要求1所述的基于掩蔽纹理特征的全参考型图像质量评价方法，其特征在于，所述步骤5的具体过程如下：

步骤5.1将获得的六个相似性特征

S_or，

和

和数据库中失真图像的主观平均分数MOS值，将它们共同输入至随机森林建立的回归模型进行训练，并设置模型中决策树的数量ntree＝500，数节点预选变量个数mtry＝2；

步骤5.2利用已训练好的回归模型，将一幅或多幅待检测失真图和与其对应的参考图像按照步骤2、步骤3及步骤4提取相似性特征，再将相似性特征输入至训练好的随机森林回归模型中，得到输出的预测质量分数，完成对失真图像质量的评价。

Images