CN107680077A - 一种基于多阶梯度特征的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于多阶梯度特征的无参考图像质量评价方法，首先读入待预测图像；对待预测图像进行预处理，将彩色的待预测图像转化为灰度图像，并转换数据类型；其次提取灰度图像的多阶梯度特征作为待预测图像特征；对训练集图像进行同待预测图像相同的预处理及特征提取，得到训练集图像特征，并将训练集图像特征与对应图像的经过处理后的人类主观分输入到分数预测模型，进行训练，得到训练好的分数预测模型；将待预测图像特征输入到已训练好的分数预测模型中得到预测分数。本发明无需参考图像，应用范围更广；复杂度较低，实时性较高；利用训练模型自适应归一化特征，使得训练的模型针对不同的图像具有更高的适用性。

Description

一种基于多阶梯度特征的无参考图像质量评价方法

技术领域

本发明涉及图像处理、图像质量评价领域，具体是一种在无参考信息的条件下自动对图像质量进行评分的方法。

背景技术

随着通讯与网络技术的发展，数字图像充斥于各种社交网站、手机与相机中，在我们的生活中无处不在。然而图像在获取，传输与处理等过程中会产生各种形式与各种程度的失真。为了使用户收到具有更好质量的图像，自动的预测图像质量并量化图像失真变得十分关键。

图像质量评价分为主观图像质量评价与客观图像质量评价。主观图像质量评价由人观察并打分，并取人类主观意见平均分作为图像质量，虽然评价最为准确，但耗时耗力，不能实现快速大规模的图像评分。客观图像质量评价又分为全参考、半参考、无参考图像质量评价。其中全参考与半参考图像质量评价需要无失真的参考图像的全部或部分信息，这样的假设在现实图像处理与通讯中并不合理，因此无参考图像质量评价由于不需要参考图像的任何信息即可预测图像质量，吸引了大量的研究与关注。无参考图像质量评价方法分为针对特定失真的无参考方法与通用的无参考算法，通用的无参考算法由于针对各种失真都具有较好的评价效果，成为研究的主流。

通用的无参考图像质量评价方法一般采用自然场景统计特征来预测图像质量。首先需要读取待预测图像，然后进行图像预处理，然后提取图像的自然场景统计特征、然后将这些特征输入到已训练好的分数预测模型，得到预测的图像质量分数。其中需要解决的问题主要有两个：图像特征提取与分数预测模型的选取。其中图像特征提取过程越简单、特征越少、越能反映图像质量，那么算法的实时性越高。而分数预测模型的优劣直接决定了预测分数与真实图像质量的相关一致性。分数预测模型主要有支撑向量机(SVM)、自适应增强BP神经网络(AdaBoost BP)、深度神经网络(DNN)等。其中SVM由于简单高效而广泛运用。

发明内容

发明目的：为了解决现有技术存在的问题，不需要参考图像的任何信息，又可以更快更完整的进行图像特征提取，本发明提供一种基于多阶梯度特征的无参考图像质量评价方法。

技术方案：(参考修改后的权利要求书)

本发明提供一种基于多阶梯度特征的无参考图像质量评价方法，具有以下有益效果：

(1)本发明不需要参考图像信息，可以应用的范围更加广泛。

(2)本发明提取特征为简单易算的图像梯度特征，复杂度较低，具有高的实时性。

(3)本发明采用处理提取图像的梯度的一阶信息，同样提取了图像的高阶梯度信息，能够更好地反应图像的曲率与纹理等细节信息，提高质量评价精度。

(4)本发明选取利用堆叠自编码的DNN神经网络作为预测模型，结合了SVM和SAE两种模型的优点，在提高主客观分数一致性的基础上，依然保持较高的实时性。

(5)利用训练模型自适应归一化特征，使得训练的模型针对不同的图像具有更高的适用性。

附图说明

图1是本发明的整体算法流程图；

图2是本发明图像特征提取流程图；

图3是本发明的DNN神经网络结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

对于一个数据库，例如LIVE IQA图像数据库，我们会将其中的失真图像的80％作为训练集，20％作为测试集，即待预测图像。

如图1所示，基于多阶梯度特征的无参考图像质量评价方法，包括以下步骤：

1)读入待预测图像；

2)对待预测图像进行预处理，若待预测图像为彩色图像，将彩色的待预测图像转化为灰度图像，并将数值类型从unit8或unit16转化为double类型；

3)对步骤2)得到的灰度图像进行特征提取，提取多阶梯度特征作为待预测图像特征；所述多阶梯度特征包括：一阶梯度特征、二阶梯度特征、三阶梯度特征，所述一阶梯度特征、二阶梯度特征、三阶梯度特征又均包含梯度幅度、相对梯度取向与相对梯度幅度。因为提取的图像特征包含了图像的高阶信息，并对图像做了相对处理，而高阶信息对应图像的细节与纹理特征，能够更好地反应图像的曲率与纹理等细节信息，提取的特征会更加完整，从而提高质量评价精度。所提取得特征为简单易算的图像梯度特征，复杂度较低，具有高的实时性。

设待预测图像为I(x，y)，提取一阶梯度特征具体包括以下步骤：

31)利用高斯偏导滤波器计算水平方向x的梯度分量I_x′(i，j)和垂直方向y的梯度分量I_y′(i，j)，所述高斯偏导滤波器形式为：

其中，为高斯核，γ表示在水平方向x或垂直方向y求偏导，i、j分别为像素在图像中的横、纵坐标值，σ为高斯核的标准差；

32)设梯度幅值为I′(i，j)，根据31)得到的梯度分量I_x′(i，j)与I_y′(i，j)，计算I′(i，j)：

33)设梯度取向为∠I′(i，j)，根据31)得到的梯度分量I_x′(i，j)与I_y′(i，j)，计算∠I′(i，j)：

由于取向信息是相对的，我们在大小为M×N局部块上，定义一阶相对梯度取向∠I′(i，j)_RO：

∠I′(i，j)_RO＝∠I′(i，j)-∠I′(i，j)_AVE (4)

其中，∠I′(i，j)_AVE为局部平均取向值，定义∠I′(i，j)_AVE：

其中，I_x′(i，j)_AVE与I_y′(i，j)_AVE分别为水平方向x和垂直方向y的一阶平均偏导：

W是I(i，j)局部邻域M×N局部块上的相对(i，j)偏移集合；m、n表示相对局部块的中心像素(i，j)偏移的行数与列数；

34)设相对梯度幅度为I′(i，j)_RM，根据I_x′(i，j)、I_y′(i，j)、I_x′(i，j)_AVE、I_y′(i，j)_AVE计算I′(i，j)_RM：

在提取梯度幅度图像与梯度相位图像特征时，直接提取梯度图像的像素的直方图分布的方差，处理更加简单，具有更强的实时性。

35)在得到一阶偏导图上再求偏导，可以得到二阶偏导，依次可以得到多阶偏导：针对二、三阶图像梯度特征，重复步骤32)、33)、34)得到高阶图像梯度特征；

36)对于待预测图像提取的一阶梯度特征、二阶梯度特征和三阶梯度特征，选取每种特征的分布方差代表该特征，因此针对每幅图像，提取一个维度为18的特征向量。利用方差表征每个梯度图像的像素的概率分布，提取的特征更少，更简洁，对预测模型的后面图像训练时间更短。

4)对多幅自然无失真图像，进行不同类型单失真处理，例如JP2K压缩失真、JPEG压缩失真、WN白噪声失真等，得到不同失真类型的数据库，作为训练集图像，对训练集图像进行步骤2)、3)的预处理及特征提取，得到训练集图像特征，并将已知的训练集图像的人类主观分输入到分数预测模型，进行训练，得到训练好的分数预测模型，人类主观分对于一个已知数据库，例如LIVE IQA，TID2013是已知的；

所述分数预测模型为堆叠自编码的DNN神经网络，相比较现有的DNN神经网络，增加了一个自适应归一化层，还有调整了各个隐藏层神经元个数。其训练步骤包括：

41)对训练集图像进行步骤3)的操作，得到训练集图像特征，根据训练集图像特征得到训练集图像特征集X_train，X_train为一个N×18的矩阵，其中N为训练集图像的个数；对于已知数据库的人类主观分是已知的，设主观分的训练集为Y_train；

42)选取DNN神经网络作为预测模型，预测模型设计如下：

a)利用堆叠自编码设计第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层，第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层的神经元个数分别为18，100，18，18；第一隐藏层用sigmod函数作为传输函数来实现所提取特征的自动归一化，第二隐藏层、第三隐藏层和第四隐藏层实现三层的稀疏自编码；

b)对预测模型进行无监督训练：对a)中的第二隐藏层、第三隐藏层和第四隐藏层以稀疏自编码形式进行训练，前一层输出作为后一层输入，逐个训练，得到网络的权重；

c)监督微调：在第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层后加入一层线性回归网络，以b)中得到的权重作为监督训练的初始权重，Y_train作为线性回归输出进行训练，微调权重网络；

d)SVM回归：在监督微调之后，将第四隐藏层输出的特征，输入到SVM中，Y_train作为输出训练支撑向量机，完成后保存训练好的模型，其中SVM输出作为整个预测模型的最终预测结果。

5)将在步骤3)中得到的待预测图像特征输入到步骤4)中已训练好的分数预测模型中得到预测分数。

本实施例采用堆叠自编码的DNN神经网络进行无监督训练，同时利用支撑向量机来帮助DNN进行监督训练，进行参数微调，结合了SVM和SAE两种模型的优点，该学习模型具有更强的学习能力，同时该模型对提取的特征参数能够自适应的归一化，使得训练的模型针对不同的图像的具有更高的适用性；在提高主客观分数一致性的基础上，依然保持较高的实时性。

Claims (5)

1.一种基于多阶梯度特征的无参考图像质量评价方法，其特征在于，包括以下步骤：

1)读入待预测图像；

2)对待预测图像进行预处理，若待预测图像为彩色图像，将彩色的待预测图像转化为灰度图像，并将数值类型从unit8或unit16转化为double类型；

3)对步骤2)得到的灰度图像进行特征提取，提取多阶梯度特征作为待预测图像特征；

4)对多幅自然无失真图像，进行不同类型单失真处理，得到不同失真类型的数据库，作为训练集图像，对训练集图像进行步骤2)、3)的预处理及特征提取，得到训练集图像特征，并将已知的训练集图像的人类主观分输入到分数预测模型，进行训练，得到训练好的分数预测模型；

5)将在步骤3)中得到的待预测图像特征输入到步骤4)中已训练好的分数预测模型中得到预测分数。

2.根据权利要求1所述的基于多阶梯度特征的无参考图像质量评价方法，其特征在于，所述多阶梯度特征包括：一阶梯度特征、二阶梯度特征、三阶梯度特征，所述一阶梯度特征、二阶梯度特征、三阶梯度特征又均包含梯度幅度、相对梯度取向与相对梯度幅度。

3.根据权利要求2所述的基于多阶梯度特征的无参考图像质量评价方法，其特征在于，设待预测图像为I(x，y)，提取一阶梯度特征具体包括以下步骤：

31)利用高斯偏导滤波器计算水平方向x的梯度分量I_x′(i，j)和垂直方向y的梯度分量I_y′(i，j)，所述高斯偏导滤波器形式为：

其中，为高斯核，γ表示在水平方向x或垂直方向y求偏导，i、j分别为像素在图像中的横、纵坐标值，σ为高斯核的标准差；

32)设梯度幅值为I′(i，j)，根据31)得到的梯度分量I_x′(i，j)与I_y′(i，j)，计算I′(i，j)：

33)设梯度取向为∠I′(i，j)，根据31)得到的梯度分量I_x′(i，j)与I_y′(i，j)，计算∠I′(i，j)：

由于取向信息是相对的，我们在大小为M×N局部块上，定义一阶相对梯度取向∠I′(i，j)_RO：

∠I′(i，j)_RO＝∠I′(i，j)-∠I′(i，j)_AVE

其中，∠I′(i，j)_AVE为局部平均取向值，定义∠I′(i，j)_AVE：

其中，I_x′(i，j)_AVE与I_y′(i，j)_AVE分别为水平方向x和垂直方向y的一阶平均偏导：

W是I(i，j)局部邻域M×N局部块上的相对(i，j)偏移集合；m、n表示相对局部块的中心像素(i，j)偏移的行数与列数；

34)设相对梯度幅度为I′(i，j)_RM，根据I_x′(i，j)、I_y′(i，j)、I_x′(i，j)_AVE、I_y′(i，j)_AVE计算I′(i，j)_RM：

。

4.根据权利要求3所述的基于多阶梯度特征的无参考图像质量评价方法，其特征在于，提取高阶图像梯度特征的步骤为：

35)在得到一阶偏导图上再求偏导，可以得到二阶偏导，依次可以得到多阶偏导：针对二、三阶图像梯度特征，重复步骤32)、33)、34)得到高阶图像梯度特征；

36)对于待预测图像提取的一阶梯度特征、二阶梯度特征和三阶梯度特征，选取每种特征的分布方差代表该特征，因此针对每幅图像，提取一个维度为18的特征向量。

5.根据权利要求4所述的基于多阶梯度特征的无参考图像质量评价方法，其特征在于，所述分数预测模型为堆叠自编码的DNN神经网络，训练步骤包括：

41)对训练集图像进行步骤3)的操作，得到训练集图像特征，根据训练集图像特征得到训练集图像特征集X_train，X_train为一个N×18的矩阵，其中N为训练集图像的个数；对于已知数据库的人类主观分是已知的，设主观分的训练集为Y_train；

42)选取DNN神经网络作为预测模型，预测模型设计如下：

a)利用堆叠自编码设计第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层，第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层的神经元个数分别为18，100，18，18；第一隐藏层用sigmod函数作为传输函数来实现所提取特征的自动归一化，第二隐藏层、第三隐藏层和第四隐藏层实现三层的稀疏自编码；

b)对预测模型进行无监督训练：对a)中的第二隐藏层、第三隐藏层和第四隐藏层以稀疏自编码形式进行训练，前一层输出作为后一层输入，逐个训练，得到网络的权重；

c)监督微调：在第一隐藏层、第二隐藏层、第三隐藏层和第四隐藏层后加入一层线性回归网络，以b)中得到的权重作为监督训练的初始权重，Y_train作为线性回归输出进行训练，微调权重网络；

d)SVM回归：在监督微调之后，将第四隐藏层输出的特征，输入到SVM中，Y_train作为输出训练支撑向量机，完成后保存训练好的模型，其中SVM输出作为整个预测模型的最终预测结果。