CN108230314B - 一种基于深度激活池化的图像质量评估方法 - Google Patents

Abstract

本发明实施例公开了一种基于深度激活池化的图像质量评估方法，该方法包括：将训练图像输入至卷积神经网络，得到卷积激活图；利用第一预设卷积层中的卷积激活图，得到卷积激活求和图，并进而得到训练图像的高对比度图像区域；基于每个高对比度图像区域的特征向量，训练得到原始多元高斯模型；获取测试图像每个高对比度图像区域的特征向量对应的多元高斯模型；将两个高斯模型进行对比，得到测试图像的每个高对比度图像区域的图像质量得分，对其进行加权处理得到测试图像的图像质量得分。本发明能够将重要的特征信息和笔画结构信息结合在特征向量中，达到有效挖掘显著特征信息和笔画结构信息的目的，从而提高图像质量评估的准确率。

Description

一种基于深度激活池化的图像质量评估方法

技术领域

本发明属于图像处理和人工智能技术领域，具体涉及一种基于深度激活池化的图像质量评估方法。

背景技术

图像质量评估在图像处理领域扮演着重要的角色，它可以直接应用到图像采集、图像传输、图像压缩、图像增强、图像恢复等领域。在实际应用中，全盲的图像质量评估是一个很有挑战性的研究方向，因为参考图像的信息和失真的过程是未可知的。

近几十年图像质量评估被广泛研究，一些早期的方法利用参考图像进行质量评估。但是，全参考图像质量评估方法有很大的局限性，因为在实际应用中参考图像往往是不可获得的。为解决这个问题，大量无参考的图像质量评估方法被提出，并取得了较大的进步，但是这些方法主要是针对特定的失真类型，所以这些方法的应用范围是很局限的。近年来，全盲的图像质量评估方法被提出，并且取得了一定的成功。如：Mittal等人提出的BRISQUE(blind/referenceless image spatial quality evaluator，全盲/无参考的图像空间质量评估)，利用局部归一化亮度系数统计来评估图像质量。Xue等人使用GM(gradientmagnitude，梯度幅值)和LOG(Laplacian of Gaussian，拉普拉斯高斯)特征的联合统计来学***。Zhang等人提出IL-NIQE(the integrated local natural imagequality evaluator，集成本地自然图像质量评估)以预测图像质量。虽然以上方法取得了较大的成功，但是他们直接使用平均池得到最终的图像质量。平均池缺乏判别性，因为不管图像区域质量得分是否重要，他们对最终的图像质量得分的贡献都被相同对待，所以不能够充分的保留显著的特征信息和笔画结构信息，从而影响图像质量评估的准确性。

发明内容

本发明的目的是要解决显著特征信息和笔画结构信息对图像质量评估结果影响较大的技术问题，为此，本发明提供一种基于深度激活池化的图像质量评估方法。

为了实现所述目的，本发明基于深度激活池化的图像质量评估方法包括以下步骤：

步骤S1，将训练图像输入至预先训练得到的卷积神经网络中，得到卷积激活图；

步骤S2，利用第一预设卷积层中的卷积激活图，得到卷积激活求和图；

步骤S3，利用所述卷积激活求和图，得到所述训练图像的高对比度图像区域；

步骤S4，对于每个高对比度图像区域进行特征提取，得到相应的特征向量；

步骤S5，基于所述高对比度图像区域的特征向量，训练得到原始多元高斯模型；

步骤S6，获取测试图像及其高对比度图像区域，并对于每个高对比度图像区域进行特征提取，得到相应的特征向量及对应的多元高斯模型；

步骤S7，将所述多元高斯模型与所述原始多元高斯模型进行对比，得到测试图像的每个高对比度图像区域的图像质量得分；

步骤S8，利用测试图像第二预设卷积层中的卷积激活求和图对相应的高对比度图像区域图像质量得分进行加权，得到整个测试图像的图像质量得分。

可选地，所述步骤S1包括：

步骤S11，将所述训练图像的大小归一化为H×W，其中，H和W分别表示训练图像的高度和宽度；

步骤S12，将归一化后的训练图像输入至所述卷积神经网络中，得到卷积激活图H_C×W_C×N，其中，H_C和W_C分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目。

可选地，所述步骤S2包括：

步骤S21，获取第一预设卷积层中的卷积激活图H_s×W_s×N_s，其中，下标s表示第一预设卷积层的序号，H_s和W_s分别表示第一预设卷积层卷积激活图的高度和宽度，N_s表示第一预设卷积层卷积激活图的数目；

步骤S22，将N_s个大小为H_s×W_s的卷积激活图的对应位置元素相加，得到卷积求和图。

可选地，所述步骤S3包括：

步骤S31，获取所述卷积激活求和图中每个激活响应的对比度σ(i,j)，其中，σ(i,j)表示卷积激活求和图的第(i,j)位置的激活响应对比度；

步骤S32，将激活响应区域中每个位置对应的激活响应对比度相加，得到该区域的激活响应对比度；

步骤S33，选择激活响应对比度高于预设阈值的激活响应区域，并将这些激活响应区域投影到所对应的训练图像区域，得到的一组图像区域即为所述训练图像的高对比度图像区域。

可选地，卷积激活求和图的第(i,j)位置的激活响应对比度σ(i,j)表示为：

其中，w_x,y(x＝-X,...,X,y＝-Y,...,Y)表示大小为X×Y的高斯加权窗口的权重值，C(i,j)表示卷积激活求和图中第(i,j)位置的激活响应，u(i,j)为由高斯加权窗口限定出的局部区域，即激活响应区域的激活响应的平均值，表示为：

可选地，所述步骤S4包括：

步骤S41，对于一个高对比度图像区域提取多种特征；

步骤S42，将提取得到的多种特征进行串联，得到该高对比度图像区域的特征向量。

可选地，所述步骤S5中的原始多元高斯模型l(f)表示为：

其中，f∈R^D×1表示高对比图像区域的特征向量，D为特征向量的维度，μ和∑分别表示f的均值向量和协方差矩阵。

可选地，所述步骤S6包括：

步骤S61，获取测试图像及其高对比度图像区域；

步骤S62，获取每个高对比度图像区域的特征向量；

步骤S63，将每个特征向量拟合为一个多元高斯模型(μ_p,∑')，其中，p(p＝1,2,...,P)表示测试图像中的第p个高对比图像区域，P表示测试图像中高对比图像区域的个数，μ_p和∑'分别表示相应特征向量的均值向量和协方差矩阵。

可选地，所述步骤S7中，利用下式计算测试图像的每个高对比度图像区域的图像质量得分：

其中，s_p表示第p个高对比度图像区域的图像质量得分，μ和∑分别表示训练图像的高对比图像区域的特征向量的均值向量和协方差矩阵。

可选地，所述步骤S8包括：

步骤S81，获取测试图像第二预设卷积层中的卷积激活图H_t×W_t×N_t，其中，下标t表示第二预设卷积层的序号，H_t和W_t分别表示第二预设卷积层卷积激活图的高度和宽度，N_t表示第二预设卷积层卷积激活图的数目；

步骤S82，将N_t个大小为H_t×W_t的卷积激活图的对应位置元素相加，得到卷积求和图；

步骤S83，在卷积求和图中确定与每个高对比度图像区域对应的卷积求和区域，并将卷积求和区域中激活响应的和作为测试图像的每个高对比度图像区域的权重，记为w＝(w₁,w₂,...,w_i...,w_P)，其中，w_i表示第i个高对比度图像区域的权重，i＝1…P；

步骤S84，对高对比度图像区域的图像质量得分S＝(s₁,s₂,...,s_i,...,s_P)进行加权求和，得到测试图像的图像质量得分，其中，s_i表示第i个高对比度图像区域的得分。

本发明的有益效果为：本发明通过高对比度图像区域选取和深度激活池化，能够将重要的特征信息和笔画结构信息结合在特征向量中，达到有效挖掘显著特征信息和笔画结构信息的目的，从而提高图像质量评估的准确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61401309、天津市自然科学基金项目No.17JCZDJC30600、No.15JCQNJC01700、天津师范大学基金项目No.135202RC1703、中国科学院模式识别国家重点实验室开放课题No.201700001。

附图说明

图1是根据本发明一实施例的基于深度激活池化的图像质量评估方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的基于深度激活池化的图像质量评估方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明基于深度激活池化的图像质量评估方法包括以下步骤：

步骤S1，将训练图像输入至预先训练得到的卷积神经网络中，得到卷积激活图；

其中，所述步骤S1包括以下步骤：

步骤S11，将所述训练图像的大小归一化为H×W，其中，H和W分别表示训练图像的高度和宽度；

在本发明一实施例中，所述训练图像的大小归一化为544×544。

步骤S12，将归一化后的训练图像输入至所述卷积神经网络中，得到卷积激活图H_C×W_C×N，其中，H_C和W_C分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目。

在本发明一实施例中，所使用的卷积神经网络为VGG-19。

步骤S2，利用第一预设卷积层中的卷积激活图，得到卷积激活求和图；

进一步地，所述步骤S2包括以下步骤：

步骤S21，获取第一预设卷积层中的卷积激活图H_s×W_s×N_s，其中，下标s表示第一预设卷积层的序号，H_s和W_s分别表示第一预设卷积层卷积激活图的高度和宽度，N_s表示第一预设卷积层卷积激活图的数目；

所述第一预设卷积层可以从所有卷积层中的前几个卷积层中进行选择，在本发明一实施例中，利用第4个卷积层中的卷积激活图得到卷积激活求和图，也就是说，所述第一预设卷积层为第4个卷积层，此时，所述卷积激活图表示为H₄×W₄×N₄，更具体地，可取为112×112×128。

步骤S22，将N_s个大小为H_s×W_s的卷积激活图的对应位置元素相加，得到卷积求和图。

其中，所述卷积求和图可以表示为：

其中，C(i,j)表示卷积激活求和图中第(i,j)位置的激活响应，cⁿ(i,j)表示第s个卷积层中的第n个卷积图的第(i,j)位置的激活响应，N_s是该卷积层中卷积激活图的总数目。

步骤S3，利用所述卷积激活求和图，得到所述训练图像的高对比度图像区域；

进一步地，所述步骤S3包括以下步骤：

步骤S31，获取所述卷积激活求和图中每个激活响应的对比度σ(i,j)，其中，σ(i,j)表示卷积激活求和图的第(i,j)位置的激活响应对比度，可以表示为：

其中，w_x,y(x＝-X,...,X,y＝-Y,...,Y)表示大小为X×Y的高斯加权窗口的一个权重值，u(i,j)为由高斯加权窗口限定出的局部区域，即激活响应区域的激活响应的平均值，表示为：

步骤S32，将激活响应区域中每个位置对应的激活响应对比度相加，得到该区域的激活响应对比度；

其中，激活响应区域的激活响应对比度可以表示为：

其中，r表示激活响应区域，σ_r表示该激活响应区域的激活响应对比度。

步骤S33，选择激活响应对比度高于预设阈值的激活响应区域，并将这些激活响应区域投影到所对应的训练图像区域，得到的一组图像区域即为所述训练图像的高对比度图像区域。

其中，所述预设阈值的具体取值可根据实际应用的需要来确定，本发明对其不作具体限定，比如，所述预设阈值可设置为使高对比度图像区域的占比达到75％。

步骤S4，对于每个高对比度图像区域进行特征提取，得到相应的特征向量；

进一步地，所述步骤S4包括以下步骤：

步骤S41，对于一个高对比度图像区域提取多种特征；

其中，所述特征包括：去均值对比度归一化特征、去均值对比度归一化乘积特征、梯度特征、log-Gabor特征以及颜色特征中的一种或多种。

步骤S42，将提取得到的多种特征进行串联，得到该高对比度图像区域的特征向量。

步骤S5，基于所述高对比度图像区域的特征向量，训练得到原始多元高斯模型；

其中，所述步骤S5中的原始多元高斯模型l(f)表示为：

其中，f∈R^D×1表示高对比图像区域的特征向量，D为特征向量的维度，μ和∑分别表示f的均值向量和协方差矩阵。

步骤S6，获取测试图像及其高对比度图像区域，并对于每个高对比度图像区域进行特征提取，得到相应的特征向量及对应的多元高斯模型；

进一步地，所述步骤S6包括以下步骤：

步骤S61，按照与上文相似的方法获取测试图像及其高对比度图像区域；

步骤S62，按照与上文相似的方法获取每个高对比度图像区域的特征向量；

步骤S63，将每个特征向量拟合为一个多元高斯模型(μ_p,∑')，其中，p(p＝1,2,...,P)表示测试图像中的第p个高对比图像区域，P表示测试图像中高对比图像区域的个数，μ_p和∑'分别表示相应特征向量的均值向量和协方差矩阵，其中，P个高对比度图像区域可以共用一个协方差矩阵。

步骤S7，将所述多元高斯模型与所述原始多元高斯模型进行对比，得到测试图像的每个高对比度图像区域的图像质量得分；

其中，所述步骤S7中，直接将多元高斯模型与原始多元高斯模型进行对比，来得到测试图像的每个高对比度图像区域的图像质量得分过程复杂度很高，在本发明一实施例中，将测试图像的每个高对比度图像区域的图像质量得分计算简化为：

其中，s_p表示第p个高对比度图像区域的图像质量得分。

步骤S8，利用测试图像第二预设卷积层中的卷积激活求和图对相应的高对比度图像区域图像质量得分进行加权，得到整个测试图像的图像质量得分。

进一步地，所述步骤S8包括以下步骤：

步骤S81，获取测试图像第二预设卷积层中的卷积激活图H_t×W_t×N_t，其中，下标t表示第二预设卷积层的序号，H_t和W_t分别表示第二预设卷积层卷积激活图的高度和宽度，N_t表示第二预设卷积层卷积激活图的数目；

所述第二预设卷积层可以从所有卷积层中的后几个卷积层中进行选择，在本发明一实施例中，利用第7个卷积层中的卷积激活图得到卷积激活求和图，也就是说，所述第二预设卷积层为第7个卷积层，此时，所述卷积激活图表示为H₇×W₇×N₇，更具体地，可取为56×56×256。

步骤S82，将N_t个大小为H_t×W_t的卷积激活图的对应位置元素相加，得到卷积求和图；

步骤S83，在卷积求和图中确定与每个高对比度图像区域对应的卷积求和区域，并将卷积求和区域中激活响应的和作为测试图像的每个高对比度图像区域的权重，记为w＝(w₁,w₂,...,w_i...,w_P)，其中，w_i表示第i个高对比度图像区域的权重，i＝1…P；

步骤S84，对高对比度图像区域的图像质量得分S＝(s₁,s₂,...,s_i,...,s_P)进行加权求和，得到测试图像的图像质量得分，其中，s_i表示第i个高对比度图像区域的得分；

所述测试图像的图像质量得分可以表示为：

其中，s_final为测试图像的图像质量得分。

以网上公开的图像质量评估数据库作为测试对象，比如在CSIQ数据库上，当保留75％的高对比图像区域时，图像质量评估结果为82.8％(SRCC)和86.7％(PRCC)，由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种基于深度激活池化的图像质量评估方法，其特征在于，该方法包括：

步骤S1，将训练图像输入至预先训练得到的卷积神经网络中，得到卷积激活图；

步骤S2，利用第一预设卷积层中的卷积激活图，得到卷积激活求和图；

步骤S3，利用所述卷积激活求和图，得到所述训练图像的高对比度图像区域；

步骤S4，对于每个高对比度图像区域进行特征提取，得到相应的特征向量；

步骤S5，基于所述高对比度图像区域的特征向量，训练得到原始多元高斯模型；

步骤S6，获取测试图像及其高对比度图像区域，并对于每个高对比度图像区域进行特征提取，得到相应的特征向量及对应的多元高斯模型；

步骤S7，将所述多元高斯模型与所述原始多元高斯模型进行对比，得到测试图像的每个高对比度图像区域的图像质量得分；

步骤S8，利用测试图像第二预设卷积层中的卷积激活求和图对相应的高对比度图像区域图像质量得分进行加权，得到整个测试图像的图像质量得分；

其中，所述步骤S2包括：

步骤S21，获取第一预设卷积层中的卷积激活图H_s×W_s×N_s，其中，下标s表示第一预设卷积层的序号，H_s和W_s分别表示第一预设卷积层卷积激活图的高度和宽度，N_s表示第一预设卷积层卷积激活图的数目；

步骤S22，将N_s个大小为H_s×W_s的卷积激活图的对应位置元素相加，得到卷积求和图；

所述步骤S3包括：

步骤S31，获取所述卷积激活求和图中每个激活响应的对比度σ(i,j)，其中，σ(i,j)表示卷积激活求和图的第(i,j)位置的激活响应对比度，表示为：

其中，w_x,y(x＝-X,...,X,y＝-Y,...,Y)表示大小为X×Y的高斯加权窗口的权重值，C(i,j)表示卷积激活求和图中第(i,j)位置的激活响应，u(i,j)为由高斯加权窗口限定出的局部区域，即激活响应区域的激活响应的平均值，表示为：

步骤S32，将激活响应区域中每个位置对应的激活响应对比度相加，得到该区域的激活响应对比度；

步骤S33，选择激活响应对比度高于预设阈值的激活响应区域，并将这些激活响应区域投影到所对应的训练图像区域，得到的一组图像区域即为所述训练图像的高对比度图像区域。

2.根据权利要求1的方法，其特征在于，所述步骤S1包括：

步骤S11，将所述训练图像的大小归一化为H×W，其中，H和W分别表示训练图像的高度和宽度；

步骤S12，将归一化后的训练图像输入至所述卷积神经网络中，得到卷积激活图H_C×W_C×N，其中，H_C和W_C分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目。

3.根据权利要求1的方法，其特征在于，所述步骤S4包括：

步骤S41，对于一个高对比度图像区域提取多种特征；

步骤S42，将提取得到的多种特征进行串联，得到该高对比度图像区域的特征向量。

4.根据权利要求1的方法，其特征在于，所述步骤S5中的原始多元高斯模型l(f)表示为：

其中，f∈R^D×1表示高对比图像区域的特征向量，D为特征向量的维度，μ和∑分别表示f的均值向量和协方差矩阵。

5.根据权利要求1的方法，其特征在于，所述步骤S6包括：

步骤S61，获取测试图像及其高对比度图像区域；

步骤S62，获取每个高对比度图像区域的特征向量；

步骤S63，将每个特征向量拟合为一个多元高斯模型(μ_p,∑')，其中，p(p＝1,2,...,P)表示测试图像中的第p个高对比图像区域，P表示测试图像中高对比图像区域的个数，μ_p和∑'分别表示相应特征向量的均值向量和协方差矩阵。

6.根据权利要求5的方法，其特征在于，所述步骤S7中，利用下式计算测试图像的每个高对比度图像区域的图像质量得分：

其中，s_p表示第p个高对比度图像区域的图像质量得分，μ和∑分别表示训练图像的高对比图像区域的特征向量的均值向量和协方差矩阵。

7.根据权利要求1的方法，其特征在于，所述步骤S8包括：

步骤S81，获取测试图像第二预设卷积层中的卷积激活图H_t×W_t×N_t，其中，下标t表示第二预设卷积层的序号，H_t和W_t分别表示第二预设卷积层卷积激活图的高度和宽度，N_t表示第二预设卷积层卷积激活图的数目；

步骤S82，将N_t个大小为H_t×W_t的卷积激活图的对应位置元素相加，得到卷积求和图；

步骤S83，在卷积求和图中确定与每个高对比度图像区域对应的卷积求和区域，并将卷积求和区域中激活响应的和作为测试图像的每个高对比度图像区域的权重，记为w＝(w₁,w₂,...,w_i...,w_P)，其中，w_i表示第i个高对比度图像区域的权重，i＝1…P；

步骤S84，对高对比度图像区域的图像质量得分S＝(s₁,s₂,...,s_i,...,s_P)进行加权求和，得到测试图像的图像质量得分，其中，s_i表示第i个高对比度图像区域的得分。

Images