CN112766419A - 一种基于多任务学习的图像质量评估方法及装置 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种基于多任务学习的图像质量评估方法及装置，所述方法包括：根据根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果；其中，所述基于图像质量评估模型是预先基于自然属性特征任务学习所训练生成的；所述自然属性特征任务学习是使得图像经过图像质量评估模型处理后得到的自然属性特征响应结果与按照预设的自然属性特征提取规则对图像进行特征提取所得到的自然属性特征真实结果之间满足预设的要求，相比于现有的利用无参考图像质量评估算法所训练生成的图像质量评估模型，在模型分析的准确率上具有显著的提升。

Description

一种基于多任务学习的图像质量评估方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种图像质量评估方法及装置。

背景技术

图像是信息传递的一种重要载体，能够帮助我们更好地认识客观世界，在我们日常的工作和生活中起到了非常重要的作用，但图像在采集、存储、传输等过程中容易受到诸多因素的影响导致其质量受损，影响到人类对图像内容的感知。因此，通过图像质量评估方法可帮助人们快速识别目标图像的质量，将质量受损严重的图像筛选出来，避免影响到人类对图像内容的感知。

然而，现有的图像质量评估方法通常都是利用无参考图像质量评估算法所训练得到的图像质量评估模型进行特征筛选的，事实上，由于该图像质量评估算法未参考原始图像的相关特征，其并不能使得所筛选出的图像特征与原始图像的真实特征进行精准匹配，即采用此种图像质量评估方法所训练得到的图像质量评估模型无法高效准确的对图像质量进行评估。也就是说，现有的利用无参考图像质量评估算法所训练得到的图像质量评估模型进行图像的特征筛选的分析模型准确性较差，实际应用能力低。

可见，利用现有的图像质量评估方法所训练得到的图像质量评估模型所得到的图像质量评估结果还存在着准确性较差，实际应用能力低的技术问题。

发明内容

本发明实施例的目的在于提供一种图像质量评估方法，旨在解决利用现有的图像质量评估方法所训练得到的图像质量评估模型所得到的图像质量评估结果还存在着准确性较差，实际应用能力低的技术问题。

本发明实施例是这样实现的，一种图像质量评估方法，包括：

获取待质量评估的图像；

根据根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果；其中

根据基于卷积神经网络构建并训练完成的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果；其中

所述基于卷积神经网络构建的图像质量评估模型是以图像自然属性特征和质量分数作为多任务学习目标训练生成的；所述自然属性特征任务学习是将按照预设的自然属性特征提取规则对图像进行特征提取所得到的自然属性特征作为模型学习的一个子任务，所述图像质量分数学习是指将图像主观质量分数作为模型学习的另一个子任务。

本发明实施例的另一目的在于提供一种图像质量评估装置，包括：

样本图像获取单元，用于获取待质量评估的图像；

待质量评估图像处理单元，用于根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果。

本发明实施例中提供的一种图像质量评估方法，是根据多任务学***，相比于现有的利用无参考图像质量评估算法所训练生成的图像质量评估模型，在模型分析的准确率上具有显著的提升，即提供了一种准确率高，应用效果好的图像质量评估方法。

附图说明

图1为本发明实施例提供的一种图像质量评估方法的步骤流程图；

图2为本发明实施例提供的一种训练生成图像质量评估模型的步骤流程图；

图3为本发明实施例提供的一种图像质量评估方法中样本图像自然属性特征的提取规则步骤流程图；

图4为本发明实施例提供的一种图像质量评估方法中确定样本图像的均值对比度归一化系数MSCN的步骤流程图；

图5为本发明实施例提供的一种图像质量评估方法中确定自然属性特征响应结果与所述自然属性特征真实结果以及质量评价真实分数与质量评价相应分数之间的损失值之间的总损失值的步骤流程图；

图6为一种图像质量评估装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例考虑到现有技术中对图像质量评估识别的不足，提出一种通过根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型对待质量评估的图像进行处理，确定图像的质量评估结果的方法。在本发明中首先建立根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型，即提取样本图样的自然属性特征和质量评价分数的真实结果与所述图像质量评估模型相应的响应数据进行损失值判断，并通过梯度下降算法以及所述损失值对所述图像质量评估模型中的可变参数进行优化调整迭代，得出模型中对样本图像的自然属性特征和质量评价分数的响应分数和真实结果无限接近的数学关系。然后将得到的所述图像质量评估模型待评估的图像进行质量评估，得到相应的评估结果。

如图1所示，为本发明实施例提供的一种图像质量评估方法的步骤流程图，具体包括以下步骤：

步骤S102，获取待质量评估的图像。

在本发明实施例中，所述待质量评估的图像为二维数字图像，用于评价二维数字图像在采集、存储、传输等过程中的图像质量是否受损。

步骤S104，根据根据多任务学习训练生成的基于卷积神经网络构建并训练完成的的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果。

在本发明实施例中，所述卷积神经网络模型算法依次连接3个由卷积层和残差块组成的模块，其中残差块由两个依次连接的卷积层构成，每个残差块之后连接一个最大池化层，通过最大池化层进行下采样，最后一个最大池化层后连接两个全连接层FC1和FC2，然后连接到执行子任务学习的自然属性特征回归层FC3，此后连接一个全连接层FC4和含有一个神经元的执行质量分数学习任务的回归层FC5。

在本发明实施例中，所述卷积层的卷积核大小和padding分别为：第一个卷积层卷积核大小为5×5，padding为2；其他卷积层卷积核大小均为3×3，padding为1；所述卷积层通道数依次为：32，32，64，64，64，64；所述最大池化层窗口大小为2×2，步长为2；所述全连接层的神经元个数依次为：1024，512，36，512，1；所述卷积神经网络模型算法的激活函数为Relu函数。

如图2所示，为本发明实施例提供的一种训练生成图像质量评估模型的步骤流程图，具体包括以下步骤：

步骤S202，从图像质量评价数据库中获取多个训练样本图像。

在本发明实施例中，样本图像的来源为图像质量评价数据集，同时对于每一幅图像，读取灰度图像后进行归一化预处理，按照步长24将图像切分为32*32的样本图像。

步骤S204，按照预设的自然属性特征提取规则提取所述样本图像的自然属性特征真实结果，并结合图像主观质量分数构建训练样本和训练标签。

在本发明实施例中，图像自然属性特征的相关提取规则将在图3中详细阐述，在此不再赘述。

步骤S206，构建含有可变参数的初始化的多任务学习图像质量评估模型。

步骤S208，将所述的训练样本和训练标签输入图像质量评估模型，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值。

在本发明实施例中，所述图像的自然属性特征包括在样本图像的原尺度和下采样的二分之一尺度所提取得到的36个自然属性特征，具体图像自然属性特征的相关提取规则将在图3中详细阐述，在此不再赘述。

步骤S210，计算自然属性特征预估值和质量分数预估值与所述的自然属性特征真实结果和主观质量分数之间的训练损失值。

在本发明实施例中，所述自然属性特征响应结果与所述自然属性特征真实结果之间的损失值具体步骤如图5所示，在此不再赘述。

步骤S212，根据所述损失值是否收敛判断所述图像质量评估模型是否训练完成。当判断否时，执行步骤S214；当判断是时，执行步骤S216。

在本发明实施例中，预设的损失值条件通常是以迭代次数或者种群中最大适应度是否超过预设的阈值来判断，当满足预设的损失值条件，则算法结束，确定当中最优个体作为最优解，当不满足预设的损失值条件，需要进行进一步的损失值优化。

在本发明实施例中，显然，适应度最高的图像质量评估模型即为最优图像质量评估模型。

在本发明实施例中，所述待评估图像的图像客观质量分数计算公式为：

式中，N为待评估图像切分的图像块个数，

为待评估图像通过图像质量评估模型得到的质量分数评价的相应结果。

步骤S214，根据梯度下降算法以及所述损失值对所述图像质量评估模型中的可变参数进行调整，确定更新后的图像质量评估模型，并返回至步骤S208对当前图像质量评估模型对样本图像进行预测，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值步骤

根据梯度下降算法以及所述损失值对所述图像质量评估模型中的可变参数进行调整，确定更新后的图像质量评估模型，然后返回至步骤S208。

在本发明实施例中，根据适应度来确定图像质量评估参数，并重新组合更新当前图像质量评估模型，用于模拟优胜劣汰，逐步逼近最优解，然后返回至步骤S208重新进行处理迭代。

步骤S216，将当前图像质量评估模型确定为基于卷积神经网络构建并训练生成的图像质量评估模型。

步骤S218，将待评估图像输入使用多任务学习方法训练的基于卷积神经网络的图像质量评估模型，得到图像样本的预测质量分数评估结果。

图2中的图像质量评估方法中样本图像自然属性特征的提取规则如图3所示，详述如下。

步骤S302，确定样本图像中在原尺度下各像素点的均值对比度归一化系数MSCN。

在本发明实施例中，所述样本图像中在原尺度下各像素点的均值对比度归一化系数MSCN包括所述样本图像在原尺度下像素点处的局部均值、方差以及邻域系数。

在本发明实施例中，获取样本图像在原尺度下像素点坐标（i，j）处的像素值I（i，j），其中i∈1,2…M，j∈1,2…N，M，N分别表示图像的高度和宽度。根据所述的像素值I（i，j）确定样本图像在像素点坐标（i，j）处的局部均值μ(i,j)和局部方差σ(i,j)，其计算公式分别如下：

其中，K，L为正整数，w= {w _(k,l) | k= -K,…,K , l= -L,…,L}为中心对称的二维高斯加权函数，取 K = L = 7，w _k,l 和

为样本图像在原尺度下像素点坐标（i，j）处位移K或L个位置处的像素值。

将上述得到的样本图像在原尺度下像素点坐标（i，j）处的像素值I（i，j）、局部均值μ(i,j)和局部方差σ(i,j)进行运算即可得到邻域系数

，即：

其中，为避免计算过程中分母为0，取常数C=1。

步骤S304，根据广义高斯分布算法拟合MSCN系数，确定第一形状参数以及方差。

在本发明实施例中，根据广义高斯分布GGD拟合上述提取的MSCN系数，采用快速匹配的方式估计GGD中的第一形状参数α和方差σ²，以此作为图像的两个自然属性特征。其中，广义高斯分布的表达式如下：

式中，β和gamma函数Γ(•)分别为：

其中，式中X为样本图像为计算得到的均值对比度归一化系数MSCN，即

。

步骤S306，按照预设的多个方向分别对样本图像的MSCN系数进行邻域乘积计算。

在本发明实施例中，在样本图像在像素点坐标（i，j）处分别从样本图像的水平方向H，垂直方向V，主对角线方向D1和负对角线方向D2对图像的邻域系数的乘积进行统计建模，即

得到样本图像在原尺度下像素点坐标（i，j）处的四个方向上的邻域系数乘积数值。

步骤S308，根据非对称广义高斯分布算法分别对样本图像在原尺度下所述多个方向下的MSCN系数的邻域乘积计算结果进行拟合，确定样本图像在原尺度多个方向下的分布均值η、第二形状方差v、左方差σ_l ²、右方差σ_r ²。

在本发明实施例中，使用非对称广义高斯分布模型对上述四个方向的邻域系数乘积进行拟合，即：

式中，

根据针对邻域系数乘积的非对称广义高斯分布模型的拟合结果，分别在每个方向上提取四个自然属性特征，即分布均值η、第二形状方差v、左方差σ_l ²、右方差σ_r ²。

步骤S310，根据所述第一形状参数、方差、分布均值、第二形状方差、左方差以及右方差构建样本图像在原尺度下的自然属性特征真实结果。

在本发明实施例中，从图像质量评价数据集中采集若干图像作为样本图像，通过特定提取规则提取样本图像的自然属性特征，所述样本图像的自然属性特征包含第一形状参数α、方差σ²、分布均值η、第二形状方差v、左方差σ_l ²、右方差σ_r ²。上述的自然属性提取规则可提取组成样本图像在原尺度下的18个自然属性特征。

步骤S312，获取样本图像在下采样二分之一尺度下的图像。

在本发明实施例中，对样本图像读取灰度图像后进行归一化处理，得到所述样本图像在下采样二分之一尺度下的图像。

步骤S314，对所述下采样图像进行自然属性特征提取操作，确定所述样本图像在二分之一尺度下的自然属性特征真实结果。

在本发明实施例中，所述样本图像在二分之一尺度下的自然属性特征真实结果提取规则与图4中的步骤流程图相同，在此不再赘述。

步骤S316，根据所述样本图像在二分之一尺度下的自然属性特征真实结果以及所述样本图像在原尺度下的自然属性特征真实结果构建样本图像的自然属性特征响应结果。

在本发明实施例中，在样本图像的原尺度和下采样的二分之一尺度下分别进行自然属性特征的提取操作，将在样本图像的原尺度和下采样的二分之一尺度所提取得到的自然属性特征组合构建样本图像的自然属性特征响应结果，共计36个自然属性特征。

步骤S318，根据样本图样、图像自然属性特征真是结果和图像主观质量分数构建训练样本和训练标签。

如图4所示，为本发明实施例提供的一种图像质量评估方法中确定样本图像的均值对比度归一化系数MSCN的步骤流程图，详述如下。

步骤S402，获取所述样本图像的在像素点处的像素值。

在本发明实施例中，所述样本图像的在像素点处的像素值为样本图像在原尺度及下采样二分之一尺度下像素点坐标（i，j）处的像素值I（i，j）。

步骤S404，根据所述样本图像在像素点处的像素值，确定样本图像在像素点处的局部均值以及方差。

在本发明实施例中，所述样本图像在像素点处的局部均值以及方差的确定方法如步骤S302中所述，在此不再赘述。

S406，根据所述样本图像在像素点处的像素值、局部均值以及方差，确定样本图像在像素点处的邻域系数。

在本发明实施例中，所述样本图像在像素点处的邻域系数的确定方法如步骤S302中所述，在此不再赘述。

如图5所示，为本发明实施例提供的一种图像质量评估方法中确定自然属性特征响应结果与所述自然属性特征真实结果之间的损失值的步骤流程图，详述如下。

步骤S502，将所述的训练样本和训练标签输入图像质量评估模型，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值。

步骤S504，根据得到的自然属性特征预估值和质量分数预估值，以及样本的自然属性特征真实值和主观质量分数输入预设的损失函数，得到训练损失值。

在本发明实施例中，所述总损失值的计算公式如下：

式中，n为输入的样本图像数量，F_i和S_i分别表示第i个样本图像的自然属性特征和质量评价分数的真实结果，

和

分别表示模型对于第i个输入样本图像响应结果。

步骤S506，根据所述得到的损失值确定所述基于卷积神经网络的神经网络模型是否收敛，若否，执行步骤S608，并返回至步骤S602所述当前图像质量评估模型对样本图像进行预测，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值步骤，若是，则执行步骤S610。

步骤S508，调整所述图像质量评估模型中的可变参数，确定更新后的图像质量评估模型。

步骤S510，将当前图像质量评估模型确定为基于卷积神经网络构建并训练生成的图像质量评估模型。

如图6所示，为本发明实施例提供的一种图像质量评估装置，具体包括以下单元。

样本图像获取单元610，用于获取待质量评估的图像。

在本发明实施例中，所述待质量评估的图像为二维数字图像，用于评价二维数字图像在采集、存储、传输等过程中的图像质量是否受损。

待质量评估图像处理单元620，用于根据根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果。

在本发明实施例中，所述卷积神经网络模型算法依次连接3个由卷积层和残差块组成的模块，其中残差块由两个依次连接的卷积层构成，每个残差块之后连接一个最大池化层，通过最大池化层进行下采样，最后一个最大池化层后连接两个全连接层FC1和FC2，然后连接到执行子任务学习的自然属性特征回归层FC3，此后连接一个全连接层FC4和含有一个神经元的执行质量分数学习任务的回归层FC5。

在本发明实施例中，所述卷积层的卷积核大小和padding分别为：第一个卷积层卷积核大小为5×5，padding为2；其他卷积层卷积核大小均为3×3，padding为1；所述卷积层通道数依次为：32，32，64，64，64，64；所述最大池化层窗口大小为2×2，步长为2；所述全连接层的神经元个数依次为：1024，512，36，512，1；所述卷积神经网络模型算法的激活函数为Relu函数。

在本发明实施例中，根据图像质量评估模型对待评估图像中的提取数据确定并输出图像质量评估结果。其中，图像质量评估包含自然属性特征和质量评价分数两种参数因素，对待评估图像中的参数特征进行处理识别，从而准确识别并输出图像的质量评估结果。

在本发明实施例提供的一种图像质量评估装置，是根据基于卷积神经网络模型算法对初始化的图像质量评估模型进行训练，使得优化调整后的图像质量评估模型在样本图像的自然属性特征及质量评价分数的真实结果和响应结果之间无限接近，然后通过该图像质量评估模型对待评估的图像进行评估得到图像的质量预测分数，对图像的质量预测分数进行处理即可得到待评估图像的客观质量分数，提高了模型参数的准确率，从而有效提高了最终建立的图像质量评估模型的外延能力和预测能力。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种图像质量评估方法，其特征在于，所述方法包括：

获取待质量评估的图像；

根据根据多任务学习训练生成的基于卷积神经网络构建并训练完成的的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果；其中

所述基于卷积神经网络构建的图像质量评估模型是以图像自然属性特征和质量分数作为多任务学习目标训练生成的；所述自然属性特征任务学习是将按照预设的自然属性特征提取规则对图像进行特征提取所得到的自然属性特征作为模型学习的一个子任务，所述图像质量分数学习是指将图像主观质量分数作为模型学习的另一个子任务。

2.根据权利要求1所述的图像质量评估方法，其特征在于，所述图像质量评估模型训练生成的步骤，具体包括：

从图像质量评价数据库中获取多个训练样本图像；

按照预设的自然属性特征提取规则提取所述样本图像的自然属性特征真实结果，并结合图像主观质量分数构建训练样本和训练标签；

构建含有可变参数的初始化的多任务学习图像质量评估模型；

将所述的训练样本和训练标签输入图像质量评估模型，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值；

计算自然属性特征预估值和质量分数预估值与所述的自然属性特征真实结果和主观质量分数之间的训练损失值；

根据所述损失值是否收敛判断所述图像质量评估模型是否训练完成；

当判断否时，根据梯度下降算法以及所述损失值对所述图像质量评估模型中的可变参数进行调整，确定更新后的图像质量评估模型，并返回至所述根据当前图像质量评估模型对样本图像进行预测，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值步骤；

当判断是时，将当前图像质量评估模型确定为基于卷积神经网络构建并训练生成的图像质量评估模型；

将待评估图像输入使用多任务学习方法训练的基于卷积神经网络的图像质量评估模型，得到图像样本的评估结果。

3.根据权利要求2所述的图像质量评估方法，其特征在于，所述图像质量评估模型是以图像自然属性特征和质量分数作为多任务学习目标训练生成的；

按照预设的自然属性特征提取规则提取所述样本图像的自然属性特征真实结果，并结合图像主观质量分数构建训练样本和训练标签，具体为：

确定样本图像中各像素点的均值对比度归一化系数MSCN；

根据广义高斯分布算法拟合MSCN系数，确定第一形状参数以及方差；

按照预设的多个方向分别对样本图像的MSCN系数进行邻域乘积计算；

根据非对称广义高斯分布算法分别对样本图像在所述多个方向下的MSCN系数的邻域乘积计算结果进行拟合，确定样本图像在多个方向下的分布均值、第二形状方差、左方差以及右方差；

根据所述第一形状参数、方差、分布均值、第二形状方差、左方差以及右方差构建样本图像在原尺度下的自然属性特征真实结果；

获取样本图像在二分之一尺度下的下采样图像；

对所述下采样图像进行自然属性特征提取操作，确定所述样本图像在二分之一尺度下的自然属性特征真实结果；

根据所述样本图像在二分之一尺度下的自然属性特征真实结果以及所述样本图像在原尺度下的自然属性特征真实结果构建样本图像的自然属性特征真实结果；

根据样本图像、图像自然属性特征真实结果和图像主观质量分数构建训练样本和训练标签。

4.根据权利要求3所述的图像质量评估方法，其特征在于，所述确定样本图像中各像素点的均值对比度归一化系数MSCN的步骤，具体包括：

获取所述样本图像的在像素点处的像素值；

根据所述样本图像在像素点处的像素值，确定样本图像在像素点处的局部均值以及方差；

根据所述样本图像在像素点处的像素值、局部均值以及方差，确定样本图像在像素点处的邻域系数。

5.根据权利要求1所述的图像质量评估方法，其特征在于，所述基于卷积神经网络构建的图像质量模型的采用以下步骤训练获得，具体包括：

将所述的训练样本和训练标签输入图像质量评估模型，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值；

根据得到的自然属性特征预估值和质量分数预估值，以及样本的自然属性特征真实值和主观质量分数输入预设的损失函数，得到训练损失值；

根据所述得到的损失值确定所述基于卷积神经网络的神经网络模型是否收敛；若否，则调整所述图像质量评估模型中的可变参数，确定更新后的图像质量评估模型，并返回至所述根据当前图像质量评估模型对样本图像进行预测，得到图像评估模型对所有训练样本的自然属性特征预估值和质量分数预估值步骤；

若是，将当前图像质量评估模型确定为基于卷积神经网络构建并训练生成的图像质量评估模型。

6.一种图像质量评估装置，其特征在于，包括：

样本图像获取单元，用于获取待质量评估的图像；

待质量评估图像处理单元，用于根据多任务学习训练生成的基于卷积神经网络的图像质量评估模型对所述待质量评估的图像进行处理，确定所述图像的质量评估结果。

Images