CN115880516A - 图像分类方法、图像分类模型训练方法及相关设备 - Google Patents

Abstract

本申请公开了一种图像分类方法、图像分类模型训练方法及相关设备。该方法包括：将第一图像输入到重构网络，得到第一特征图；将第一特征图输入到峰值信噪比计算网络，得到峰值信噪比值；在峰值信噪比值大于或等于第一阈值的情况下，将第一特征图输入到图像质量评价网络中，得到第一图像的平均主观意见分值；根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；其中，在峰值信噪比值小于第一阈值或者平均主观意见分值大于或等于第二阈值的情况下，确定第一图像为第一类图像；在平均主观意见分值小于第二阈值的情况下，确定第一图像为第二类图像，第一类图像的模糊程度小于第二类图像的模糊程度。

Description

图像分类方法、图像分类模型训练方法及相关设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像分类方法、图像分类模型训练方法及相关设备。

背景技术

众所周知，为了方便图像的处理，通常基于图像的模糊程度对图像进行分类。现有技术中，通常通过网络模型对图像的模糊程度进行评价，由于网络模型是对图像的全局特征进行分析评价，这样将会导致图像的模糊程度的评价准确性较差。因此，现有技术中存在图像的模糊程度分类的准确性较差的问题。

发明内容

本申请实施例的目的是提供一种图像分类方法、图像分类模型训练方法及相关设备，能够解决图像的模糊程度分类的准确性较差的问题。

第一方面，本申请实施例提供了一种图像分类方法，包括：

将第一图像输入到重构网络，得到第一特征图；

将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值；

根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

第二方面，本申请实施例提供了一种图像分类模型训练方法，其特征在于，包括：

利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

在所述第一损失值和所述第二损失值的加权和值满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

第三方面，本申请实施例提供了一种图像分类装置，包括：

第一输入模块，用于将第一图像输入到重构网络，得到第一特征图；

第二输入模块，用于将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

第三输入模块，用于在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值；

第一确定模块，用于根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

第四方面，本申请实施例提供了一种图像分类模型训练装置，其特征在于，包括：

第一训练模块，用于利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

第二训练模块，用于将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

计算模块，用于基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

第二确定模块，用于在所述第一损失值和所述第二损失值的加权和值满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或者实现如第二方面所述的方法的步骤。

本申请实施例通过设置重构网络将第一图像进行放大处理，得到第一特征图，然后通过峰值信噪比计算网络对第一图像的局部模糊程度进行判断，并通过图像质量评价网络对第一图像的整体模糊程度进行判断；这样针对第一图像的局部和整体进行综合判断，从而可以提高图像的模糊程度判断的准确性，进而提高图像的模糊程度分类的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像分类方法的流程图；

图2是本申请实施例提供的图像分类方法流程框图；

图3是本申请实施例提供的图像分类方法中重构网络的结构图；

图4是本申请实施例提供的图像分类方法中下采样网络层的结构图；

图5是本申请实施例提供的图像分类方法中图像质量评价网络的结构图；

图6是本申请实施例提供的图像分类方法中峰值信噪比计算网络的结构图；

图7是本申请实施例提供的图像分类模型训练方法的流程图；

图8是本申请实施例提供的图像分类装置的结构图；

图9是本申请实施例提供的图像分类模型训练装置的结构图；

图10是本申请实施例提供的一种电子设备的结构图；

图11是本申请实施例提供的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

随着各种数字仪器和数码产品的普及，图像和视频已成为人类活动中最常用的信息载体，它们包含着物体的大量信息，成为人们获取外界原始信息的主要途径。然而在图像的获取、传输和存储过程中常常会受到各种噪声的干扰和影响而使图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以在后续图像处理之前应尽可能保证接收的图像的清晰程度(也就是质量程度)，因此为了获取高质量数字图像，很有必要对图像进行模糊程度判断，以保持接收信息的完整性。所以，图像模糊判断处理一直是图像处理和计算机视觉研究的热点。

随着深度学***均来估计整体图像质量。微调采用随机初始化值代替预先训练CNN的最后一个全连接层作为新的CNN。迁移学习使得网络深度增加，但其性能受到原始任务影响。在2018年提出无参考图像质量评价之深度图像质量方法DIQaM-NF(Deep ImageQuAlity Measure for NR IQA)，在作者提供的参考中方法命名为deepIQA，一些引用也采用此命名。基于端对端训练，包含10个卷积层和5个池化层，以及2个全连接层。可能数据量无法支撑这深度的网络，实验结果并未超越IQA-CNN这样的浅层网络。

目前，工业界所做的图像模糊判断算法基本是使用分类来实现的，但是对于一张图像的模糊程度来说并没有一个明确可分离的线来区分，而且目前使用质量评价算法来评估一张图片也是在感知整体上作出的评价，很多时候局部的模糊噪声以及真实噪声并不能判断出来。这样将会导致图像的模糊判断的准确度较低，进而使得图像模糊程度的分类的准确性较差。为此，提出本申请的图像分类方法。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像分类方法、图像分类模型训练方法及相关设备进行详细地说明。

参见图1，图1是本申请实施例提供的一种图像分类方法的流程图，如图1所示，包括以下步骤：

步骤101，将第一图像输入到重构网络，得到第一特征图；

本申请实施例中，可以将需要进行图像分类的所有图像调整为预设尺寸的图像，以便于图像分类模型进行识别和分类处理。例如，在一些实施例中，所述将第一图像输入到重构网络，得到第一特征图之前，所述方法还包括：将待处理的第一图像的尺寸调整为预设尺寸，作为重构网络的输入，该预设尺寸的大小可以根据实际需要进行设置，例如，可以为512*512。

应理解，假设待处理的图像的尺寸本身为预设尺寸，则无需进行调整。上述第一特征图相对于第一图像，其分辨率变大了。

可选地，上述图像分类模型包括重构网络和图像质量评价网络、峰值信噪比计算网络和图像质量评价网络。其中，重构网络可以称之为图像超分辨率重建网络，用于对图像进行放大处理。将第一图像输入到重构网络，得到第一特征图可以理解为，将用于表示预设尺寸的所述第一图像的特征图输入到重构网络，对特征图进行图像放大处理，得到第一特征图。

需要说明的是，通过重构网络对图像进行放大，从而可以将图像的模糊程度进行放大，从而可以有利于峰值信噪比计算网络和图像质量评价网络对图像的模糊程度进行判断。

步骤102，将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

本申请实施例中，上述峰值信噪比计算网络用于模拟PSNR计算公式，对第一特征图进行计算得到PSNR值。基于该PSNR值可以进行目标对象的模糊程度初次分类，例如，在PSNR值小于第一阈值的情况下，确定第一图像为第一类图像，在PSNR值大于或等于第一阈值的情况下，基于图像质量评价网络在此对目标对象的模糊程度进行评价。

步骤103，在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分(Mean Opinion Score，MOS)值；

本申请实施例中，上述图像质量评价网络输出MOS值可以包括1至5，其中，MOS值越大，表示图像的清晰度越高。例如，MOS值为5表示最清晰的图像，MOS值为1表示最模糊的图像，或者说质量最差的图像。

步骤104，根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

可选地，上述第一类图像和第二类图像的定义可以根据实际需要进行设置，具体可以与上述第一阈值和第二阈值的大小有关。例如，在一些实施中，假设上述第一阈值设置37.7，上述第二阈值设置为3.5，此时上述第一类图像可以理解为清晰图像，第二类图像可以理解为模糊图像。如图2所示，首先将输入的图像进行预处理，得到第一图像。然后将该第一图像输入到重构网络进行图像放大处理得到第一特征图，然后通过峰值信噪比计算网络计算峰值信噪比值，在峰值信噪比值小于37.7的情况下，确定第一图像为清晰图像；在峰值信噪比值大于或等于37.7的情况下，将第一特征图输入到图像质量评价网络中得到一个1～5的平均主观意见分值；在平均主观意见分值大于或等于3.5的情况下，确定第一图像为清晰图像，在平均主观意见分值小于3.5的情况下，确定第一图像为模糊图像。

当然，在其他实施例中，上述第一类图像还可以被定义为高清图像，第二类图像可以被定义为普通图像，具体的分类在此不做进一步的限定。

本申请实施例通过设置重构网络将第一图像进行放大处理，得到第一特征图，然后通过峰值信噪比计算网络对第一图像的局部模糊程度进行判断，并通过图像质量评价网络对第一图像的整体模糊程度进行判断；这样针对第一图像的局部和整体进行综合判断，从而可以提高图像的模糊程度判断的准确性，进而提高图像的模糊程度分类的准确性。

可选地，如图3所示，在一些实施例中，所述重构网络包括依次连接的第一浅层特征提取网络层、N个下采样网络层、N个第一上采样网络层、第一卷积层和第二上采样网络层，N为大于1的整数，所述N个下采样网络层依次串联，所述N个第一上采样网络层依次串联，且第n个第一上采样网络层的输入为其上一个网络层的输出和第N-n+1个下采样网络层的输出融合后得到的特征；其中，所述将第一图像输入到重构网络，得到第一特征图包括：

将所述第一图像输入到所述第一浅层特征提取网络层进行浅层特征提取处理，得到第一子特征图；

利用所述N个下采样网络层和N个第一上采样网络层对所述第一子特征图进行采样处理，得到第二子特征图；

利用所述第一卷积层对所述第二子特征图进行平滑处理得到第三子特征图；

利用所述第二上采样网络层对所述第三子特征图进行上采样处理，得到所述第一特征图。

应理解，上述N的取值的大小可以根据实际需要进行设置，例如，在本申请实施例中，该N的取值可以为5。

可选地，第N个第一上采样网络层和第二上采样网络层可以采用反卷积(或者称之为转置卷积)网络结构，上述N个第一下采样网络层和前N-1个第一上采样网络层可以采用卷积网络结构。上述第一浅层特征提取网络层可以采用2层3*3的卷积。上述第一卷积层可以采用2层3*3的卷积。

本申请实施例中，重构网络中各卷积的卷积核可以均为64。如图3所示，重构网络的处理流程如下：

首先，使用2层3*3的卷积进行浅层特征提取得到第一子特征图，2层3*3的卷积可提取图片的纹理信息，其中包含了中高频信息。

然后将提取的特征图送进下采样网络层进行5次下采样，并将最终采样结果输出到第一上采样网络层经过4次上采样，以保持重构网络的输入和输出的特征图不变。每次将下采样与相对称位置的上采样进行残差学***移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小，上采样可以把抽象的特征再还原解码到原图的尺寸，而且通过上采样下采样这种编码解码可以提取表征图像的抽象特征，如模糊纹理特征。

其次，将最后上采样的第二子特征图使用2层3*3的卷积进行平滑处理，得到第三子特征图。

最后，第三子特征图将其送进转置卷积(Deconv)进行最后的上采样，得到第一特征图。

需要说明的是，上述下采样网络层的结构可以根据实际需要进行设置，如图4所示，在一些实施例中，上述下采样网络层可以包括2层残差层、一层卷积层和一层最大池化层。在一次下采样的过程中，可以首先由2层残差结构进行残差学习，残差学习可以补充下采样过程中丢失的信息，然后再使用一层3*3的卷积层进行特征的进一步提取，最后使用最大池化层(MaxPool)进行下采样。

可选地，在一些实施例中，所述图像质量评价网络包括依次连接的多层卷积网络层和第一全连接网络层；其中，所述将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值包括：

将所述第一特征图输入至所述多层卷积网络层中进行特征提取和融合处理，得到具有高频抽象特征的第二特征图；

利用所述第一全连接网络层对所述第二特征图进行降维处理，得到所述平均主观意见分值。

本申请实施例中，上述第一全连接网络层的数量可以为2，其中最后一层第一全连接层网络用于输出一个0～5的MOS值。

如图5所示，所述多层卷积网络层由以下网络层依次串联形成：两个3*3的第三卷积层、第一混合深度卷积核层、第一连接层、1*1的第四卷积层、2*2的第一最大池化层、第二混合深度卷积核层、第二连接层、1*1的第五卷积层、2*2的第二最大池化层、第三混合深度卷积核层、第三连接层、1*1的第六卷积层、2*2的第三最大池化层、两个3*3的第七卷积层、1*1的第八卷积层和第二全局池化层，其中，所述第一混合深度卷积核层为3*3、5*5、7*7和9*9的混合深度卷积核层，所述第二混合深度卷积核层为3*3、5*5和7*7的混合深度卷积核层，所述第三混合深度卷积核层为3*3和5*5的混合深度卷积核层，上述第一连接层、第二连接层和第三连接层均可以理解为concat层。

本申请实施例中，所述多层卷积网络层对第一特征图进行特征提取和融合处理，得到具有高频抽象特征的第二特征图的过程如下：

第一阶段：首先使用两个3*3的第三卷积层进行浅层特征提取，再使用3*3、5*5、7*7、9*9的第一混合深度卷积核层进行特征提取，提取的特征通过第一连接层进行融合，再使用1*1的第四卷积层作为瓶颈层进行降维以及特征融合，紧接着使用一个2*2的第一最大池化层进行池化，以将上一层网络输出的特征图减半；

第二阶段：首先通过3*3、5*5、7*7的第二混合深度卷积核层对第一最大池化层输出的特征图进行特征提取，提取的特征通过第二连接层进行融合，再使用1*1的第五卷积层作为瓶颈层进行降维以及特征融合，紧接着使用一个2*2的第二最大池化层进行池化，以将上一层网络输出的特征图减半；

第三阶段：首先通过3*3、5*5、7*7的第三混合深度卷积核层对第二最大池化层输出的特征图进行特征提取，提取的特征通过第二连接层进行融合，再使用1*1的第六卷积层作为瓶颈层进行降维以及特征融合，紧接着使用一个2*2的第三最大池化层进行池化，以将上一层网络输出的特征图减半。

通过上述三个阶段对应的递减级联网络可以很好的提取抽象特征，接着将提取的特征通过2个3*3的第七卷积层进行平滑处理，再通过1*1的第八卷积层进行降维，紧接着使用一个第二全局池化层将每个通道的特征图池化为1个值。最后通过两层第一全连接网络层进行降维得到1～5的MOS值。

可选地，如图6所示，在一些实施例中，所述峰值信噪比计算网络包括依次连接的第一残差网络层、特征提取网络层、第二残差网络层、第二卷积层、第一全局池化层和第二全连接网络层；其中，所述第一残差网络层用于对所述第一特征图进行全局残差处理得到第四子特征图，所述特征提取网络层用于对所述第四子特征图进行高频细节信息特征提取处理得到第五子特征图，所述第二残差网络层用于对所述第五子特征图进行全局残差处理得到第六子特征图，所述第二卷积层用于对所述第六子特征图和所述第四子特征图融合后的特征图进行平滑处理得到第七子特征图，所述第一全局池化层用于对所述第七子特征图进行压缩处理的到第八子特征图，所述第二全连接网络层用于对所述第八子特征图进行降维处理得到所述峰值信噪比值。

本申请实施例中，第一残差网络层和第二残差网络层用于进行全局残差的目的是补充卷积过程中消失的中高频细节信息。可选地，上述第一残差网络层、特征提取网络层、第二残差网络层和第二卷积层均可采用3*3的卷积结构。其中，特征提取网络层可以采用2层3*3的卷积层。

需要说明的是，使用公式去计算的PSNR值只是像素级的参数，但是一张图像的质量好坏并不能全靠PSNR去评判，本申请实施例中，重构网络可以通过字典重构高分辨率的图像，然而字典包含了多种映射，可以在一定范围内增加PSNR指标的可行性，从而提高对图像模糊判断的准确性。

需要说明的是，本申请实施例提供的图像分类方法可以应用在任意需要进行图像模糊程度判断的场景中，例如，在一些实施例中，可以利用上述图像分类方法应用在图像接收场景中，保证图像接收的完整性。

假设，利用第一电子设备接收第二电子设备传输的多张图像时，在每次接收到一张图像后，可以将当前接收到的图像输入到图像分类模型中进行模糊程度判断，并保存判断为第二类图像的图像信息。

在接收完成后，可以将向第二电子设备发送重传请求，该重传请求中携带有该图像信息，在重传的过程中继续利用上述图像输入到图像分类模型进行模糊识别，直到所有接收的图像为第一类图像。本申请实施例中，通过应用上述图像分类方法可以保证图像接收的质量。

进一步地，参照图7，本申请实施例还提供了一种图像分类模型训练方法，如图7所示，该图像分类模型训练方法包括：

步骤701，利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

步骤702，将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

步骤703，基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

步骤704，在所述第一损失值和所述第二损失值的加权和满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

本申请实施例中，上述损失收敛条件可以根据实际需要进行设置。例如，在一些实施例中，该加权和值的变化小于预设值的情况下，可以将包括所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络的网络结构作为图像分类模型。其中，上述第一损失值为loss1，第二损失值为loss2，加权和值为loss，该loss可以满足：loss＝loss1/30+loss2。

应理解，在利用第一样本图像对待训练峰值信噪比计算网络进行预训练后，可以将训练得到的峰值信噪比计算网络的网络参数固定，与此同时预先训练的重构网络的网络参数也保持固定。

可选地，利用第一样本图像对待训练峰值信噪比计算网络进行预训练时，可以首先将高清图像进行不同程度的退化，退化模型首先使用双三插值下采样，然后使用不同的超分算法将下采样后的图像进行超分，再进行PSNR计算，这个PSNR值作为训练的标签，我们使用自由数据制作了3000张数据(即3000张第一样本图像)，标签均为计算的PSNR值。

本申请实施例中，首先通过第一样本图像进行峰值信噪比计算网络的预训练，然后利用预训练的重构网络、预训练的峰值信噪比计算网络和待训练图像质量评价网络进行联合训练得到图像分类模型，这样利用训练的图像分类模型可以针对第一图像的局部和整体进行综合判断，从而可以提高图像的模糊程度判断的准确性，进而提高图像的模糊程度分类的准确性。

需要说明的是，在训练的过程中，重构网络、峰值信噪比计算网络和待训练图像质量评价网络对待训练样本图像的处理过程与上述实施例中重构网络、峰值信噪比计算网络和图像质量评价网络对第一图像的处理过程类似，具体可以参照上述实施例的描述。例如，基于第二样本图像的训练过程各网络结构对第二样本图像的处理流程包括：

首先，可以将第二样本图像输入到重构网络，得到的第三特征图；

然后，将所述第三特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

接着，在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第三特征图输入到图像质量评价网络中，得到所述第二样本图像的平均主观意见分值；

最后，根据所述峰值信噪比值和所述平均主观意见分值确定所述第二样本图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第二样本图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第二样本图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

可选地，所述重构网络包括依次连接的第一浅层特征提取网络层、N个下采样网络层、N个第一上采样网络层、第一卷积层和第二上采样网络层，N为大于1的整数，所述N个下采样网络层依次串联，所述N个第一上采样网络层依次串联，且第n个第一上采样网络层的输入为其上一个网络层的输出和第N-n+1个下采样网络层的输出融合后得到的特征；其中，所述第二样本图像输入到重构网络，得到第三特征图包括：

将所述第二样本图像输入到所述第一浅层特征提取网络层进行浅层特征提取处理，得到第九子特征图；

利用所述N个下采样网络层和N个第一上采样网络层对所述第九子特征图进行采样处理，得到第十子特征图；

利用所述第一卷积层对所述第十子特征图进行平滑处理得到第十一子特征图；

利用所述第二上采样网络层对所述第十一子特征图进行上采样处理，得到所述第四特征图。

可选地，所述图像质量评价网络包括依次连接的多层卷积网络层和第一全连接网络层；其中，所述将所述第三特征图输入到图像质量评价网络中，得到所述第二样本图像的平均主观意见分值包括：

将所述第三特征图输入至所述多层卷积网络层中进行特征提取和融合处理，得到具有高频抽象特征的第四特征图；

利用所述第一全连接网络层对所述第四特征图进行降维处理，得到所述平均主观意见分值。

可选地，所述峰值信噪比计算网络包括依次连接的第一残差网络层、特征提取网络层、第二残差网络层、第二卷积层、第一全局池化层和第二全连接网络层；其中，所述第一残差网络层用于对所述第四特征图进行全局残差处理得到第十二子特征图，所述特征提取网络层用于对所述第十二子特征图进行高频细节信息特征提取处理得到第十三子特征图，所述第二残差网络层用于对所述第十三子特征图进行全局残差处理得到第十四子特征图，所述第二卷积层用于对所述第十四子特征图和所述第十二子特征图融合后的特征图进行平滑处理得到第十五子特征图，所述第一全局池化层用于对所述第十五子特征图进行压缩处理的到第十六子特征图，所述第二全连接网络层用于对所述第十六子特征图进行降维处理得到所述峰值信噪比值。

需要说明的是，通过预先训练获得重构网络时，假设重构网络最终放大的倍数为4倍，可以直接一次性训练到达放大4倍，也可以通过三个预训练阶段将待训练重构网络训练到达逐级放大4倍。例如，每一个阶段通过样本数据将待训练重构网络放大4^1/3。这样的训练方式不仅可以减少网络训练的负担，而且逐级放大使得网络可以更容易一步步得到真实的结果。

需要说明的是，本申请实施例提供的图像分类方法，执行主体可以为图像分类装置，或者该图像分类装置中的用于执行加载图像分类方法的控制模块。本申请实施例中以图像分类装置执行加载图像分类方法为例，说明本申请实施例提供的图像分类方法。

参见图8，图8是本申请实施例提供的图像分类装置的结构图，如图8所示，图像分类装置800包括：

第一输入模块801，用于将第一图像输入到重构网络，得到第一特征图；

第二输入模块802，用于将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

第三输入模块803，用于在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值；

第一确定模块804，用于根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

可选地，所述重构网络包括依次连接的第一浅层特征提取网络层、N个下采样网络层、N个第一上采样网络层、第一卷积层和第二上采样网络层，N为大于1的整数，所述N个下采样网络层依次串联，所述N个第一上采样网络层依次串联，且第n个第一上采样网络层的输入为其上一个网络层的输出和第N-n+1个下采样网络层的输出融合后得到的特征；其中，所述第一输入模块801具体用于执行以下操作：

将所述第一图像输入到所述第一浅层特征提取网络层进行浅层特征提取处理，得到第一子特征图；

利用所述N个下采样网络层和N个第一上采样网络层对所述第一子特征图进行采样处理，得到第二子特征图；

利用所述第一卷积层对所述第二子特征图进行平滑处理得到第三子特征图；

利用所述第二上采样网络层对所述第三子特征图进行上采样处理，得到所述第一特征图。

可选地，所述图像质量评价网络包括依次连接的多层卷积网络层和第一全连接网络层；其中，所述第二输入模块具体用于执行以下操作：

将所述第一特征图输入至所述图像质量评价网络中进行特征提取和融合处理，得到具有高频抽象特征的第二特征图；

利用所述第一全连接网络层对所述第二特征图进行降维处理，得到所述平均主观意见分值。

可选地，所述峰值信噪比计算网络包括依次连接的第一残差网络层、特征提取网络层、第二残差网络层、第二卷积层、第一全局池化层和第二全连接网络层；其中，所述第一残差网络层用于对所述第一特征图进行全局残差处理得到第四子特征图，所述特征提取网络层用于对所述第四子特征图进行高频细节信息特征提取处理得到第五子特征图，所述第二残差网络层用于对所述第五子特征图进行全局残差处理得到第六子特征图，所述第二卷积层用于对所述第六子特征图和所述第四子特征图融合后的特征图进行平滑处理得到第七子特征图，所述第一全局池化层用于对所述第七子特征图进行压缩处理的到第八子特征图，所述第二全连接网络层用于对所述第八子特征图进行降维处理得到所述峰值信噪比值。

可选地，图像分类装置800还包括：

调整模块，用于将待处理的第一图像的尺寸调整为所述预设尺寸。

需要说明的是，本申请实施例提供的图像分类模型训练方法，执行主体可以为图像分类模型训练装置，或者该图像分类模型训练装置中的用于执行加载图像分类模型训练方法的控制模块。本申请实施例中以图像分类模型训练装置执行加载图像分类模型训练方法为例，说明本申请实施例提供的图像分类模型训练方法。

参见图9，图9是本申请实施例提供的图像分类模型训练装置的结构图，如图9所示，图像分类模型训练装置900包括：

第一训练模块901，用于利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

第二训练模块902，用于将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

计算模块903，用于基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

第二确定模块904，用于在所述第一损失值和所述第二损失值的加权和满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

可选地，所述第二训练模块902包括：

第一输入单元，用于将预设尺寸的第二样本图像输入到重构网络，得到分辨率放大后的第三特征图；

第二输入电源，用于将所述第三特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

第三输入单元，用于在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第三特征图输入到图像质量评价网络中，得到所述第二样本图像的平均主观意见分值；

确定单元，用于确定所述第二样本图像的模糊程度分类；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第二样本图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第二样本图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

可选地，所述重构网络包括依次连接的第一浅层特征提取网络层、N个下采样网络层、N个第一上采样网络层、第一卷积层和第二上采样网络层，N为大于1的整数，所述N个下采样网络层依次串联，所述N个第一上采样网络层依次串联，且第n个第一上采样网络层的输入为其上一个网络层的输出和第N-n+1个下采样网络层的输出融合后得到的特征；其中，所述第一输入单元具体用于执行以下操作：

将所述预设尺寸的第二样本图像输入到所述第一浅层特征提取网络层进行浅层特征提取处理，得到第九子特征图；

利用所述N个下采样网络层和N个第一上采样网络层对所述第九子特征图进行采样处理，得到第十子特征图；

利用所述第一卷积层对所述第十子特征图进行平滑处理得到第十一子特征图；

利用所述第二上采样网络层对所述第十一子特征图进行上采样处理，得到所述第四特征图。

可选地，所述图像质量评价网络包括依次连接的多层卷积网络层和第一全连接网络层；其中，所述第二输入单元具体用于执行以下操作：

将所述第三特征图输入至所述多层卷积网络层中进行特征提取和融合处理，得到具有高频抽象特征的第四特征图；

利用所述第一全连接网络层对所述第四特征图进行降维处理，得到所述平均主观意见分值。

可选地，所述峰值信噪比计算网络包括依次连接的第一残差网络层、特征提取网络层、第二残差网络层、第二卷积层、第一全局池化层和第二全连接网络层；其中，所述第一残差网络层用于对所述第四特征图进行全局残差处理得到第十二子特征图，所述特征提取网络层用于对所述第十二子特征图进行高频细节信息特征提取处理得到第十三子特征图，所述第二残差网络层用于对所述第十三子特征图进行全局残差处理得到第十四子特征图，所述第二卷积层用于对所述第十四子特征图和所述第十二子特征图融合后的特征图进行平滑处理得到第十五子特征图，所述第一全局池化层用于对所述第十五子特征图进行压缩处理的到第十六子特征图，所述第二全连接网络层用于对所述第十六子特征图进行降维处理得到所述峰值信噪比值。

本申请实施例中的图像分类装置和图像分类模型训练装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像分类装置和图像分类模型训练装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像分类装置和图像分类模型训练装置能够实现图1至图7的方法实施例中各个过程，为避免重复，这里不再赘述。

可选的，本申请实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的程序或指令，该程序或指令被处理器1010执行时实现上述图像分类方法或图像分类模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图11为实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。

本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图x中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1110，用于执行以下操作：

将第一图像输入到重构网络，得到第一特征图；

将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值；

根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

或者处理器1110，用于执行以下操作：

利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

在所述第一损失值和所述第二损失值的加权和满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像分类方法或图像分类模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像分类方法或图像分类模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像分类方法，其特征在于，包括：

将第一图像输入到重构网络，得到第一特征图；

将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值；

根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

2.根据权利要求1所述的方法，其特征在于，所述重构网络包括依次连接的第一浅层特征提取网络层、N个下采样网络层、N个第一上采样网络层、第一卷积层和第二上采样网络层，N为大于1的整数，所述N个下采样网络层依次串联，所述N个第一上采样网络层依次串联，且第n个第一上采样网络层的输入为其上一个网络层的输出和第N-n+1个下采样网络层的输出融合后得到的特征；其中，所述将第一图像输入到重构网络，得到第一特征图包括：

将所述第一图像输入到所述第一浅层特征提取网络层进行浅层特征提取处理，得到第一子特征图；

利用所述N个下采样网络层和N个第一上采样网络层对所述第一子特征图进行采样处理，得到第二子特征图；

利用所述第一卷积层对所述第二子特征图进行平滑处理得到第三子特征图；

利用所述第二上采样网络层对所述第三子特征图进行上采样处理，得到所述第一特征图。

3.根据权利要求1所述的方法，其特征在于，所述图像质量评价网络包括依次连接的多层卷积网络层和第一全连接网络层；其中，所述将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值包括：

将所述第一特征图输入至所述多层卷积网络层中进行特征提取和融合处理，得到具有高频抽象特征的第二特征图；

利用所述第一全连接网络层对所述第二特征图进行降维处理，得到所述平均主观意见分值。

4.根据权利要求1所述的方法，其特征在于，所述峰值信噪比计算网络包括依次连接的第一残差网络层、特征提取网络层、第二残差网络层、第二卷积层、第一全局池化层和第二全连接网络层；其中，所述第一残差网络层用于对所述第一特征图进行全局残差处理得到第四子特征图，所述特征提取网络层用于对所述第四子特征图进行高频细节信息特征提取处理得到第五子特征图，所述第二残差网络层用于对所述第五子特征图进行全局残差处理得到第六子特征图，所述第二卷积层用于对所述第六子特征图和所述第四子特征图融合后的特征图进行平滑处理得到第七子特征图，所述第一全局池化层用于对所述第七子特征图进行压缩处理的到第八子特征图，所述第二全连接网络层用于对所述第八子特征图进行降维处理得到所述峰值信噪比值。

5.根据权利要求1所述的方法，其特征在于，所述将第一图像输入到重构网络，得到第一特征图之前，所述方法还包括：

将待处理的第一图像的尺寸调整为预设尺寸。

6.一种图像分类模型训练方法，其特征在于，包括：

利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

在所述第一损失值和所述第二损失值的加权和值满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

7.一种图像分类装置，其特征在于，包括：

第一输入模块，用于将第一图像输入到重构网络，得到第一特征图；

第二输入模块，用于将所述第一特征图输入到峰值信噪比计算网络，得到所述峰值信噪比值；

第三输入模块，用于在所述峰值信噪比值大于或等于第一阈值的情况下，将所述第一特征图输入到图像质量评价网络中，得到所述第一图像的平均主观意见分值；

第一确定模块，用于根据所述峰值信噪比值和所述平均主观意见分值确定所述第一图像的模糊程度；

其中，在所述峰值信噪比值小于所述第一阈值或者所述平均主观意见分值大于或等于第二阈值的情况下，确定所述第一图像为第一类图像；在所述平均主观意见分值小于所述第二阈值的情况下，确定所述第一图像为第二类图像，所述第一类图像的模糊程度小于所述第二类图像的模糊程度。

8.一种图像分类模型训练装置，其特征在于，包括：

第一训练模块，用于利用第一样本图像对待训练峰值信噪比计算网络进行预训练，得到峰值信噪比计算网络；

第二训练模块，用于将第二样本图像输入到预先训练的重构网络，并将所述重构网络的输出分别输入到所述峰值信噪比计算网络和待训练图像质量评价网络；

计算模块，用于基于所述峰值信噪比计算网络的输出计算第一损失值，基于所述待训练图像质量评价网络的输出计算第二损失值；

第二确定模块，用于在所述第一损失值和所述第二损失值的加权和满足损失收敛条件的情况下，基于所述峰值信噪比计算网络、重构网络和当前训练的待训练图像质量评价网络确定图像分类模型；

其中，在所述图像分类模型中，所述峰值信噪比计算网络用于在输出的峰值信噪比值大于或等于第一阈值的情况下，将所述重构网络的输出输入到图像质量评价网络中进行图像模糊程度分类。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像分类方法的步骤，或者实现如权利要求6所述的图像分类模型训练方法的步骤。

10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现权利要求1至5中任一项所述的图像分类方法的步骤，或者实现如权利要求6所述的图像分类模型训练方法的步骤。

Images