CN111199541A - 图像质量评价方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像质量评价方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域，所述图像质量评价方法包括：获取待处理图像，并获取所述待处理图像对应的语义分割图像；对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；根据所述评分信息对所述待处理图像进行美学质量评价。本公开能够提高图像质量评价的全面性和准确性。

Description

图像质量评价方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像质量评价方法、图像质量评价装置、电子设备以及计算机可读存储介质。

背景技术

随着图像技术的发展，可以对图像的质量进行评分，以便于图像美化或者是后续处理。

相关技术中，采用数据对应的模型对图像进行质量评价。在这种方式中，数据可能并不全面，因此导致对图像的质量评价结果不准确，并且不够合理。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像质量评价方法、装置、电子设备及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像质量评价不准确的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种图像质量评价方法，包括：获取待处理图像，并获取所述待处理图像对应的语义分割图像；对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；根据所述评分信息对所述待处理图像进行美学质量评价。

根据本公开的一个方面，提供一种图像质量评价装置，包括：语义分割模块，用于获取待处理图像，并获取所述待处理图像对应的语义分割图像；评分确定模块，用于对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；图像评价模块，用于根据所述评分信息对所述待处理图像进行美学质量评价。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像质量评价方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像质量评价方法。

本示例性实施例提供的图像质量评价方法、装置、电子设备及计算机可读存储介质中，一方面，通过结合待处理图像以及待处理图像的语义分割图像提取待处理图像的评分信息，能够从待处理图像本身以及像素级别的语义分割图像两个维度获取特征数据来确定待处理图像的评分信息，以便于对其进行美学质量评价。由于同时兼顾了待处理图像的像素分布和抽象的语义信息，因此能够从像素以及语义信息两个方面进行美学质量评价，使得用于获取评分信息的图像数据更加全面，并且结合语义分割图像能够准确识别待处理图像，避免了只根据对图像本身的标注而导致的误评价，避免了局限性，且提高了美学质量评价的准确性和全面性。另一方面，由于结合了语义分割图像和待处理图像对待处理图像进行评价，使得不仅能通过待处理图像的像素颜色分布来进行评分，也能参考语义分割图像表示的语义信息进行抽象意义的美学评价，提高了进行图像美学质量评价的合理性，同时也提高了图像质量评价的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出用于实现图像质量评价方法的***架构的示意图。

图2示意性示出本公开示例性实施例中图像质量评价方法的示意图。

图3示意性示出本公开示例性实施例中质量评价的整体流程示意图。

图4示意性示出本公开示例性实施例中对样本图像进行处理的具体流程图。

图5示意性示出本公开示例性实施例中对模型进行训练的具体流程图。

图6示意性示出本公开示例性实施例中识别图像的具体流程图。

图7示意性示出本公开示例性实施例中图像质量评价装置的框图。

图8示意性示出本公开示例性实施例中的电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例性实施例中，首先提供了一种用于执行图像质量评价方法的***架构图。参考图1中所示，***架构100可以包括第一端101、网络102、第二端103。其中，第一端101可以是客户端，例如可以为各种具有拍照功能以及图像展示功能的手持设备(智能手机)、台式计算机、车载设备以及可穿戴设备等等。网络102用以在第一端101和第二端103之间提供通信链路的介质，网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等，在本公开实施例中，第一端101和第二端103之间的网络102可以是有线通信链路，例如可以通过串口连接线提供通信链路，也可以是无线通信链路，通过无线网络提供通信链路。第二端103可以是客户端，例如便携式计算机、台式计算机、智能手机等具有数据处理功能的终端设备，用于输入的图像进行特征提取以及评分处理。其中，当第一端和第二端均为客户端时，二者可以为同一个客户端。

应该理解，图1中的第一端、网络和第二端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、网络和服务器。

需要说明的是，本公开实施例所提供的图像质量评价方法可以完全由第二端或第一端执行，也可以部分由第一端执行，部分由第二端执行，此处对图像质量评价方法的执行主体不做特殊限定。相应地，图像质量评价装置可设置于第二端103中或设置于第一端101中。

基于上述***架构，本公开实施例中提供了一种图像质量评价方法，该图像质量评价方法可以应用于对照片、视频或者是图片的质量进行评价和评估的任何场景。接下来，参考图2所示，对本示例性实施例中的图像质量评价方法进行详细说明。详细介绍如下：

在步骤S210中，获取待处理图像，并获取所述待处理图像对应的语义分割图像。

本公开实施例中，待处理图像可以为采用任意摄像头拍摄的图像、或者是从网络上下载的图像、或者是从其它存储设备中获取的图像。待处理图像可以为静态图像或者是处于运动状态的图像等等。待处理图像中可以包括一个或多个对象，例如在拍摄人的图像时，可能会拍摄到人周围的环境，如汽车、树木等，则人、汽车、树木等均为待处理图像中包含的对象。

语义分割图像指的是与待处理图像对应的包括语义信息的图像，可以通过对待处理图像进行语义分割而得到。语义分割指的是将待处理图像中的像素按照图像中表达语义含义的不同进行分组或分割，并且将不同类别标注为不同的颜色。在进行语义分割时，可以将待处理图像直接输入至训练好的语义分割模型，按照图像特征信息在像素级别对所述待处理图像进行语义分割，获取所述语义分割图像。图像特征信息可以用于将待处理图像划分为不同的对象即用于表示像素所属的类别，图像特征信息例如可以包括人物、车辆、建筑物等等。可以按照图像特征信息，将待处理图像的所有像素按照表达含义的不同(图像特征信息)基于进行分组或分割，从而实现像素级别的语义分割，以得到语义分割图像。

本公开实施例中，语义分割模型指的是用于对图像进行语义分割的模型。语义分割是在像素级别上对图像进行分类识别，属于同一类别的像素被归为一类，因此语义分割是从像素级别来理解图像的。例如，可以将属于人的像素都分为第一类，属于建筑物的像素分为第二类，属于车的像素分为第三类，从而识别出图像中的不同类别的对象。本示例性实施例可以通过大量的训练数据以及其对应的类别标签训练一语义分割模型。通过该语义分割模型对待处理图像进行处理，以确定待处理图像中一个或多个对象的类别信息。语义分割模型即可以将待处理图像中的每个像素点分配到某个对象的类别中。对待处理图像进行语义分割，实质上是对待处理图像中包含的每个对象所在的区域进行分割，以识别其对象所在的类别。具体的，在对待处理图像进行语义分割时，可以为待处理图像中的每个像素点指定语义标签，例如道路、天空、人或者建筑物等对象的语义标签，该语义标签可以用于表示待处理图像中一个或多个对象的类别信息。

本公开实施例中，为了增加应用范围，使其能够应用于便捷的移动终端，可以使用轻量级的语义分割模型。具体而言，轻量级的语义分割模型可以包括编码器和解码器；其中，编码器用于对待处理图像进行下采样，得到待处理图像对应的中间特征数据，解码器用于对中间特征数据进行上采样，得到待处理图像中各对象的类别信息。编码器和解码器可以是对称结构，也可以是非对称结构。编码器可以采用卷积神经网络，通过卷积加池化的操作将输入的待处理图像下采样，以从抽象的图像语义的角度提取特征并进行特征学习，而解码器可以通过反卷积等操作逐步恢复待处理图像的细节特征，并在不同尺度上对特征做进一步学习，最终输出和待处理图像分辨率相同的像素分类结果。从编码器到解码器之间，通常存在直接的信息连接，以帮助解码器更好地恢复输出的目标结果的细节。

进一步的，为了在解码过程中保证图像上采样的准确度，同时提高特征学习的深度，解码器可以采用金字塔结构，即通过多个反卷积层的组合设置，将中间特征数据逐步恢复到初始分辨率的图像特征。另外，为了提高了语义分割模型对红外图像的分割和识别能力，还可以在解码器中添加注意力层，使获得的输出结果具有更高的准确性，提高相似图像之间的区分度以及模型的泛化能力。

语义分割模型的训练过程可以包括：将用于训练的图像输入至机器学习模型中，机器学习模型以这些图像的图像特征数据为输入，输出训练图像中对象为哪一类别的分类结果，通过调整模型参数，可以使输出的分类结果越来越接近类别标签，直到模型的准确率达到一定的标准，可以认为训练完成。

为降低语义分割模型的计算复杂度，使其能够部署到不同的应用场景中。在训练语义分割模型时，还可以对其进行网络剪枝、网络量化以及权重共享中的一种或多种。其中，网络剪枝是指对训练完成的神经网络进行压缩处理，以达到减小模型复杂度的目的。网络量化是一种模型加速方法的总称。权重共享是指在模型中设置一部分相同的权重，以达到共享的目的，也是一种简化模型的手段。

语义分割指像素级地识别图像，即标注出图像中每个像素所属的对象类别，进而可以分析出其中的语义信息。在得到训练好的语义分割模型后，可以将待处理图像输入至该训练好的语义分割模型进行图像处理，以从像素级别对待处理图像进行语义分割，标注出待处理图像中每个像素所属的类别，从而得到待处理图像对应的语义分割图像。图3中示出了得到评分信息的示意图，参考图3中所示，图像301即为待处理图像，图像303即为待处理图像的语义分割图像。通过获取语义分割图像，能够更准确地对图像包含的语义进行理解，进而更准确地进行图像预测。

继续参考图2中所示，在步骤S220中，对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息。

本公开实施例中，在得到用于表示待处理图像的语义信息的语义分割图像后，可以根据训练好的机器学习模型对待处理图像以及语义分割图像进行预测处理。具体地，机器学习模型可以为各种合适的且能够用于分类的模型。举例而言，可以为决策树、卷积神经网络模型、线性回归分析模型、支持向量机、随机森林模型中的任意一个，此处以机器学习模型为机器学习模型为例进行说明。训练好的机器学习模型中可以包括语义信息及像素信息，且训练好的机器学习模型为根据样本图像的语义分割图像以及样本图像本身联合训练得到的模型。

为了提高模型的准确性，首先可以对机器学习模型进行训练，以得到训练好的机器学习模型，并将其用于对待处理图像进行评分。可以根据样本图像以及样本图像的评分信息对机器学习模型进行训练，得到训练好的机器学习模型。样本图像的评分信息可以用于表征样本图像的类别标签。

图4中示意性示出了训练模型的示意图，参考图4中所示，主要包括以下步骤：

在步骤S410中，获取所述样本图像。

本公开实施例中，样本图像指的是已经得到评分信息和图像质量的图像。样本图像可以与待处理图像中包含的对象相同或不同，样本图像的场景可以与待处理图像相同或不同，样本图像可以与待处理图像的获取条件相同或不同，例如样本图像属于暗场景图像，待处理图像属于正常场景图像等等。样本图像的数量可以为多个，以用于提升训练的准确性和可靠性。

在步骤S420中，对所述样本图像进行语义分割，得到所述样本图像的样本语义分割图像。

本公开实施例中，在获取到样本图像之后，可以通过训练好的语义分割模型对每一个样本图像进行语义分割，以得到每个样本图像的样本语义分割图像，以通过样本语义分割图像来表示每个样本图像的语义信息。样本语义分割图像用于表示像素级别的识别，对输入的样本图像的每一个像素在输出上都有对应的判断标注，标明这个像素最可能是属于一个什么物体或类别。

在步骤S430中，根据所述样本图像的所述预测评分信息以及所述样本图像的人工标注的评分信息、所述样本语义分割图像，对所述机器学习模型进行训练，以得到所述训练好的机器学习模型。

本公开实施例中，此处的样本图像的评分信息可以用于表征样本图像的类别标签。类别标签指的是人工为样本图像标注的评分信息。类别标签可以为样本图像的真实评分信息，真实评分信息可以为真实分数，具体可以为1-10之间的任意数值，例如1或10等等。在确定真实分数时，可以根据多个等级以及每个等级的权重参数来确定真实分数。多个等级例如可以为第一等级至第十等级，且可以用1分至10分来表示。权重参数指的是多个用户对某一个样本图像进行评分，每一个等级的人数所占总人数的权重。真实评分信息还可以为评分分布图以及评分类型等等。其中，评分分布图指的是每个等级的直方图的分布情况，评分类型指的是美或不美等等。

进一步地，可以结合样本图像以及样本图像的评分信息、样本语义分割图像，来进行模型训练。图5中示意性示出了进行联合训练的流程图，参考图5中所示，可以包括以下步骤：

在步骤S510中，对所述样本图像以及所述样本语义分割图像进行融合，得到融合样本图像。

本公开实施例中，可以将样本图像以及与其对应的样本语义分割图像进行融合，以得到一个融合样本图像。需要说明的是，此处的融合可以包括拼接或者是其它对两个图像组合的方式，本公开实施例中以进行拼接为例进行说明。具体地，样本图像以及样本语义分割图像中均可以包括多个颜色通道。多个颜色通道可以为四个颜色通道，例如可以包括R通道、G通道、B通道以及A通道。基于此，可以按照相同颜色通道对样本图像以及样本语义分割图像进行融合，即可以将样本图像和样本语义分割图像中相同颜色通道的颜色进行融合。进一步地，按照每一个颜色通道对样本图像和样本语义分割图像融合成一个整体的融合样本图像。该融合样本图像中可以包含像素级别上的分类，因此可以全面的进行模型训练。

在步骤S520中，通过所述机器学习模型对所述融合样本图像进行特征提取，以获取图像特征。

本公开实施例中，在得到融合样本图像之后，可以将融合样本图像输入至机器学习模型，以通过机器学习模型的卷积层、池化层、全连接层来提取融合样本图像的图像特征，具体用一个二维的或者是高维的特征数据来表示。

在步骤S530中，将所述图像特征输入至所述机器学习模型确定所述样本图像的所述预测评分信息，并以所述样本图像的人工标注的评分信息为训练目标，对所述机器学习模型的参数进行调整，以获取所述训练好的机器学习模型。

本公开实施例中，在提取融合样本图像的图像特征之后，可以将融合样本图像的特征作为模型的输入，通过机器学习模型的分类器来确定该图像特征的输出结果，该输出结果可以为预测评分信息，即通过机器学习模型自动生成的预测评分信息。该预测评分信息可以与真实评分信息相同或不同，具体根据模型而确定。在此基础上，可以以每个融合样本图像的真实评分信息(即人工标注的评分信息)作为训练目标，对机器学习模型进行参数调整，直至参数收敛为止以及得到的预测评分信息与真实评分信息匹配为止，以得到训练好的机器学习模型。

本公开实施例中，通过原始的样本图像以及样本图像的样本语义分割图像，来对模型进行训练，由于能够在图像级别和像素级别均对样本图像进行分类，从而根据对样本图像的预测评分信息和真实评分信息训练机器学习模型，使得训练好的机器学习模型能同时准确理解样本图像的图像类别以及像素类别，准确理解样本图像的语义信息，避免了相关技术中容易将模型误导成完全基于图像像素分布的模型的问题，使得模型能够理解具有比较抽象的语义内容，提高了训练好的机器学习模型的准确性和全面性，能够实现兼顾像素和语义的预测处理，增加应用范围。

在得到训练好的机器学习模型之后，可以将该训练好的机器学习模型发布至终端或者是服务器等包含处理器的设备，以根据该模型对待处理图像进行预测处理。图6中示意性示出了进行预测处理的示意图，参考图6中所示，主要包括以下步骤：

在步骤S610中，对所述待处理图像以及所述语义分割图像进行融合，得到融合图像。

本公开实施例中，待处理图像和语义分割图像也可以包括多个颜色通道，多个颜色通道依然可以为R通道、G通道、B通道以及A通道。基于此，可以对待处理图像和语义分割图像按照相同颜色通道来进行融合，此处的融合可以为拼接操作。具体地，可以分别按照R通道、G通道、B通道以及A通道对待处理图像和语义分割图像进行融合，以按照每一个颜色通道对待处理图像和语义分割图像融合成一个整体的融合图像。该融合图像中可以包含像素级别上的分类，因此得到的融合图像可以全面的表示待处理图像，提高了准确性，增加了全面性。

在步骤S620中，对所述融合图像进行特征提取得到特征数据。

本公开实施例中在得到融合图像之后，可以将融合图像输入至训练好的机器学习模型，以通过机器学习模型的卷积层、池化层、全连接层来提取融合图像的特征数据。需要说明的是，由于训练好的机器学习模型是通过像素识别以及图像识别训练得到的，其中包含待处理图像的图像信息以及语义信息，因此可以通过训练好的机器学习模型准确理解待处理图像中抽象的语义信息，避免了只能识别像素的局限性以及导致的误识别的问题，能够准确地提取到待处理图像的特征数据。

在步骤S630中，对所述特征数据进行预测处理，以确定所述评分信息。

本公开实施例中，在得到特征数据之后，可以通过训练好的机器学习模型对特征数据进行预测处理，以得到用于表示评分信息的输出结果。本公开实施例中，输出结果的类别可以为预测标签或者是预测概率，具体根据训练好的机器学习模型的类别而不同。基于此，可以基于输出结果的类别确定对待处理数据的识别结果，进而确定待处理图像的美学质量评价结果。

评分信息的表现形式可以包括以下形式中的任意一种：评分分布图、评分类型以及评分分数。具体为哪种表现形式可以根据实际需求或者是参考信息而确定，且每一种参考信息可以对应一个或者是多个表现形式。参考信息可以为应用场景的类型，此处不作特殊限定。例如，在参考信息为A1时，评分信息为评分分布图；在参考信息为A2时，评分信息为评分类型；在参考信息为A3时，评分信息为评分分数。具体地，评分分数具体可以为1-10之间的任意数值，可以根据多个等级以及每个等级的权重参数的加权和来确定评分分数。多个等级例如可以为第一等级至第十等级，且可以用1分至10分来表示。权重参数指的是该待处理图像属于哪一个等级的概率。评分分数是给出图像的美学质量评分，表现为一个连续数值。评分分布图指的是每个等级的直方图等分布情况，例如图像的美学质量分数在第一等级至第十等级(1-10分)的分布直方图。评分类型是指给定一幅图像，输出“好”和“不好”、或者美学质量“高”或“低”、或者是美与不美两个类别等等。并且不同的评分信息可以用不同的标记来分别表示对图像的评价。

美学质量评价用于根据评分信息来确定图像的美丑程度，以便于评价图像的质量，进而提高图像质量。当评分信息为评分分数时，可以认为大于某一个阈值属于美，小于该阈值属于不美的类别，且评分分数越大，则认为质量越高或者是越美。除此之外，可以通过美感分布来描述图像质量，以避免主观因素的影响，提高准确性。将图像的分布作为评价标准，对图像美学质量进行全方位的准确评价。当给定图像后，***能根据训练好的模型给出具有参考意义的美学评价，其评估结果不仅包含具体的评分分数，而且包含评分分数的分布，在现实场景下有比较强的指导意义。能消除图像语义信息对图像质量分类的影响，实现全面、合理和精细的图像质量分类。

再参考图3中所示的得到评分信息的示意图，进行图像美学质量评价的主要过程包括：获取图像301，此处的图像可以用于表示待处理图像；将图像输入至语音分割模型302得到图像301的语义分割图像302；将图像301和语义分割图像303共同输入至机器学习模型304进行联合识别，得到图像301的评分信息305。

本公开实施例提供的技术方案，提出了一种基于图像语义信息的美学质量评估***。将原始像素图像及其对应的前景语义分割信息输入到模型中进行预测，在输入端强调图像的语义信息，使得模型不仅能学习到图像的像素颜色分布来进行评分，也能参考前景语义信息进行抽象意义的美学评价，避免了局限性，提高了全面性和准确性。在引入少量计算资源消耗的条件下，使得机器学习模型同时兼顾像素分布和抽象的语义信息，根据原始图像和语义分割图像来进行图像美学质量评价，减少了资源消耗，提高了效率，从而给出更合理的美学评价分数或分布，提高图像美学质量评估的准确性。

本示例性实施例中，还提供了一种图像质量评价装置，参考图7所示，该装置700可以包括：语义分割模块701，用于获取待处理图像，并获取所述待处理图像对应的语义分割图像；评分确定模块702，用于对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；图像评价模块703，用于根据所述评分信息对所述待处理图像进行美学质量评价。

在本公开的一种示例性实施例中，语义分割模块包括：分割控制模块，用于将所述待处理图像输入至训练好的语义分割模型，按照图像特征信息在像素级别对所述待处理图像进行语义分割，获取所述语义分割图像。

在本公开的一种示例性实施例中，评分确定模块包括：图像融合模块，用于对所述待处理图像以及所述语义分割图像进行融合，得到融合图像；特征提取模块，用于对所述融合图像进行特征提取得到特征数据；特征处理模块，用于对所述特征数据进行预测处理，以确定所述评分信息。

在本公开的一种示例性实施例中，图像融合模块包括：融合控制模块，用于对所述待处理图像以及所述语义分割图像按照相同颜色通道进行融合，以得到所述融合图像。

在本公开的一种示例性实施例中，所述装置还包括：样本预测模块，用于根据机器学习模型对样本图像进行预测得到预测评分信息；模型训练模块，用于基于所述预测评分信息以及所述样本图像的人工标注的评分信息对所述机器学习模型进行训练，得到用于对所述待处理图像以及所述语义分割图像进行预测处理的训练好的机器学习模型。

在本公开的一种示例性实施例中，模型训练模块包括：图像分割模块，用于对所述样本图像进行语义分割，得到所述样本图像的样本语义分割图像；训练控制模块，用于根据所述样本图像的所述预测评分信息以及所述样本图像的人工标注的评分信息、所述样本语义分割图像，对所述机器学习模型进行训练，以得到所述训练好的机器学习模型。

在本公开的一种示例性实施例中，训练控制模块被配置为：对所述样本图像以及所述样本语义分割图像进行融合，得到融合样本图像；通过所述机器学习模型对所述融合样本图像进行特征提取，以获取图像特征；将所述图像特征输入至所述机器学习模型确定所述样本图像的所述预测评分信息，并以所述样本图像的人工标注的评分信息为训练目标，对所述机器学习模型的参数进行调整，以获取所述训练好的机器学习模型。

需要说明的是，上述图像质量评价装置中各模块的具体细节已经在对应的方法中进行了详细阐述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同***组件(包括存储单元820和处理单元810)的总线830以及显示单元840。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图2中所示的步骤：在步骤S210中，获取待处理图像，并获取所述待处理图像对应的语义分割图像；在步骤S220中，对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；在步骤S230中，根据所述评分信息对所述待处理图像进行美学质量评价。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

显示单元840可以为具有显示功能的显示器，以通过该显示器展示由处理单元810执行本示例性实施例中的方法而得到的处理结果。显示器包括但不限于液晶显示器或者是其它显示器。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像质量评价方法，其特征在于，包括：

获取待处理图像，并获取所述待处理图像对应的语义分割图像；

对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；

根据所述评分信息对所述待处理图像进行美学质量评价。

2.根据权利要求1所述的图像质量评价方法，其特征在于，所述获取所述待处理图像对应的语义分割图像，包括：

将所述待处理图像输入至训练好的语义分割模型，按照图像特征信息在像素级别对所述待处理图像进行语义分割，获取所述语义分割图像。

3.根据权利要求1所述的图像质量评价方法，其特征在于，所述对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息，包括：

对所述待处理图像以及所述语义分割图像进行融合，得到融合图像；

对所述融合图像进行特征提取得到特征数据；

对所述特征数据进行预测处理，以确定所述评分信息。

4.根据权利要求3所述的图像质量评价方法，其特征在于，所述对所述待处理图像以及所述语义分割图像进行融合，得到融合图像，包括：

对包括多个颜色通道的所述待处理图像以及所述语义分割图像按照相同颜色通道进行融合，以得到所述融合图像。

5.根据权利要求1所述的图像质量评价方法，其特征在于，所述方法还包括：

根据机器学习模型对样本图像进行预测得到预测评分信息；

基于所述预测评分信息以及所述样本图像的人工标注的评分信息对所述机器学习模型进行训练，得到用于对所述待处理图像以及所述语义分割图像进行预测处理的训练好的机器学习模型。

6.根据权利要求5所述的图像质量评价方法，其特征在于，所述基于所述预测评分信息以及所述样本图像的人工标注的评分信息对所述机器学习模型进行训练，得到用于对所述待处理图像以及所述语义分割图像进行预测处理的训练好的机器学习模型，包括：

对所述样本图像进行语义分割，得到所述样本图像的样本语义分割图像；

根据所述样本图像的所述预测评分信息以及所述样本图像的人工标注的评分信息、所述样本语义分割图像，对所述机器学习模型进行训练，以得到所述训练好的机器学习模型。

7.根据权利要求6所述的图像质量评价方法，其特征在于，所述根据所述样本图像的所述预测评分信息以及所述样本图像的人工标注的评分信息、所述样本语义分割图像，对所述机器学习模型进行训练，以得到所述训练好的机器学习模型，包括：

对所述样本图像以及所述样本语义分割图像进行融合，得到融合样本图像；

通过所述机器学习模型对所述融合样本图像进行特征提取，以获取图像特征；

将所述图像特征输入至所述机器学习模型确定所述样本图像的所述预测评分信息，并以所述样本图像的人工标注的评分信息为训练目标，对所述机器学习模型的参数进行调整，以获取所述训练好的机器学习模型。

8.一种图像质量评价装置，其特征在于，包括：

语义分割模块，用于获取待处理图像，并获取所述待处理图像对应的语义分割图像；

评分确定模块，用于对所述待处理图像以及所述语义分割图像进行预测处理，确定所述待处理图像的评分信息；

图像评价模块，用于根据所述评分信息对所述待处理图像进行美学质量评价。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的图像质量评价方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的图像质量评价方法。

Images