CN110782445A - 无参考图像质量评价方法及*** - Google Patents

Abstract

本发明提供无参考图像质量评价方法及***，其中方法包括：从数据库中获取待评价失真图像；利用预设修复模型修复所述待评价失真图像获得修复图像；将所述待评价失真图像与所述修复图像的图像差数据，输入至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果。若失真图像的失真程度较大则图像差数据较大，若失真图像的失真程度较小则图像差数据较小。将图像差数据输入至预设评价网络模型，从而获得失真图像的图像质量评价结果。本发明无需手工选取统计特征来识别失真图像，也无需得知失真图像的失真类型，通过模拟人类视觉***的处理操作，可以获得准确有效地图像质量评价结果。

Description

无参考图像质量评价方法及***

技术领域

本发明涉及通信技术领域，尤其涉及无参考图像质量评价方法及***。

背景技术

图像是人类感知和计算机视觉的重要信息源。由于成像***、传输介质、压缩方式和存储设备等的不完善，不可避免地会造成图像不同程度的失真和降质。在一些图像处理***或视频处理***中，需要了解待处理图像的图像质量，以便作为是否进行后续操作的判断依据，所以评价图像质量具有十分重要的实际应用价值。

目前，图像质量评价(IQA)可分为主观评价和客观评价。主观评价，即多个观测者以主观感受为图像质量评分并获得一图像的平均主观评分(MOS)，主观评价的准确性和实用性较优，但是人工处理效率较低。

客观评价，即模拟人类视觉***对图像质量的感知过程，构建与主观评价尽可能一致的自动图像质量评价算法。根据图像质量评价过程中有无原始图像作为参考，可将图像质量评价分为全参考图像质量评价(FR-IQA)、半参考图像质量评价(RR-IQA)和无参考图像质量评价(NR-IQA)。

目前在实际应用场景中进行图像质量评价时通常无法获得原始参考图像，而无参考图像质量评价可以在原始参考图像缺失情况下仍能做出图像质量评价，与实际应用场景相符，因此是当今研究的重点。

传统无参考图像质量评价的思路为基于失真图像与原始参考图像(即未失真图像)的某些统计特征会存在差异，因此可以手工寻找统计特征，并根据这些统计特征训练模型以基于训练后模型来计算评价结果。但在实际场景中图像的失真类型***，通常多种失真类型同时存在，手工寻找统计特征无疑是非常困难的。

目前，一些方案提出使用深度神经网络DNN实现无参考图像质量评价。主要原理为基于标注数据来训练DNN，以便DNN学***均主观评分(MOS)的映射，后续使用训练后DNN来计算图像质量评价。

但是，DNN在面对未知类型的失真图像时效果不佳。目前公开的IQA标注数据集的数量有限，仅包含几种特定的失真类型(例如高斯白噪声，高斯模糊，JPEG压缩失真等)。因此，用这些标注数据训练得到的DNN在面对实际场景中未知失真类型的图像时，很难取得令人满意的效果。

发明内容

鉴于此，本发明提出一种无参考图像质量评价方法及***。本方法无需手工选取统计特征且能有效应对未知失真类型的失真图像，并获得较为准确有效地图像质量评价结果。

为了实现上述目的，本申请提供了下述技术特征：

一种无参考图像质量评价方法，所述方法包括：

从数据库中获取待评价失真图像；

利用预设修复模型修复所述待评价失真图像获得修复图像；

将所述待评价失真图像与所述修复图像的图像差数据，输入至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果；

其中，所述待评价失真图像的图像质量评价结果用于后续处理操作的判断依据。

可选的，所述修复所述待评价失真图像获得修复图像，包括：

在所述预设修复模型为训练后修复网络模型的情况下，输入所述待评价失真图像至训练后修复网络模型，获得训练后的修复网络型输出的修复图像；或，

在所述预设修复模型为训练后的变分自编码器的情况下，输入所述待评价失真图像至训练后的变分自编码器，获得所述训练后的变分自编码器输出的修复图像。

可选的，在所述预设修复模型为训练后修复网络模型的情况下，在从数据库中获取待评价失真图像之前，还包括：存储训练后修复网络模型；

在所述预设修复模型为训练后的变分自编码器的情况下，在从数据库中获取待评价失真图像之前，还包括：存储训练后的变分自编码器；

其中，训练后修复网络模型的训练过程包括：

初始化修复网络模型和判别网络模型；其中所述判别网络模型用于协助训练修复网络模型；

采用对抗方式交替训练修复网络模型和判别网络模型，以使得修复网络模型输出的修复图像不断接近原始参考图像；

在达到训练结束条件之后获得训练后修复网络模型。

可选的，所述采用对抗方式交替训练所述修复网络模型和所述判别网络模型，包括：

在修复网络模型暂时不变的情况下，获取修复网络模型修复失真图像后输出的修复图像和失真图像对应的原始参考图像，添加该组由修复图像和原始参考图像组成的样本至判别网络的训练样本集，所述训练样本集还包括多组由两个相同原始参考图像组成的样本；基于判别网络模型的训练样本集训练判别网络模型，以使得判别网络模型具备对与原始参考图像相似度高的修复图像赋予较高评分、与原始参考图像相似度低的修复图像赋予较低评分的能力；

在判别网络模型暂时不变的情况下，输入失真图像至修复网络模型并获得修复图像，将修复图像和原始参考图像输入至判别网络模型，并获得判别网络模型反馈的输出概率，基于包括输出概率的参数集调整修复网络模型，以使得修复网络模型输出的修复图像不断接近原始参考图像；

交替执行判别网络模型和修复网络模型的训练过程，直到达到训练结束条件。

可选的，所述基于包括输出概率的参数集调整修复网络模型，包括：

基于参数集计算修复网络模型的损失函数；

按修复网络模型的损失函数调整修复网络模型；

其中，所述参数集还包括：修复图像与原始参考图像之间的像素损失；和/或，模拟人类视觉***确定修复图像与原始参考图像之间感知损失；

其中，在所述参数集包括像素损失、感知损失和输出概率三个参数的情况下，则所述基于参数集计算修复网络模型的损失函数包括：将像素损失、感知损失和输出概率三个参数的加权和，确定为修复网络模型的损失函数。

可选的，在所述从数据库中获取待评价失真图像之前还包括：存储所述预设评价网络模型；

其中，所述预设评价网络模型的训练过程包括：

在所述预设修复模型为训练后修复网络模型的情况下，利用失真图像与修复网络模型输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分训练评价网络模型，以使得评价网络模型在训练中学***均主观评分；

或，

在所述预设修复模型为训练后的变分自编码器的情况下，利用失真图像与变分自编码器输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分来训练评价网络模型，以使得评价网络模型在训练中学***均主观评分。

可选的，在应用场景为人脸识别的情况下，所述从数据库中获取待评价失真图像包括：从监控视频流数据库中获取目标视频，从所述目标视频中确定目标人脸图像，将该目标人脸图像作为所述待评价失真图像；或，从监控图像数据库中确定目标人脸图像，将该目标人脸图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则使用所述待评价失真图像用于人脸识别操作；若否，则舍弃所述待评价失真图像；

在应用场景为视频会议的情况下，所述从数据库中获取待评价失真图像包括：从会议视频流数据库中获取目标视频，从所述目标视频中采集目标图像，将该目标图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则确定目前通信质量良好，开启或继续视频会议；若否，则执行动态调整策略，以用于提高通信质量；

在应用场景为视频点播或直播的情况下，所述从数据库中获取待评价失真图像包括：从视频流数据库中获取目标视频，从所述目标视频中采集目标图像，将该目标图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果之后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则确定目前通信质量良好，开启或继续视频点播或直播；若否，则执行动态调整策略，以用于提高通信质量。

一种无参考图像质量评价***，包括：

处理设备，用于从本地数据库或第三方设备的数据库获取待评价失真图像，利用预设修复模型修复所述待评价失真图像获得修复图像；将所述待评价失真图像与所述修复图像的图像差数据，输入至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果；

其中，所述待评价失真图像的图像质量评价结果用于后续处理操作的判断依据。

可选的，所述处理设备，还用于使用所述待评价失真图像的图像质量评价结果，作为后续处理操作的判断依据；或者，

所述处理设备，还用于发送所述待评价失真图像的图像质量评价结果至所述第三方设备，以作为所述第三方设备后续处理操作的判断依据。

一种无参考图像质量评价模型的训练方法，包括：

初始化修复网络模型、判别网络模型和评价网络模型；

采用对抗方式交替训练修复网络模型和判别网络模型，在达到训练结束条件后获得训练后修复网络模型；

利用失真图像与修复网络模型输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分训练评价网络模型，在达到训练结束条件后获得训练后评价网络模型。

通过以上技术手段，可以实现以下有益效果：

经过研究发现：人类视觉***在看到一幅图像时会本能地修复失真图像，以填补一些细节信息获得修复图像，然后再对修复图像进行图像质量评价。

本发明模拟人类视觉***进行图像质量评价，在获得待评价失真图像后不直接使用失真图像，而是会修复失真图像获得修复图像。然后确定失真图像和修复图像的图像差数据。

可以理解的是，若失真图像的失真程度较大则图像差数据较大，若失真图像的失真程度较小则图像差数据较小。将图像差数据输入至预设评价网络模型，从而获得预设评价网络模型输出的失真图像的图像质量评价结果。

本发明中无需手工选取统计特征来识别失真图像，也无需得知失真图像的失真类型，通过模拟人类视觉***的处理操作，可以获得准确有效地图像质量评价结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种无参考图像质量评价方法的流程图；

图2为本申请实施例公开的一种无参考图像质量评价模型的训练方法的流程图；

图3a-3b为本申请实施例公开的又一种无参考图像质量评价模型的训练方法的流程图；

图4a-4b为本申请实施例公开的一种无参考图像质量评价***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明无需手工选取统计特征且能有效应对未知失真类型的失真图像，并获得较为准确有效地图像质量评价结果。下面对本发明进行详细介绍。

本发明的技术人员经过研究发现：人类视觉***具有天然的图像处理功能，人类视觉***在看到一幅图像时会本能地修复失真图像，以填补一些细节信息获得修复图像，然后再对修复图像进行图像质量评价。

为此，本发明提供模拟人类视觉***进行图像质量评价的方案，以获得准确有效地图像质量评价结果。下面对本发明的执行过程进行详细阐述。

本发明提供了一种无参考图像质量评价方法。无参考图像质量评价方法可以应用于处理设备，参见图1，可以包括以下步骤：

步骤S100：存储用于修复失真图像的预设修复模型和用于评价失真图像的预设评价网络模型。

本步骤为可选操作，若预先已经存储预设修复模型和预设评价网络模型便可以不执行本步骤。

步骤S101：从数据库中获取待评价失真图像。

可以理解的是，处理设备可以从本地数据库或第三方设备的数据库，获取待评价失真图像。从数据库中获取待评价失真图像可以具有两种情况：

第一种情况：从视频流中获取待评价失真图像。

在数据库中存储有视频流的情况下，可以从视频流中按照与应用场景对应的筛选条件，确定符合筛选条件的目标图像，将该目标图像作为待评价失真图像。

第二种情况：从多个图像中获取待评价失真图像。

在数据库中存储有多个图像的情况下，可以从多个图像中按照与应用场景对应的筛选条件，确定符合筛选条件的目标图像，将该目标图像作为待评价失真图像。

其中，上述两种情况中的筛选条件可以根据实际应用场景而设定，对此不做限定。

步骤S102：利用预设修复模型修复所述待评价失真图像获得修复图像。

本步骤可以分为两种实现方式：

第一种实现方式：预设修复模型为训练后修复网络模型。

在所述预设修复模型为训练后修复网络模型的情况下，输入所述待评价失真图像至训练后修复网络模型，获得训练后的修复网络型输出的修复图像。训练后修复网络模型是本发明为了提高修复图像的准确率所设计的一种数据模型，训练后修复网络模型的输入为失真图像、输出为修复图像，修复图像与原始参考图像的相似度较高。

关于训练后修复网络模型详见图2所示的实施例。在此暂不详细描述。

第二种实现方式：预设修复模型为训练后变分自编码器。

在所述预设修复模型为训练后的变分自编码器的情况下，输入所述待评价失真图像至训练后的变分自编码器，获得所述训练后的变分自编码器输出的修复图像。预先可以基于失真图像和原始参考图像对变分自编码器进行训练，从而获得训练后变分自编码器。训练后变分自编码器可以修复失真图像获得修复图像。

可以理解的是，第一种实现方式中训练后修复网络模型的修复效果，优于第二种实现方式中训练后变分自编码器的修复效果。

步骤S103：将所述待评价失真图像与所述修复图像的图像差数据，输入至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果；其中，所述待评价失真图像的图像质量评价结果用于后续处理操作的判断依据。

本步骤中预设评价网络模型的训练过程与步骤S102相对应，也可以包括两种实现方式：

在所述预设修复模型为训练后修复网络模型的情况下，利用失真图像与修复网络模型输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分训练评价网络模型，以使得评价网络模型对修复网络模型输出的修复图像评价结果，不断接***均主观评分；

对应的，可以使用此方式训练后的评价网络模型作为预设评价网络模型，接收图像差数据，并在经过计算后输出图像质量评价结果。

或，

在所述预设修复模型为训练后的变分自编码器的情况下，利用失真图像与变分自编码器输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分来训练评价网络模型，以使得评价网络模型对变分自编码器输出的修复图像评价结果，不断接***均主观评分。

对应的，可以使用此方式训练后的评价网络模型作为预设评价网络模型，接收图像差数据，并在经过计算后输出图像质量评价结果。

可以理解的是，在待评价失真图像的失真程度越大的情况下，对待评价失真图像的修复越多，待评价失真图像与所述修复图像的图像差数据越大，对应的图像质量评价结果越小。

在待评价失真图像的失真程度越小的情况下，对待评价失真图像的修复越少，待评价失真图像与所述修复图像的图像差数据越小，对应的图像质量评价结果越大。

输入图像差数据至预设评价网络模型，经过预设评价网络模型计算后，便可以输出待评价失真图像的图像质量评价结果。

在实际应用过程中，依据预设评价网络模型的计算方式不同，预设评价网络模型除了图像差数据外还可以包括其它输入参数，例如待评价失真图像等，在此不再赘述。

在步骤S103后处理设备还可以执行后续操作：

步骤S1041：处理设备使用所述待评价失真图像的图像质量评价结果，作为后续处理操作的判断依据；或者，

步骤S1042：发送所述待评价失真图像的图像质量评价结果至第三方设备，以作为第三方设备后续处理操作的判断依据。

处理设备采用步骤S1041还是步骤S1042，可以根据实际的应用场景而定，在此不做限定。

通过以上技术手段，可以实现以下有益效果：

经过研究发现：人类视觉***在看到一幅图像时会本能地修复失真图像，以填补一些细节信息获得修复图像，然后再对修复图像进行图像质量评价，以获得准确有效地图像质量评价结果。

本发明模拟人类视觉***进行图像质量评价，在获得待评价失真图像后不直接使用失真图像，而是会修复失真图像获得修复图像。然后确定失真图像和修复图像的图像差数据。

可以理解的是，若失真图像的失真程度较大(即图像质量评价低)则图像差数据较大，若失真图像的失真程度较小(即图像质量评价低)则图像差数据较小。将图像差数据输入至预设评价网络模型，从而获得预设评价网络模型输出的失真图像的图像质量评价结果。

本发明无需手工选取统计特征来识别失真图像，也无需得知失真图像的失真类型，而是通过模拟人类视觉***对失真图像进行修复，基于修复图像与失真图像的图像差数据，来获得准确有效地图像质量评价结果。

由于步骤102的第一种实现方式中的训练后修复网络模型是本发明为了提高修复图像的准确率所设计的一种数据模型，训练后修复网络模型的输入为失真图像、输出为修复图像，修复图像与原始参考图像的相似度较高。即，训练后的修复网络模型具有较高的修复效果。为此，提供一种无参考图像质量评价方法的优选的实现方式：

在图1实施例的基础上，步骤S100中预先存储的是训练后的修复网络模型，和，基于修复网络模型获得的评价网络模型；在步骤S102中采用训练后的修复网络模型来修复待评价失真图像并获得修复图像；在步骤S103中基于修复网络模型获得的评价网络模型，接收图像差数据并输出待评价图像的图像质量评价结果。步骤S1041和步骤S1042与图1一致。

下面介绍训练后修复网络模型和基于修复网络模型获得评价网络模型的训练过程，以阐述训练后修复网络模型和评价网络模型的能够实现更准确的图像质量评价结果的原理。

参见图2，本发明提供了一种无参考图像质量评价模型的训练方法，包括：

步骤S200：构建失真图像集和参考图像集。

失真图像集B_dist中包括多个失真图像I_dist和失真图像对应的平均主观评分S，参考图像集B_ref包括多个与失真图像I_dist对应的原始参考图像I_ref。

步骤S201：初始化修复网络模型、判别网络模型和评价网络模型。

初始化修复网络模型R_θ，其中，修复网络模型用于修复失真图像获得修复图像，其输入为失真图像，输出为修复图像。

初始化判别网络模型其中，判别网络模型用于判断修复图像能否被看作原始参考图像。为了量化这个判断，判别网络的输出为一个概率，即修复图像(第一图像)可以被看作原始参考图像(第二图像)的概率。

换句话说，训练判别网络模型的目的是为了让判别网络模型学会给区分出第一图像为原始参考图像还是修复图像，以便给原始参考图像赋予最高概率，基于修复图像的修复过程赋予不同评分，训练几次后判别网络模型便具备可以对与原始参考图像相似度高的修复图像赋予较高评分，对与原始参考图像相似度低的修复图像赋予较低评分的能力。

初始化评价网络模型E_ω，其中，评价网络模型的输入包括失真图像与修复网络模型修复失真图像后得到的修复图像的图像差数据，输出为失真图像的图像质量评价结果。评价网络模型的作用是对失真图像的失真程度进行评分。

步骤S202：采用对抗方式交替训练修复网络模型和判别网络模型，以使得修复网络模型输出的修复图像不断接近原始参考图像。

对抗方式的基本原理为：修复网络模型修复失真图像获得修复图像，训练判别网络模型用于判断修复网络模型的修复效果，修复网络模型再基于判断网络模型确定的修复效果改善修复网络模型，以便修复网络模型可以更加完善的修复失真图像，同时，判别网络模型也在不断提升判断标准，以更加准确的确定修复网络模型的修复效果。

步骤S202可以采用如下步骤执行训练操作：

S1：在修复网络模型暂时不变的情况下，获取修复网络模型修复失真图像后输出的修复图像和失真图像对应的原始参考图像，添加该组由修复图像和原始参考图像组成的样本至判别网络的训练样本集，所述训练样本集还包括多组由两个相同原始参考图像组成的样本；基于判别网络模型的训练样本集训练判别网络模型，以使得判别网络模型具备对与原始参考图像相似度高的修复图像赋予较高评分、与原始参考图像相似度低的修复图像赋予较低评分的能力。

S2：在判别网络模型暂时不变的情况下，输入失真图像至修复网络模型并获得修复图像，将修复图像和原始参考图像输入至判别网络模型，并获得判别网络模型反馈的输出概率，基于包括输出概率的参数集调整修复网络模型，以使得修复网络模型输出的修复图像不断接近原始参考图像。

其中，所述基于包括输出概率的参数集调整修复网络模型，包括：基于参数集计算修复网络模型的损失函数；按修复网络模型的损失函数调整修复网络模型；

其中，所述参数集还包括：修复图像与原始参考图像之间的像素损失；和/或，模拟人类视觉***确定修复图像与原始参考图像之间感知损失；

其中，在所述参数集包括像素损失、感知损失和输出概率三个参数的情况下，则所述基于参数集计算修复网络模型的损失函数包括：将像素损失、感知损失和输出概率三个参数的加权和，确定为修复网络模型的损失函数。

S3：交替执行判别网络模型和修复网络模型的训练过程，直到达到训练结束条件。

步骤S203：利用失真图像与修复网络模型输出的修复图像的图像差数据，以及失真图像对应的平均主观评分训练评价网络模型，以使得评价网络模型在训练中学***均主观评分。

关于步骤S1～S3的具体实现，详见图3所示的训练过程的具体实施例。

步骤S203：利用失真图像与修复网络模型输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分训练评价网络模型，以使得评价网络模型对修复网络模型输出的修复图像评价结果，不断接***均主观评分。

参见图3a和3b，下面以一个具体实例，对训练后修复网络模型和评价网络模型的具体训练过程进行详细描述：

步骤S301：确定修复网络模型的训练样本集和用于评价网络模型的训练样本集。

从失真图像集中B_dist随机抽取m个样本，

并找出每个样本对应的原始参考图像

一个失真图像和对应的原始参考图像为一组样本，多组样本可组成修复网络模型的训练样本集。

评价网络模型的训练样本集包括修复网络模型的训练样本集中的m个失真图像，以及，m个失真图像的平均主观评分Sⁱ,i＝1,2,…,m。

步骤S302：确定判别网络模型的训练样本集。

从原始参考图像集B_ref中随机抽取m个样本，

两个相同的原始参考图像为一组样本。

在修复网络模型暂时不变的情况下，获取修复网络模型修复失真图像后输出的修复图像和失真图像对应的原始参考图像，获得多组由修复图像和原始参考图像组成的样本。

构建判别网络模型的训练样本集，所述训练样本集包括多组由两个相同原始参考图像组成的样本，以及，由多组由修复图像和原始参考图像组成的样本。

步骤S303：基于判别网络模型的训练样本集训练判别网络模型。

在训练样本集中随机选择一组或多组样本，输入至判别网络模型中。然后，判别网络模型会计算损失函数，以利用损失函数来调整判别网络模型的可训练参数，以便判别网络模型可以更加完善。

所述判别网络模型的损失函数包括：

在判别网络模型的输入为两个相同原始参考图像情况下，损失函数

为第一损失函数

在判别网络模型的输入为修复图像和原始参考图像的情况下，损失函数

为第二损失函数

其中，θ为修复网络模型的可训练参数，

为判别网络模型的可训练参数，B_dist表示随机抽取的失真图像样本集，R_θ表示修复网络模型，

表示判别网络模型，I_ref代表原始参考图像，I_dist代表失真图像，B_ref表示随机抽取的原始参考图像样本集，m为样本集的样本个数；i，j分别表示m个样本集中任一个样本。

在更新判别网络模型D_φ参数时可以采用公式如下：φ：＝φ-α▽_φL_D。其中，▽_φL_D代表判别网络模型的损失函数L_D对于参数φ的梯度，α代表学习率。当然还可以采用其它方式来调整判别网络模型的可训练参数，在此不再一一列举。

步骤S304：基于修复网络模型的训练样本集训练修复网络模型。

在训练样本集中随机选择一组样本，输入至修复网络模型中。然后，修复网络模型会计算损失函数，以利用损失函数来调整修复网络模型的可训练参数，以便修复网络模型可以更加完善。

在修复网络模型的损失函数包括像素损失，感知损失和判别网络模型的输出概率的情况下，则修复网络模型的损失函数包括：

λ₁、λ₂和λ₃分别为权重，可以根据具体情况来确定。

其中，修复图像与原始参考图像之间的像素损失L_pix可以包括：

其中，h_i,w_i,c_i分别表示第i个图像的高h，宽w和通道数c，总像素数为hwc；

其中，模拟人类视觉***确定修复图像与原始参考图像之间感知损失L_per包括：

其中，感知损失采用从预设识别图像内容网络模型中提取图像的感知特征向量，

代表预设识别图像内容网络模型某个中间层输出的特征张量，H_j，W_j，C_j分别表示该中间层特征张量的高，宽和层数；

其中，判别网络模型对修复网络模型修复结果的输出概率

可以包括：

更新修复网络模型R_θ网络可训练参数θ，调整公式如下θ＝θ-α▽_θL_R。其中，▽_θL_R代表修复网络模型的损失函数L_R对于参数θ的梯度，α代表学习率。当然还可以采用其它方式来调整判别网络模型的可训练参数，在此不再一一列举。

步骤S305：基于评价网络模型的训练样本集训练评价网络模型。

在步骤S4的基础上，确定失真图像和修复图像的图像差数据

以及，从训练样本集中确定失真图像对应的平均主观评分。

输入

和平均主观评分sⁱ至评价网络模型中。然后，评价网络模型会计算损失函数，以利用损失函数来调整评价网络模型的可训练参数，以便评价网络模型可以更加完善。

评价网络模型的损失函数L_E(ω)可以包括：

在计算评价网络模型的损失函数后，更新评价网络模型E_ω的可训练参数ω＝ω-α▽_ωL_E。其中，▽_ωL_E代表评价网络模型的损失函数L_E对于参数ω的梯度，α代表学习率。当然还可以采用其它方式来调整判别网络模型的可训练参数，在此不再一一列举。

步骤S306：重复步骤S301-S305直到满足训练结束条件，获得训练后修复网络模型和评价网络模型。

可以理解的是，训练评价网络模型的过程可以在修复网络模型训练结束后执行，也可以在训练修复网络模型的每个循环中执行。

通过上述训练过程可知：

由于在训练修复网络模型过程中，采用对抗方式来交替训练修复网络模型与判别网络模型，也即，在利用判别网络模型协助训练修复网络模型，所以训练得到的修复网络模型更加准确高效。

评价网络模型在训练过程使用也使用到修复网络模型，因此在修复网络模型更加准确高效后，训练后的评价网络模型也更加准确高效。

参见图4a，本发明提供了一种无参考图像质量评价***，可以包括：

处理设备需要预先获得预设修复模型和预设评价网络模型，可以采用下述两种方式：

第一方式：

处理设备执行训练操作，获得用于修复失真图像所需的预设修复模型，以及，用于评价修复图像的预设评价网络模型，并存储预设修复模型和预设评价网络模型。

第二方式：

训练设备执行训练操作，获得用于修复失真图像所需的预设修复模型，以及，用于评价修复图像的预设评价网络模型，发送预设修复模型和预设评价网络模型至处理设备，处理设备用于接收并存储预设修复模型和预设评价网络模型。

在线操作过程：

多个客户端，用于在使用过程产生视频流或图像，并发送视频流或图像处理设备；

处理设备，用于接收并存储视频流或图像并存储至本地数据库，从本地数据库获取待评价失真图像，利用预设修复模型修复所述待评价失真图像获得修复图像，输入所述待评价失真图像与所述修复图像的图像差数据至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果；

处理设备，还用于使用所述待评价失真图像的图像质量评价结果，以作为后续处理操作的判断依据。

参见图4b，本发明提供了一种无参考图像质量评价***，可以包括：

处理设备需要预先获得预设修复模型和预设评价网络模型，可以采用下述两种方式：

第一方式：

处理设备执行训练操作，获得用于修复失真图像所需的预设修复模型，以及，用于评价修复图像的预设评价网络模型，并存储预设修复模型和预设评价网络模型。

第二方式：

训练设备执行训练操作，获得用于修复失真图像所需的预设修复模型，以及，用于评价修复图像的预设评价网络模型，发送预设修复模型和预设评价网络模型至处理设备，处理设备用于接收并存储预设修复模型和预设评价网络模型。

在线操作过程：

多个客户端，用于在使用过程产生视频流或图像，并发送视频流或图像第三方设备；

第三方设备，用于接收并存储视频流或图像并存储至本地数据库，从本地数据库获取待评价失真图像，发送待评价失真图像至处理设备(相当于处理设备)；还用于接收所述待评价失真图像的图像质量评价结果，以用于作为后续处理操作的判断依据。

处理设备，用于修复所述待评价失真图像获得修复图像，输入所述待评价失真图像与所述修复图像的图像差数据至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果，发送所述待评价失真图像的图像质量评价结果至第三方设备。

本发明可以用于涉及视频流和图像的质量检测方案，以下述三个应用场景为为例进行进一步说明：

在应用场景为人脸识别的情况下，所述从数据库中获取待评价失真图像包括：从监控视频流数据库中获取目标视频，从所述目标视频中确定目标人脸图像，将该目标人脸图像作为所述待评价失真图像；或，从监控图像数据库中确定目标人脸图像，将该目标人脸图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则使用所述待评价失真图像用于人脸识别操作；若否，则舍弃所述待评价失真图像。

在应用场景为视频会议的情况下，所述从数据库中获取待评价失真图像包括：从会议视频流数据库中获取目标视频，从所述目标视频中采集目标图像，将该目标图像作为所述待评价失真图像。

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则确定目前通信质量良好，开启或继续视频会议；若否，则执行动态调整策略，以用于提高通信质量。

在应用场景为视频点播或直播的情况下，所述从数据库中获取待评价失真图像包括：从视频流数据库中获取目标视频，从所述目标视频中采集目标图像，将该目标图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果之后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则确定目前通信质量良好，开启或继续视频点播或直播；若否，则执行动态调整策略，以用于提高通信质量。

通过上述技术特征可知，本发明具有以下有益效果：

经过研究发现：人类视觉***在看到一幅图像时会本能地修复失真图像，以填补一些细节信息获得修复图像，然后再对修复图像进行图像质量评价。

本发明模拟人类视觉***进行图像质量评价，在获得待评价失真图像后不直接使用失真图像，而是会修复失真图像获得修复图像。然后确定失真图像和修复图像的图像差数据。

可以理解的是，若失真图像的失真程度较大则图像差数据较大，若失真图像的失真程度较小则图像差数据较小。将失真图像和图像差数据输入至预设评价网络模型，从而获得预设评价网络模型输出的失真图像的图像质量评价结果。

本发明中无需手工选取统计特征来识别失真图像，也无需得知失真图像的失真类型，通过模拟人类视觉***的处理操作，可以获得准确有效地图像质量评价结果。

关于图4a-4b无参考图像质量评价***的具体视线可以详见图1至图3所示的实施例，在此不再赘述。

本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，处理设备，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种无参考图像质量评价方法，其特征在于，所述方法包括：

从数据库中获取待评价失真图像；

利用预设修复模型修复所述待评价失真图像获得修复图像；

将所述待评价失真图像与所述修复图像的图像差数据，输入至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果；

其中，所述待评价失真图像的图像质量评价结果用于后续处理操作的判断依据。

2.如权利要求1所述的方法，其特征在于，所述修复所述待评价失真图像获得修复图像，包括：

在所述预设修复模型为训练后修复网络模型的情况下，输入所述待评价失真图像至训练后修复网络模型，获得训练后的修复网络型输出的修复图像；或，

在所述预设修复模型为训练后的变分自编码器的情况下，输入所述待评价失真图像至训练后的变分自编码器，获得所述训练后的变分自编码器输出的修复图像。

3.如权利要求2所述的方法，其特征在于，

在所述预设修复模型为训练后修复网络模型的情况下，在从数据库中获取待评价失真图像之前，还包括：存储训练后修复网络模型；

在所述预设修复模型为训练后的变分自编码器的情况下，在从数据库中获取待评价失真图像之前，还包括：存储训练后的变分自编码器；

其中，训练后修复网络模型的训练过程包括：

初始化修复网络模型和判别网络模型；其中所述判别网络模型用于协助训练修复网络模型；

采用对抗方式交替训练修复网络模型和判别网络模型，以使得修复网络模型输出的修复图像不断接近原始参考图像；

在达到训练结束条件之后获得训练后修复网络模型。

4.如权利要求3所述的方法，其特征在于，所述采用对抗方式交替训练所述修复网络模型和所述判别网络模型，包括：

在修复网络模型暂时不变的情况下，获取修复网络模型修复失真图像后输出的修复图像和失真图像对应的原始参考图像，添加该组由修复图像和原始参考图像组成的样本至判别网络的训练样本集，所述训练样本集还包括多组由两个相同原始参考图像组成的样本；基于判别网络模型的训练样本集训练判别网络模型，以使得判别网络模型具备对与原始参考图像相似度高的修复图像赋予较高评分、与原始参考图像相似度低的修复图像赋予较低评分的能力；

在判别网络模型暂时不变的情况下，输入失真图像至修复网络模型并获得修复图像，将修复图像和原始参考图像输入至判别网络模型，并获得判别网络模型反馈的输出概率，基于包括输出概率的参数集调整修复网络模型，以使得修复网络模型输出的修复图像不断接近原始参考图像；

交替执行判别网络模型和修复网络模型的训练过程，直到达到训练结束条件。

5.如权利要求4所述的方法，其特征在于，所述基于包括输出概率的参数集调整修复网络模型，包括：

基于参数集计算修复网络模型的损失函数；

按修复网络模型的损失函数调整修复网络模型；

其中，所述参数集还包括：修复图像与原始参考图像之间的像素损失；和/或，模拟人类视觉***确定修复图像与原始参考图像之间感知损失；

其中，在所述参数集包括像素损失、感知损失和输出概率三个参数的情况下，则所述基于参数集计算修复网络模型的损失函数包括：将像素损失、感知损失和输出概率三个参数的加权和，确定为修复网络模型的损失函数。

6.如权利要求2所述的方法，其特征在于，在所述从数据库中获取待评价失真图像之前还包括：存储所述预设评价网络模型；

其中，所述预设评价网络模型的训练过程包括：

在所述预设修复模型为训练后修复网络模型的情况下，利用失真图像与修复网络模型输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分训练评价网络模型，以使得评价网络模型在训练中学***均主观评分；

或，

在所述预设修复模型为训练后的变分自编码器的情况下，利用失真图像与变分自编码器输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分来训练评价网络模型，以使得评价网络模型在训练中学***均主观评分。

7.如权利要求1所述的方法，其特征在于，

在应用场景为人脸识别的情况下，所述从数据库中获取待评价失真图像包括：从监控视频流数据库中获取目标视频，从所述目标视频中确定目标人脸图像，将该目标人脸图像作为所述待评价失真图像；或，从监控图像数据库中确定目标人脸图像，将该目标人脸图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则使用所述待评价失真图像用于人脸识别操作；若否，则舍弃所述待评价失真图像；

在应用场景为视频会议的情况下，所述从数据库中获取待评价失真图像包括：从会议视频流数据库中获取目标视频，从所述目标视频中采集目标图像，将该目标图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则确定目前通信质量良好，开启或继续视频会议；若否，则执行动态调整策略，以用于提高通信质量；

在应用场景为视频点播或直播的情况下，所述从数据库中获取待评价失真图像包括：从视频流数据库中获取目标视频，从所述目标视频中采集目标图像，将该目标图像作为所述待评价失真图像；

则在所述获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果之后，还包括：

判断所述待评价失真图像的图像质量评价结果是否大于预设阈值；若是，则确定目前通信质量良好，开启或继续视频点播或直播；若否，则执行动态调整策略，以用于提高通信质量。

8.一种无参考图像质量评价***，其特征在于，包括：

处理设备，用于从本地数据库或第三方设备的数据库获取待评价失真图像，利用预设修复模型修复所述待评价失真图像获得修复图像；将所述待评价失真图像与所述修复图像的图像差数据，输入至预设评价网络模型，获得所述预设评价网络模型输出的所述待评价失真图像的图像质量评价结果；

其中，所述待评价失真图像的图像质量评价结果用于后续处理操作的判断依据。

9.如权利要求8所述的***，其特征在于，

所述处理设备，还用于使用所述待评价失真图像的图像质量评价结果，作为后续处理操作的判断依据；或者，

所述处理设备，还用于发送所述待评价失真图像的图像质量评价结果至所述第三方设备，以作为所述第三方设备后续处理操作的判断依据。

10.一种无参考图像质量评价模型的训练方法，其特征在于，包括：

初始化修复网络模型、判别网络模型和评价网络模型；

采用对抗方式交替训练修复网络模型和判别网络模型，在达到训练结束条件后获得训练后修复网络模型；

利用失真图像与修复网络模型输出的修复图像的图像差数据，以及，失真图像对应的平均主观评分训练评价网络模型，在达到训练结束条件后获得训练后评价网络模型。

Images