CN114332082B - 清晰度的评价方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明提供一种清晰度的评价方法、装置、电子设备及计算机存储介质，包括基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据；针对每一帧图像的每一人脸，接着确定每一人脸的清晰度初始评价值；接着通过人脸数据，计算得到的人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的该人脸的目标时序列表；清晰度评价时序列表会在每一个新的帧图像更新后，将其进行清晰度预测值计算，确定对应的清晰度预测值；在确定所述人脸的清晰度初始评价值满足预设趋势条件，且在确定目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。通过上述方式能够对连续的多帧图像进行分析，而且能够清晰判定图像的清晰度。

Description

清晰度的评价方法、装置、电子设备及计算机存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种清晰度的评价方法、装置、电子设备及计算机存储介质。

背景技术

随着计算机的快速发展，计算机视觉应用于多种场景中，因此视觉所展示的图像清晰度的检测已然成为重点关注。比如在搜集制作数据集的过程中，需要用清晰度评价算法来评估图像的质量，已过滤掉不合格的图像，或，在人脸检测任务中，有时也需要筛选掉不清晰的人脸区域，来保证后续处理环节的顺利部署。

目前，常通过计算单个图像的交叉像素的灰度差，进而确定灰度差平方，再用均值滤波器对图像进行过滤处理，接着统计计算边缘信息，并根据权值信息及比值得到模糊度评价指标。通过上述方式对单个整幅图像进行清晰度评价分析，只能对单个图像进行分析，而且无法清晰判定图像的清晰度。

发明内容

有鉴于此，本发明实施例提供一种清晰度的评价方法、装置、电子设备及计算机存储介质，以解决现有技术中存在的只能对单个图像进行分析，而且无法清晰判定图像的清晰度的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例示出了一种清晰度的评价方法，所述方法包括：

基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据，所述连续帧的数量为m，m为大于等于1的正整数；

针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值；

基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数；

基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值；

基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件；

若满足，则将所述人脸的清晰度初始评价值作为目标分数；

在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。

可选的，还包括：

若确定所述人脸的清晰度初始评价值不满足预设趋势条件，将所述人脸的清晰度预测值作为目标分数，并执行在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰这一步骤。

可选的，基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的时序列表，包括：

针对所述每一帧图像的每一人脸，将第N帧图像的人脸数据与第N-1帧图像的人脸数据进行交并化IOU计算，得到对应的交并化IOU值；

若所述交并化IOU值满足预设范围，将所述第N帧图像中所述人脸的清晰度初始评价值和第N-1帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第一时序列表，并将所述第一时序列表作为目标时序列表。

可选的，还包括：

若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围时，将所述第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表，其中，N的取值为大于等于3的正整数。

可选的，还包括：

若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围，第N+1帧图像的人脸数据与第N帧图像的人脸数据对应的交并化IOU值满足预设范围时，将所述第N+1帧图像中所述人脸的清晰度初始评价值和第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表。

可选的，还包括：

若所述交并化IOU值满足预设范围，根据所述第N帧图像中所述人脸的人脸区域面积和所述第N-1图像中所述人脸的人脸区域面积，计算对应的面积匹配度；

从匹配列表确定目标面积匹配度，所述匹配列表是基于计算得到的面积匹配度更新得到；

基于所述面积匹配度与目标面积匹配度，确定所述人脸数据中的人脸ID是否存在变化。

可选的，所述基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件，包括：

根据所述目标时序列表中的清晰度初始评价值进行处理，确定对应的趋势因子；

计算第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差；

判断第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差与所述趋势因子的趋势是否一致。

本发明实施例第二方面示出了一种清晰度的评价装置，所述装置包括：

获取模块，用于基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据，所述连续帧的数量为m，m为大于等于1的正整数；

第一计算模块，用于针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值；

确定模块，用于基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数；

第二计算模块，用于基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值；

处理模块，用于基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件；若满足，则将所述人脸的清晰度初始评价值作为目标分数；

评价模块，用于在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。

本发明实施例第三方面示出了一种电子设备，所述电子设备用于运行程序，其中，所述运行程序运行时执行如本发明实施例第一方面示出的清晰度的评价方法。

本发明实施例第四方面示出了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述存储程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面示出的清晰度的评价方法。

基于上述本发明实施例提供的一种清晰度的评价方法、装置、电子设备及计算机存储介质，该方法包括：基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据，所述连续帧的数量为m，m为大于等于1的正整数；针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值；基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数；基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值；基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件；若满足，则将所述人脸的清晰度初始评价值作为目标分数；在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。在本发明实施例中，先确定需要评价的待检测视频中每一帧图像的人脸数据；接着确定每一人脸的清晰度初始评价值；接着通过人脸数据，计算得到的人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的该人脸的目标时序列表；清晰度评价时序列表会在每一个新的帧图像更新后，将其进行清晰度预测值计算，确定对应的清晰度预测值；在确定所述人脸的清晰度初始评价值满足预设趋势条件，且在确定目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。通过上述方式能够对连续的多帧图像进行分析，而且能够清晰判定图像的清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例示出的一种清晰度的评价方法的流程示意图；

图2为本发明实施例示出的确定对应人脸的目标时序列表的流程示意图；

图3为本发明实施例示出的一种清晰度的评价装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明实施例中，在当前的计算机视觉及图像处理领域，很多算法及任务的研究对象已不仅仅针对单幅图像，而越来越多在视频上，或是一组连续的动态图像上研究。而目标的清晰度则是检测图像视频质量的重要评价标准，目前尤其是对视频中特定的感兴趣区域清晰度评价还有一些不足，比如在视频人脸清晰度评价及过滤任务中，对人脸区域清晰度的评价受限于每个人脸的大小，且在以阈值过滤人脸后呈现的效果可能会出现闪烁、不稳定的问题。如何准确评价区域图像或一组连续图像的清晰度，并在评价过程中加入动态信息处理，尽量减少噪声、闪烁等影响，是本发明专利要解决的问题。

由背景技术可知，在很多计算机视觉的应用场景下，图像清晰度评价任务都扮演着非常重要的角色。比如在搜集制作数据集的过程中，需要用清晰度评价算法来评估图像的质量，并过滤掉不合格的图像，获取符合清晰度质量要求的图像；比如在人脸检测任务中，有时也需要筛选掉不清晰的人脸区域，来保证后续处理环节的顺利部署。

当前在图像清晰度判断领域，有很多现有的算法，如Brenner梯度函数，它通过计算相邻像素间灰度差的平方来评价图像清晰度；灰度方差函数，在两个方向上同时用灰度变化作为聚焦评价的依据等。一种用Brenner梯度函数的变式，即计算交叉像素的灰度差的灰度差平方，再用均值滤波器对图像进行过滤处理，接着统计计算边缘信息，并根据权值信息及比值得到模糊度评价指标。另一种通过获取待处理图像的灰度图像，采用sobel算子提取水平和垂直方向的灰度梯度图，以梯度均值为阈值获取两个方向强边缘灰度梯度图，计算边缘点的边缘宽度取最大值或平均值，并进行加权求和获取所述目标图像的边缘宽度，然后再用现有的Laplacian算子计算梯度方差，最终通过特定的比值评价指标来评价图片的清晰度。通过上述方式对单个整幅图像进行清晰度评价分析，只能对单个图像进行分析，而且无法清晰判定图像的清晰度。

在本发明实施例中，先确定需要评价的待检测视频中每一帧图像的人脸数据；接着确定每一人脸的清晰度初始评价值；接着通过人脸数据，计算得到的人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的该人脸的目标时序列表；清晰度评价时序列表会在每一个新的帧图像更新后，将其进行清晰度预测值计算，确定对应的清晰度预测值；在确定所述人脸的清晰度初始评价值满足预设趋势条件，且在确定目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。通过上述方式具备动态连续性，能够对连续的多帧图像进行分析，而且能够清晰判定图像的清晰度，避免出现结果误差或判断结果闪烁的情况。

参见图1，为本发明实施例示出的一种清晰度的评价方法，该方法包括：

步骤S101：基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据。

在步骤S101中，所述连续帧的数量为m，m为大于等于1的正整数。

S101的具体内容：将视频中的一组总帧数为m的连续帧图像按照视频播放顺序进行排序，并依次确定每一帧图像中的每一人脸信息，具体的，确定每一帧图像中每一人脸的人脸数据。

需要说明的是，人脸数据包括所述人脸区域的左上角坐标和右下角坐标，人脸区域，以及所述人脸的标识ID。

人脸区域是指人脸轮廓。

每一人脸都有一个对应特定的标识ID。

每一帧图像上可能会出现多张人脸，也可能出现一张人脸或无人脸的情况。

例如，若第r帧图像A上出现了n个人脸，此时需要获取第r帧图像A所有人脸的人脸信息，并绘制成如下所示。

frame[r]_face：

其中，frame[r]_face是指第r帧图像A上出现的人脸；(x1_min,y1_min)是人脸ID为id_1的所述人脸区域的左上角坐标；(x1_max,y1_max)是人脸ID为id_1的所述人脸区域的右下角坐标；依次类推，(xi_min,yi_min)是人脸ID为id_i的所述人脸区域的左上角坐标；(xi_max,yi_max)是人脸ID为id_i的所述人脸区域的右下角坐标，i可为1,2......,n。

步骤S102：针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值。

S102的具体内容：针对所述每一帧图像的每一人脸，通过所述人脸的所述人脸区域的左上角坐标和右下角坐标代入公式（1），计算所述人脸的人脸区域面积S；利用Canny边缘轮廓检测算法对所述人脸进行处理，确定所述人脸在该帧图像的清晰度初始评价值，具体的，首先，对图像进行灰度化处理，并对灰度图像进行边缘平滑处理；接着，利用非极大抑制算法NMS消除图像的边缘误检问题；然后通过应用双阈值策略来确定图像的边缘边界，也就是先确定在第一阈值范围内的边界，并确定处理后的符合第二阈值的像素点，将符合第一阈值范围内的边界连接与其相连的符合第二阈值的像素点，以防止边界看起来断断续续的，也就是对边界进行跟踪，从而确定该人脸的连通域数量，即清晰度初始评价值，进而得到边缘轮廓检测结果图。

需要说明的是，常通过高斯滤波的方式对灰度图像进行边缘平滑处理，通过高斯滤波使图像的边缘看起来更加平滑。

第一阈值范围和第二阈值均是预先根据实际情况进行设置的。

连通域数量是指该帧图像中所述人脸轮廓中具有相同像素值并且位置相邻的像素点的数量。

公式（1）：

(1)

其中，S为人脸区域面积，xi_min为id_i人脸的左上角x轴坐标，xi_max为id_i人脸的右下角x轴坐标，yi_min为id_i人脸的左上角y轴坐标，yi_max为id_i人脸的右下角y轴坐标。

例如，若第r帧图像A上出现了n个人脸，此时需要获取第r帧图像A所有人脸的人脸信息、人脸区域面积和清晰度初始评价值，并绘制成如下所示。

frame[r]_face：

其中，frame[r]_face是指第r帧图像A上出现的人脸；(x1_min,y1_min)是人脸ID为id_1的所述人脸区域的左上角坐标；(x1_max,y1_max)是人脸ID为id_1的所述人脸区域的右下角坐标；area_1是人脸ID为id_1的人脸区域面积；score_1是人脸ID为id_1的连通域数量，即清晰度初始评价值；依次类推，(xi_min,yi_min)是人脸ID为id_i的所述人脸区域的左上角坐标；(xi_max,yi_max)是人脸ID为id_i的所述人脸区域的右下角坐标，area_i是人脸ID为id_i的人脸区域面积；score_i是人脸ID为id_i的连通域数量，即清晰度初始评价值；i可为1,2......,n。

步骤S103：基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表。

在步骤S103中，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数。

需要说明的是，具体实现步骤S103的过程中，如图2所示，包括以下步骤：

步骤S201：针对所述每一帧图像的每一人脸，将第N帧图像的人脸数据与第N-1帧图像的人脸数据进行交并化（Intersection over Union，IOU）计算，得到对应的交并化IOU值。

在具体实现步骤S201的过程中，针对所述每一帧图像，第一帧除外，即从第二帧图像起进行计算；若当前图像为第N帧图像，则将第N帧图像的人脸数据与第N-1帧图像的人脸数据进行交并化IOU计算，具体的，先基于第N帧和第N-1帧图像的所述人脸数据中所述人脸区域的左上角坐标和右下角坐标计算交集，然后并集通过两帧人脸区域面积的和减去交集部分即为并集，最后确定交集与并集和比，即得到对应的交并化IOU值。

需要说明的是，IOU是指两个区域交集的区域与并集的区域之比值。

步骤S202：判断所述交并化IOU值是否满足预设范围，若确定所述交并化IOU值满足预设范围，执行步骤S203，若确定所述交并化IOU值不满足预设范围，则执行步骤S204。

在具体实现步骤S202的过程中，确定计算得到的交并化IOU值是否处于预设范围内，若确定所述交并化IOU值处于预设范围内，则执行步骤S203，若确定所述交并化IOU值不处于预设范围内，则执行步骤S204。

需要说明的是，预设范围是指预先根据实际情况进行设置的，比如可设置为0到1之间的值。

可选的，由于在未进行存储第一时序列表和第二时序列表均是空的表，且第二时序列表是指在所述人脸不在连续帧图像上出现之后重新设置的表，因此若第N帧图像为第二帧图像时，不论第二帧图像对应的交并化IOU值处于预设范围或是不处于预设范围内，均执行步骤S203。

可选的，若确定所述交并化IOU值满足预设范围，还需要确定同一人脸的追踪匹配id是相同的，因此可根据下述步骤进行确定。

步骤S11：根据所述第N帧图像中所述人脸的人脸区域面积和所述第N-1图像中所述人脸的人脸区域面积，计算对应的面积匹配度。

在具体实现中，将所述第N帧图像中所述人脸的人脸区域面积和所述第N-1图像中所述人脸的人脸区域面积代入公式（2）进行计算，得到对应的面积匹配度A_score_N。

公式（2）：

(2)

其中，A_score_N为第N帧的图像的面积匹配度，max_area为第N帧的图像和第N-1图像的人脸区域面积中大的人脸区域面积；min_area为第N帧的图像和第N-1图像之间人脸区域面积小的人脸区域面积。

步骤S12：从匹配列表确定目标面积匹配度。

在步骤S12中，所述匹配列表是基于计算得到的面积匹配度更新得到的。

在具体实现步骤S12的过程中，利用计算得到的面积匹配度更新匹配列表，将所述匹配列表中所有的人脸区域面积进行比较，从所述匹配列表中选取最小的人脸区域面积作为此时的目标面积匹配度，最佳匹配值。

步骤S13：基于所述面积匹配度与目标面积匹配度，确定所述人脸数据中的人脸ID是否存在变化。

在具体实现步骤S13的过程中，由于当前帧的所述人脸的人脸区域与上一帧的同一人脸的人脸区域一般是重叠或差距不大的，因此判断所述步骤S11计算得到的面积匹配度与目标面积匹配度的差值是否在预设数值内，若计算得到的面积匹配度与目标面积匹配度的差值在预设数值内，确定第N帧图像的所述人脸ID与前N-1帧图像所述人脸ID不存在变化，也就是说，对于同一人脸的追踪匹配id是相同的；若计算得到的面积匹配度与目标面积匹配度的差值不在预设数值内，说明出现同一人脸但id出错的情况，此时基于随机数编码生成新的id，并通过新的id更新id列表idn_scorelist。

需要说明的是，预设数值是预先根据实际情况进行设置的，一般趋近于0。

步骤S203：将所述第N帧图像中所述人脸的清晰度初始评价值和第N-1帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第一时序列表，并将所述第一时序列表作为目标时序列表。

在步骤S203中，第一时序列表是预先设置的，在视频中第一帧图像开始进行清晰度评价之前，第一时序列表为空的列表。

在具体时序步骤S203的过程中，在第一时序列表中加入所述第N帧图像中所述人脸的清晰度初始评价值和第N-1帧图像中所述人脸的清晰度初始评价值，并将其作为目标时序列表，以便后续计算所述人脸的评价值。

可选的，若第N帧图像对应的交并化IOU值满足预设范围，将所述人脸在当前帧图像对应的清晰度初始评价值和上一帧图像对应的清晰度初始评价值添加至第一时序列表中；依次类推，若确定所述m帧图像中每一帧图像，也就是说接下的每一帧图像的交并化IOU值满足预设范围时，均将所述人脸在当前帧图像对应的清晰度初始评价值和上一帧图像对应的清晰度初始评价值添加至第一时序列表中，此时第一时序列表idn_scorelist可如下所示。

[score_1,score_2,…,score_x]

其中，score_1是指第一帧图像对应的清晰度初始评价值，score_2是指第二帧图像对应的清晰度初始评价值，score_x为第x帧图像对应的清晰度初始评价值。

x为所述人脸在当前帧视频片段中连续出现的帧数数量。

需要说明的是，目标时序列表是实时根据不同帧图像中人脸对应的IOU值的变化而变化的。

步骤S204：将所述第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表。

在步骤S204中，第二时序列表也是预先设置的，在视频中第一帧图像开始进行清晰度评价之前，第二时序列表也为空的列表。

如果人脸的追踪匹配断开，则会从当前帧开始重新生成时序列表id_scorelist，即第二时序列表，以便后续不同片段清晰度分析及阈值敏感判断。也就是说如果上一帧图像中没有任何一个人脸frame[m]_face[n]的人脸区域与所述当前人脸对应的人脸区域匹配，则新建一个时序列表，即第二时序列表。在具体实现步骤S204的过程中，将所述人脸在当前帧图像对应的清晰度初始评价值添加至新的时序列表，即第二时序列表中，也就是说，将当前帧对应的清晰度初始评价值score为[score_1]，并将所述第二时序列表作为目标时序列表。

可选的，由于人脸的追踪匹配断开，则会从当前帧开始重新生成时序列表id_scorelist，即第二时序列表，也就是说，此时的图像帧至少为第三帧，因此，N的取值为大于等于3的正整数。

可选的，若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围，第N+1帧图像的人脸数据与第N帧图像的人脸数据对应的交并化IOU值满足预设范围时，将所述第N+1帧图像中所述人脸的清晰度初始评价值和第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表。

综上所述，可以确定目标时序列表用于存储视频中一段连续出现每一帧图像上所述人脸的清晰度初始评价值。

目标时序列表会实时进行更新，每进行下一帧图像的人脸清晰度评价，即重新返回执行步骤S103的过程，目标时序列表就会更新。

步骤S104：基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值。

在具体实现步骤S104的过程中，按照预设规则设置目标时序列表中的每一清晰度初始评价值设置权重，得到预设权重；接着将所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值。

需要说明的是，预设规则是指将目标时序列表idn_scorelist中的倒数q个清晰度初始评价值score的权重是从后往前按照等差数列设置的。

进一步需要说明的是，所有的权重均进行归一化，也就是说，q个权重系数之和为q。

其中，q的取值是依据实际情况设置的，为大于等于1的正整数。

步骤S105：基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件，若满足，执行步骤S106，若确定所述人脸的清晰度初始评价值不满足预设趋势条件，执行步骤S107。

需要说明的是，具体实现步骤S105的过程包括以下步骤：

步骤S21：根据所述目标时序列表中的清晰度初始评价值进行处理，确定对应的趋势因子trend。

在具体实现中，由于人脸清晰度评价指标，它一定程度上通过算法依赖于前p帧t图像所述人脸的的清晰度初始评价值score。具体的，在确定目标时序列表idn_scorelist的长度大于p时，将i目标时序列表dn_scorelist的倒数第p个清晰度初始评价值score起至第N-1个清晰度初始评价值scoreN-1之间每两个相邻的清晰度初始评价值依次进行相减，在将相减得到值之和作为趋势因子trend。

需要说明的是，p的取值是依据实际情况设置的，为大于等于1的正整数。

N为图像的当前帧数字。

步骤S22：计算第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差。

在具体实现步骤S22的过程中，将第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值进行相减，得到第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差。

步骤S23：判断第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差与所述趋势因子的趋势是否一致，若一致，说明所述人脸的清晰度初始评价值满足预设趋势条件，并执行步骤S106，若不一致，说明所述人脸的清晰度初始评价值不满足预设趋势条件，并执行步骤S107。

在具体实现步骤S23的过程中，判断清晰度初始评价值score_x和预测值score_pre的差的趋势和趋势因子trend是否一致，也就是说，判定第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差，与趋势因子是否均为正数，或均为负数；若均为正数，或均为负数，说明一致，即所述人脸的清晰度初始评价值满足预设趋势条件，并执行步骤S106；若一个为正数一个为负数，说明不一致，即所述人脸的清晰度初始评价值不满足预设趋势条件，并执行步骤S107。

步骤S106：将所述人脸的清晰度初始评价值作为目标分数。

在具体实现步骤S106的过程中，确定所述人脸的清晰度初始评价值不存在纠错和调整的情况，以将所述人脸的清晰度初始评价值作为目标分数。

步骤S107：将所述人脸的清晰度预测值作为目标分数。

在具体实现步骤S107的过程中，利用所述人脸的清晰度预测值更新赋值给所述人脸的清晰度初始评价值，即更替所述人脸的清晰度初始评价值，再将更新后的分数，即所述人脸的清晰度预测值作为目标分数。

需要说明的是，实际上有两个时序列表，即第一时序列表或第二时序列表idn_scorelist缓存，一个全部是清晰度初始评价值score，另一个是包含有更新优化的所述人脸的清晰度预测值score，对于最终结果来说，有两个时序列表id_scorelists。

步骤S108：判断所述目标分数是否大于预设阈值，若大于，则执行步骤S109，若小于或等于，则执行步骤S110。

在具体实现步骤S108的过程中，在获得趋势分析和权重滤波，即执行步骤S103至步骤S107后，直接用一个固定的阈值来二分类地评价清晰度指标，确定最终的目标分数与预设阈值的大小，若所述目标分数大于预设阈值，则执行步骤S109，若所述目标分数小于或等于预设阈值，则执行步骤S110。

需要说明的是，预设阈值是技术人员预先根据实际情况进行设置的。

可选的，在获得趋势分析和权重滤波，即执行步骤S103至步骤S107后，有时依然也会出现在预设阈值threshold两边连续跳变的现象，在本例清晰度人脸判别过滤中会直接造成过滤区域时隐时现，俗称“闪烁”的问题。所以在此时可设定一个延迟系数a，如果对于一个所述目标分数score，如果从预设阈值threshold的一侧转变到另一侧，在连续a帧后，才会使得最终评价发生改变，否则评价值则维持原样，除非在所述目标分数score连续跳过阈值的第a+1帧，评价值才会改变，这有效解决了视频图像中清晰度评价的连续性及稳定性，减少闪烁问题。

步骤S109：确定所述人脸在第N帧图像中的评价值为清晰。

在具体实现步骤S109的过程中，则评价该评价值为清晰并返回True。

步骤S110：确定所述人脸在第N帧图像中的评价值为模糊。

在具体实现步骤S110的过程中，则评价该评价值为模糊并返回False。

综上所述，对每一帧图像中的每一人脸均执行步骤S103至步骤S110的过程，并将每一帧图像每一人脸的评价值进行整合，确定每一帧图像的最终结果[[id_1,EVAL], [id_ 2,EVAL],…, [id_n,EVAL]]，其中，[id_1,EVAL]为人脸ID为id_1的评价值EVAL，[id_2, EVAL]为人脸ID为id_2的评价值EVAL，依次类推，[id_n,EVAL]为人脸ID为id_n的评价值EVAL。

在本发明实施例中，先确定需要评价的待检测视频中每一帧图像的人脸数据；接着确定每一人脸的清晰度初始评价值；接着通过人脸数据，计算得到的人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的该人脸的目标时序列表；清晰度评价时序列表会在每一个新的帧图像更新后，将其进行清晰度预测值计算，确定对应的清晰度预测值；在确定所述人脸的清晰度初始评价值满足预设趋势条件，且在确定目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。通过上述方式具备动态连续性，能够对连续的多帧图像进行分析，而且能够清晰判定图像的清晰度，避免出现结果误差或判断结果闪烁的情况。

与上述本发明实施例公开的清晰度的评价方法相对应，本发明实施例还对应公开了一种清晰度的评价装置，如图3所示，所述装置包括：

获取模块301，用于基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据，所述连续帧的数量为m，m为大于等于1的正整数；

第一计算模块302，用于针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值；

确定模块303，用于基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数；

第二计算模块304，用于基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值；

处理模块305，用于基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件；若满足，则将所述人脸的清晰度初始评价值作为目标分数；

评价模块306，用于在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。

需要说明的是，上述本发明实施例公开的清晰度的评价装置中的各个单元具体的原理和执行过程，与上述本发明实施清晰度的评价方法相同，可参见上述本发明实施例公开的清晰度的评价方法中相应的部分，这里不再进行赘述。

在本发明实施例中，先确定需要评价的待检测视频中每一帧图像的人脸数据；接着确定每一人脸的清晰度初始评价值；接着通过人脸数据，计算得到的人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的该人脸的目标时序列表；清晰度评价时序列表会在每一个新的帧图像更新后，将其进行清晰度预测值计算，确定对应的清晰度预测值；在确定所述人脸的清晰度初始评价值满足预设趋势条件，且在确定目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。通过上述方式具备动态连续性，能够对连续的多帧图像进行分析，而且能够清晰判定图像的清晰度，避免出现结果误差或判断结果闪烁的情况。

可选的，基于上述本发明实施例示出的清晰度的评价装置，所述处理模块305，还用于：若确定所述人脸的清晰度初始评价值不满足预设趋势条件，将所述人脸的清晰度预测值作为目标分数。

可选的，基于上述本发明实施例示出的清晰度的评价装置，确定模块303，具体用于：针对所述每一帧图像的每一人脸，将第N帧图像的人脸数据与第N-1帧图像的人脸数据进行交并化IOU计算，得到对应的交并化IOU值；若所述交并化IOU值满足预设范围，将所述第N帧图像中所述人脸的清晰度初始评价值和第N-1帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第一时序列表，并将所述第一时序列表作为目标时序列表。

可选的，所述确定模块303，还用于：若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围时，将所述第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表，其中，N的取值为大于等于3的正整数。

可选的，所述确定模块303，还用于：若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围，第N+1帧图像的人脸数据与第N帧图像的人脸数据对应的交并化IOU值满足预设范围时，将所述第N+1帧图像中所述人脸的清晰度初始评价值和第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表。

可选的，基于上述本发明实施例示出的清晰度的评价装置，还包括：判定模块。

所述判定模块，用于若所述交并化IOU值满足预设范围，根据所述第N帧图像中所述人脸的人脸区域面积和所述第N-1图像中所述人脸的人脸区域面积，计算对应的面积匹配度；从匹配列表确定目标面积匹配度，所述匹配列表是基于计算得到的面积匹配度更新得到；基于所述面积匹配度与目标面积匹配度，确定所述人脸数据中的人脸ID是否存在变化。

可选的，基于上述本发明实施例示出的清晰度的评价装置，基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件的处理模块，用于：根据所述目标时序列表中的清晰度初始评价值进行处理，确定对应的趋势因子；计算第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差；判断第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差与所述趋势因子的趋势是否一致。

本发明实施例还公开了一种电子设备，该电子设备用于运行数据库存储过程，其中，所述运行数据库存储过程时执行上述图1和图2公开的一种清晰度的评价方法。

本发明实施例还公开了一种计算机存储介质，所述存储介质包括存储数据库存储过程，其中，在所述数据库存储过程运行时控制所述存储介质所在设备执行上述图1和图2公开的一种清晰度的评价方法。

在本公开的上下文中，计算机存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种清晰度的评价方法，其特征在于，所述方法包括：

基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据，所述连续帧的数量为m，m为大于等于1的正整数；

针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值；

基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数；

基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值；

基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件；所述预设趋势条件为所述人脸的清晰度初始评价值与所述清晰度预测值的变化趋势一致；

若满足，则将所述人脸的清晰度初始评价值作为目标分数；

在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。

2.根据权利要求1所述的方法，其特征在于，还包括：

若确定所述人脸的清晰度初始评价值不满足预设趋势条件，将所述人脸的清晰度预测值作为目标分数，并执行在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰这一步骤。

3.根据权利要求1所述的方法，其特征在于，基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，包括：

针对所述每一帧图像的每一人脸，将第N帧图像的人脸数据与第N-1帧图像的人脸数据进行交并化IOU计算，得到对应的交并化IOU值；

若所述交并化IOU值满足预设范围，将所述第N帧图像中所述人脸的清晰度初始评价值和第N-1帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第一时序列表，并将所述第一时序列表作为目标时序列表。

4.根据权利要求3所述的方法，其特征在于，还包括：

若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围时，将所述第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表，其中，此时N的取值为大于等于3的正整数。

5.根据权利要求3所述的方法，其特征在于，还包括：

若确定第N帧图像的人脸数据与第N-1帧图像的人脸数据对应的交并化IOU值不满足预设范围，第N+1帧图像的人脸数据与第N帧图像的人脸数据对应的交并化IOU值满足预设范围时，将所述第N+1帧图像中所述人脸的清晰度初始评价值和第N帧图像中所述人脸的清晰度初始评价值添加至所述人脸的第二时序列表，并将所述第二时序列表作为目标时序列表。

6.根据权利要求3所述的方法，其特征在于，还包括：

若所述交并化IOU值满足预设范围，根据所述第N帧图像中所述人脸的人脸区域面积和所述第N-1帧图像中所述人脸的人脸区域面积，计算对应的面积匹配度；

从匹配列表确定目标面积匹配度，所述匹配列表是基于计算得到的面积匹配度更新得到；

基于所述面积匹配度与目标面积匹配度，确定所述人脸数据中的人脸ID是否存在变化。

7.根据权利要求1所述的方法，其特征在于，所述基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件，包括：

根据所述目标时序列表中的清晰度初始评价值进行处理，确定对应的趋势因子；

计算第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差；

判断第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值的差与所述趋势因子的趋势是否一致。

8.一种清晰度的评价装置，其特征在于，所述装置包括：

获取模块，用于基于待检测视频中一组连续帧图像，确定每一帧图像的每一人脸的人脸数据，所述连续帧的数量为m，m为大于等于1的正整数；

第一计算模块，用于针对所述每一帧图像的每一人脸，基于所述人脸数据计算人脸区域面积和清晰度初始评价值；

确定模块，用于基于所述人脸的人脸数据，人脸区域面积以及对应的清晰度初始评价值进行处理，确定对应的所述人脸的目标时序列表，所述人脸的目标时序列表至少包括第N帧图像中所述人脸的清晰度初始评价值以及前N帧图像中所述人脸的清晰度初始评价值，N为当前帧图像，N的取值为大于等于2的正整数；

第二计算模块，用于基于所述目标时序列表中的清晰度初始评价值与所述清晰度初始评价值对应的预设权重进行计算，得到与第N帧图像中所述人脸的清晰度初始评价值对应的清晰度预测值；

处理模块，用于基于所述目标时序列表、所述第N帧图像中所述人脸的清晰度初始评价值和所述清晰度预测值，确定所述人脸的清晰度初始评价值是否满足预设趋势条件；若满足，则将所述人脸的清晰度初始评价值作为目标分数；所述预设趋势条件为所述人脸的清晰度初始评价值与所述清晰度预测值的变化趋势一致；

评价模块，用于在确定所述目标分数大于预设阈值时，确定所述人脸在第N帧图像中的评价值为清晰。

9.一种电子设备，其特征在于，所述电子设备用于运行程序，其中，所述运行程序运行时执行如权利要求1-7中任一所述的清晰度的评价方法。

10.一种计算机存储介质，其特征在于，所述存储介质包括存储程序，其中，在所述存储程序运行时控制所述存储介质所在设备执行如权利要求1-7中任一所述的清晰度的评价方法。

Images