CN108921023A

CN108921023A - 一种确定低质量人像数据的方法及装置

Info

Publication number: CN108921023A
Application number: CN201810552092.2A
Authority: CN
Inventors: 张志齐
Original assignee: Wuhan Yitu Network Technology Co Ltd; Shanghai Is According To Figure Network Technology Co Ltd
Current assignee: Wuhan Yitu Network Technology Co Ltd; Shanghai Is According To Figure Network Technology Co Ltd; Shanghai Yitu Network Science and Technology Co Ltd
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2018-11-30

Abstract

本发明提供一种确定低质量人像数据的方法及装置，涉及计算机视觉技术领域，方法包括：针对一个目标对象，获取所述目标对象的图像集合；通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，其中，所述人像质量模型是根据已标注图像质量的人像图像确定的；将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较；将相似度小于第一设定阈值的图像确定为所述目标对象的图像质量差的图像。通过本发明实施例中的方法能够快速准确的确定目标对象的图像质量差的图像。

Description

一种确定低质量人像数据的方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种确定低质量人像数据的方法及装置。

背景技术

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，用各种成象***代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。利用机器学习来进行计算机视觉处理是当前的热点。

利用机器学习来进行计算机视觉处理时，需要首先确定训练数据，一般情况下，人像质量评判的模式识别模型的训练数据是怎样的，那么模型本身就可以对怎样的图片进行评判。现有技术中，训练数据中的低质量图片一般通过两种方法获得：1、采用人工标注和算法模型互相迭代的步骤进行，利用人工标注训练算法模型，利用算法模型对数据进行预筛选，如此进行多轮的迭代。2.采用数据增强的方法，对于特定的低质量数据进行图片处理，将高质量的图像变成低质量。

对于方法一，利用人工标注和算法模型互相迭代的方法，这种方法最大的问题无法解决出现概率极低的低质量人像。对于方法二，利用数据增强的方法，这种方法有更强的局限性，即要求该质量维度是可以被增强。

综上所述，现有技术中无法提供一种准确、高效确定低质量人像数据的方法。

发明内容

本发明提供一种确定低质量人像数据的方法及装置，用于解决现有技术中无法提供一种准确、高效确定低质量人像数据的方法的问题。

本发明实施例一种确定低质量人像数据的方法，包括：针对一个目标对象，获取所述目标对象的图像集合；

通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，其中，所述人像质量模型是根据已标注图像质量的人像图像确定的；

将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较；

将相似度小于第一设定阈值的图像确定为所述目标对象的图像质量差的图像。

本发明实施例中，通过获取一个训练数据的图像集合，从图像集合中确定图像质量最好的图像，并根据图像质量最好的图像与其它图像的相似度确定图像质量差的图像。在本发明实施例中，图像质量最好的图像是根据人像质量模型来确定的，人像质量模型是根据已标注图像质量的人像图像确定的，由于质量较好的训练数据比较容易获取，所以该人像质量模型对于确定质量好的图像的结果是可信的。在本发明实施例中，由于获取了图像质量最好的图像，通过该图像质量最好的图像与其它图像的相似度可以得到图像质量差的图像。通过本发明实施例中的方法能够快速准确的确定目标对象的图像质量差的图像。

进一步地，所述将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较，包括：

将所述图像集合中的图像与所述图像质量最好的图像输入人脸识别模型进行相似度比较。

本发明实施例中，通过人脸识别模型确定图像集合中的图像与图像质量最好的图像的相似度，结果能够更准确，且可以认为不论图像的本身清晰度如何，凡是人脸识别模型不能识别的图像，都可以认为是目标对象的图像质量差的图像。

进一步地，所述通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，包括：

将所述目标对象的图像集合中的每一个图像输入到所述人像质量模型，确定所述每一个图像的图像质量以及图像质量的置信度；

将图像质量大于第二设定阈值且图像质量的置信度大于第三设定阈值的图像确定为所述目标对象的图像集合中图像质量最好的图像。

本发明实施例中，可以认为高质量人像的判定在一定阈值内置信度较高，所以为了得到更准确的图像质量最好的图像，所以需要同时确定图像质量是好的且置信度可信的图像为图像质量最好的图像。

进一步地，根据确定的所述目标对象的图像质量差的图像作为训练数据，训练所述人像质量模型。

本发明实施例中，当确定了低质量图像数据后，用这些低质量图像数据来进行训练，完善人像质量模型。

本发明实施例还提供一种确定低质量人像数据的装置，包括：

获取单元，用于针对一个目标对象，获取所述目标对象的图像集合；

质量最好图像确定单元，用于通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，其中，所述人像质量模型是根据已标注图像质量的人像图像确定的；

比较单元，用于将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较；

质量差图像确定单元，用于将相似度小于第一设定阈值的图像确定为所述目标对象的图像质量差的图像。

进一步地，所述比较单元具体用于：

进一步地，所述质量最好图像确定单元具体用于：

进一步地，所述装置还包括：

训练单元，用于根据确定的所述目标对象的图像质量差的图像作为训练数据，训练所述人像质量模型。

本发明实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一所述的方法。

本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例中任一所述方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种确定低质量人像数据的方法的流程示意图；

图2为本发明实施例提供的一种确定低质量人像数据的方法的流程示意图另；

图3为本发明实施例提供的一种确定低质量人像数据的装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种确定低质量人像数据的方法，如图1所述，包括：

步骤101，针对一个目标对象，获取所述目标对象的图像集合；

步骤102，通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，其中，所述人像质量模型是根据已标注图像质量的人像图像确定的；

步骤103，将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较；

步骤104，将相似度小于第一设定阈值的图像确定为所述目标对象的图像质量差的图像。

在步骤101中，目标对象为训练数据中的任一图像，首先需要获取每个图像对应的图像集合。图像集合可以从各个样本库中获得，也可以通过其它方式获取。

可选的，在本发明实施例中，可以通过人像检测以及人像跟踪技术获取到目标对象的轨迹集合。

可选的，在本发明实施例中，由于视频码流传输丢包导致的图像“花屏“，这种低质量人像在大量的视频监控数据中非常稀少，实际出现的比例在万分之一到十万分之一，为了能够获取到这样低概率的低质量人像，目标对象可以为视频帧中的某一帧中某一个人的人像图片，通过人像检测以及人像跟踪技术获得到连续视频帧中的该人像的人像轨迹。

在步骤102中，将获得的图像集合中的人像数据输入到人像质量模型中，并根据人像质量模型的输出结果确定出图像质量最好的图像；在本发明实施例中，人像质量模型是根据已标注图像量的人像图像确定的；由于现有技术中比较容易获得图像质量好的图像，而质量差的人像数据不容易获得，所以可以认为使用的人像质量模型能够确定出质量最好的图像。

在步骤103中，当确定了图像质量最好的图像后，将集合中其它的图像与图像质量最好的图像进行相似度比较，认为相似度高的图像为质量好的图像，而相似度低的图像为质量差的图像。

在本发明实施例中，可以使用SIFT算法来确定两副图像的相似性，也可以使用均值哈希算法来确定两幅图像的相似性。

在步骤104中，设定一个第一设定阈值，当相似度小于第一设定阈值时，可以确定这些图像为目标对象的图像质量差的图像。

可选的，在步骤102中，将所述目标对象的图像集合中的每一个图像输入到所述人像质量模型，确定所述每一个图像的图像质量以及图像质量的置信度；将图像质量大于第二设定阈值且图像质量的置信度大于第三设定阈值的图像确定为所述目标对象的图像集合中图像质量最好的图像。

也就是说，由于人像质量模型是根据若干个已标注图像质量的图像作为训练数据来进行训练的，这些已标注图像质量的图像中高质量的图像较多，而低质量图像较少，所以训练出的人像质量模型中质量高的图像是可以被信任的，进一步地，为了更加准确的确定出质量最好的图像，所以在本发明实施例中，当图像质量大于第二设定阈值时，认为图像质量为高质量，且当图像质量的置信度大于第三设定阈值时，则认为这个高质量图像的结果是可以接受的。

例如，在本发明实施例中，目标对象为图像A，图像A通过人像质量模型确定的图像质量为92％，第二设定阈值为90％，图像A的图像质量大于第二设定阈值，可以认为图像A的质量为质量优的图像；同时，目标图像B、图像C都为质量优的图像；

图像A的置信度为a，图像B的置信度为b，图像C的置信度为c，a的置信度大于第三设定阈值d，则确定图像A为图像质量最好的图像。

在步骤103中，可以将所述图像集合中的图像与所述图像质量最好的图像输入人脸识别模型进行相似度比较。人脸识别模型能够输出两幅图像的相似度，人脸识别模型能够识别出的，就可以认为是相似度高的图像，而人脸识别模型不能识别的，就算是输入的图像清晰度、亮度都是好的，但是由于人脸识别模型不能识别，则认为该图像为质量差的图像。

在本发明实施例中，当确定了图像质量差的图像后，将图像质量差的图像加入到训练数据中，重新训练模型，能够训练出准确率更高的人像质量模型。

为了更好的解释本发明实施例，下面通过具体的实施场景描述本发明实施例提供的一种确定低质量人像数据的方法，来说明本发明实施例能够解决现有技术中无法提供一种准确、高效确定低质量人像数据的方法的问题。如图2所示：

步骤201，从大量视频监控中，通过人像检测和人像跟踪的算法获得大量的人像轨迹t，每个轨迹t由若干个连续的人脸图片构成，t＝(f₁,f₂,…,f_m)，1～m表示的是m个图像上的人脸图片。假设全部视频中有n个人像的轨迹，那么第i个人像的轨迹是t_i＝(f_i1,f_i2,…,f_im)；

步骤202，针对每个轨迹t_i，将t_i输入到人像质量模型，确定出图像质量最好的图像f_ibest，该人像质量模型是通过人为标注少量的人像质量数据训练了一个简单版本的人像质量模型，利用这个模型对每个人脸图片进行预测获取人像质量分数。因为这个模型的训练数据有限，所有认为高质量人像的判定结果的置信度较高，在低质量人像的判定置信度比较低；

步骤203，将所有f_ibest中置信度大于二分之一的图像作为质量最好的图像，若f_ibest的置信度小于二分之一，则丢弃掉这组数据；

步骤204，将f_ibest与图像轨迹中其它人脸图片输入到人脸识别模型，通过人脸识别模型确定每个人脸图片与f_ibest的相似度，将相似度低于20％的图片确定为低质量人脸图片；

步骤205，将确定的低质量人脸图像加入到训练数据中，重新训练人像质量模型。

如上方法中，每个步骤都几乎不消耗大量的人力资源，通过这个方法，我们可以从大量的监控视频中高效的提取出大量的低质量人脸，从而达到我们的目标。

基于同样的构思，本发明实施例还提供一种权限控制装置，如图3所示，包括：

获取单元301，用于针对一个目标对象，获取所述目标对象的图像集合；

质量最好图像确定单元302，用于通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，其中，所述人像质量模型是根据已标注图像质量的人像图像确定的；

比较单元303，用于将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较；

质量差图像确定单元304，用于将相似度小于第一设定阈值的图像确定为所述目标对象的图像质量差的图像。

进一步地，所述质量最好图像确定单元302具体用于：

进一步地，所述装置还包括：

训练单元305，用于根据确定的所述目标对象的图像质量差的图像作为训练数据，训练所述人像质量模型。

基于相同的原理，本发明还提供一种电子设备，如图4所示，包括:

包括处理器401、存储器402、收发机403、总线接口404，其中处理器401、存储器402与收发机403之间通过总线接口404连接；

所述处理器401，用于读取所述存储器402中的程序，执行下列方法：

针对一个目标对象，从收发机403获取所述目标对象的图像集合；

进一步地，所述处理器401具体用于：

进一步地，所述处理器401还用于：

根据确定的所述目标对象的图像质量差的图像作为训练数据，训练所述人像质量模型。

本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一一项确定低质量人像数据的方法。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种确定低质量人像数据的方法，其特征在于，所述方法包括：

针对一个目标对象，获取所述目标对象的图像集合；

2.根据权利要求1所述的方法，其特征在于，所述将所述图像集合中的图像与所述图像质量最好的图像进行相似度比较，包括：

3.根据权利要求1所述的方法，其特征在于，所述通过人像质量模型从所述图像集合中确定出所述目标对象的图像质量最好的图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.一种确定低质量人像数据的装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述比较单元具体用于：

7.根据权利要求5所述的装置，其特征在于，所述质量最好图像确定单元具体用于：

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1～4任一所述方法。