CN110968719B

CN110968719B - 一种人脸聚类方法及装置

Info

Publication number: CN110968719B
Application number: CN201911168668.6A
Authority: CN
Inventors: 沈瑜; 阮学武
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2023-04-18
Anticipated expiration: 2039-11-25
Also published as: CN110968719A

Abstract

本申请提供一种人脸聚类方法及装置，用于提高人脸聚类的准确性。该方法包括：从视频帧中抓拍获得第一抓拍图像，并根据人脸跟踪算法，获得第一抓拍图像的唯一跟踪标识；若在人脸聚类数据库中，存在与第一抓拍图像的唯一跟踪标识相同的所有人脸图像组成的第一参考人脸图像集合，则将第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较；其中，第一参考人脸图像为第一参考人脸图像集合中的人脸质量分数最大的参考人脸图像；若第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，则将第一抓拍图像与第一参考人脸图像集合关联存储，该方法通过结合人脸跟踪算法进行人脸聚类，提高了人脸聚类的准确性。

Description

一种人脸聚类方法及装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种人脸聚类方法及装置。

背景技术

例如在监控安防领域中，可以采用人脸聚类进行建档。人脸聚类可以简单理解为将涉及同类用户的人脸归档在一个档案中，后续可以利用该档案进行调查等。目前人脸聚类过程一般是对视频中每帧中人脸进行人脸特征匹配，找出属于同一用户的人脸。

但是在实时抓拍的过程中，人脸的角度、光线等对人脸特征影像较大，简单进行特征匹配归档容易出现将同一用户的人脸归为多个档案的情况。

发明内容

本申请实施例提供一种人脸聚类方法及装置，用于提高人脸聚类的准确性。

第一方面，提供一种人脸聚类方法，包括：

从视频帧中抓拍获得第一抓拍图像，并根据人脸跟踪算法，获得所述第一抓拍图像的唯一跟踪标识；

若在人脸聚类数据库中，存在与所述第一抓拍图像的唯一跟踪标识相同的所有人脸图像组成的第一参考人脸图像集合，则将所述第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较；其中，所述第一参考人脸图像为所述第一参考人脸图像集合中的人脸质量分数最大的参考人脸图像；

若所述第一抓拍图像的人脸质量分数小于或等于所述第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与所述第一参考人脸图像集合关联存储。

在本申请实施例中，先基于人脸跟踪算法，获得抓拍图像的跟踪标识，并查找与该唯一跟踪标识相同的第一参考人脸图像集合，再将第一抓拍图像的人脸质量分数和人脸质量分数最高的第一参考人脸图像进行比较，再进行归类，由于基于人脸跟踪算法，获得抓拍图像的唯一跟踪标识，可以提高确定跟踪标识的准确性，且后续并不是直接简单地基于唯一跟踪标识进行归档，还会将抓拍图像与第一参考人脸图像进行人脸质量分数进行比较，从而实现更准确地人脸归档。且，相较于直接根据特征匹配进行归档的方式，本申请实施例中基于唯一跟踪标识进行归档的效率相对更高。

在一种可能的实施例中，在将所述第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较之后，包括：

若所述第一抓拍图像的人脸质量分数大于所述第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；其中，所述多个标准人脸图像包括所述人脸聚类数据库中不同人脸所对应的参考人脸图像集合下的标准参考人脸图像；

若所述第一抓拍图像与第一标准参考人脸图像特征匹配成功，则将所述第一抓拍图像和所述第一参考人脸图像集合，均与第一标准参考人脸图像对应的参考人脸图像集合关联存储；其中，所述第一标准参考人脸图像为所述人脸聚类数据库中除了所述第一参考人脸图像集合对应的第二标准参考人脸图像之外标准参考人脸图像。

在本申请实施例中，如果第一抓拍图像的人脸质量分数大于第一参考人脸图像的人脸质量分数，此时可以将第一抓拍图像与人脸数据库中所有人脸对应的标准参考人脸图像进行特征匹配，在特征匹配成功的情况下，将第一抓拍图像与特征匹配成功的标准参考人脸图像进行归类，并调整第一参考人脸图像集合对应的档案，实现对人脸图像集合对应的档案进行准确且及时地调整，提高人脸聚类的准确性。

在一种可能的实施例中，在将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配之后，包括：

若所述第一抓拍图像与所述第二标准参考人脸图像特征匹配成功，则将所述第一抓拍图像与所述第一参考人脸图像集合关联存储。

在本申请实施例中，如果第一抓拍图像与第一参考人脸图像集合中对应的第二标准参考人脸图像特征匹配成功，可以将第一抓拍图像与第一参考人脸图像集合关联存储，实现第一抓拍人脸图像的准确归类。

若所述第一抓拍图像与所述多个标准参考人脸图像均特征匹配失败，则将所述第一抓拍图像和所述第一参考人脸图像集合关联存储，且所述第一抓拍图像作为标准参考人脸图像。

在本申请实施例中，如果第一抓拍图像与多个标准参考人脸图像均特征失败，可以将第一抓拍图像与第一参考人脸图像集合关联存储，并将第一抓拍图像作为标准参考人脸图像，不仅实现第一抓拍人脸图像的准确归类，还能够及时地更新标准参考人脸图像，不断提高标准参考人脸图像的人脸质量，有利于提高后续人脸聚类的准确性。

在一种可能的实施例中，所述方法还包括：

若在人脸聚类数据库中，不存在与所述第一抓拍图像的唯一跟踪标识相同的参考人脸图像，则将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；

若所述第一抓拍图像与第三标准参考人脸图像特征匹配成功，则将所述第一抓拍图像与所述第三标准参考人脸图像对应的参考人脸图像集合关联存储；

若所述第一抓拍图像与所述多个标准参考人脸图像均特征匹配失败，则将所述第一抓拍图像单独存储在所述人脸聚类数据库中。

在一种可能的实施例中，如果不存在与第一抓拍图像的唯一跟踪标识相同的人脸图像，以及特征相近的人脸图像，就可以根据第一抓拍图像单独建立人脸档案。

在一种可能的实施例中，从视频帧中抓拍获得第一抓拍图像，包括：

确定视频帧中所有人脸的人脸质量分数，对预设在时间段内满足预设上报条件的人脸进行抓拍，获得第一抓拍图像；其中，所述预设上报条件包括人脸质量分数满足预存条件。

在本申请实施例中，并不是对所有人脸都进行抓拍，而是选择性抓拍满足一定要求的人脸，以便于后续更准确地对第一抓拍图像对应的特征以及归类等。

第二方面，提供一种人脸聚类装置，包括：

跟踪模块，用于从视频帧中抓拍获得第一抓拍图像，并根据人脸跟踪算法，获得所述第一抓拍图像的唯一跟踪标识；

优选模块，用于若在人脸聚类数据库中，存在与所述第一抓拍图像的唯一跟踪标识相同的所有人脸图像组成的第一参考人脸图像集合，则将所述第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较；其中，所述第一参考人脸图像为所述第一参考人脸图像集合中的人脸质量分数最大的参考人脸图像；

聚类模块，用于若所述第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与所述第一参考人脸图像集合关联存储。

在一种可能的实施例中，所述装置还包括匹配模块，其中：

所述匹配模块，用于将所述第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较之后，若所述第一抓拍图像的人脸质量分数大于第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；其中，所述多个标准人脸图像包括所述人脸聚类数据库中不同人脸所对应的参考人脸图像集合下的标准参考人脸图像；

所述聚类模块，还用于若所述第一抓拍图像与第一标准参考人脸图像特征匹配成功，则将所述第一抓拍图像和所述第一参考人脸图像集合，均与第一标准参考人脸图像对应的参考人脸图像集合关联存储；其中，所述第一标准参考人脸图像为所述人脸聚类数据库中除了所述第一参考人脸图像集合对应的第二标准参考人脸图像之外标准参考人脸图像。

第三方面，提供一种人脸聚类装置，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任一项所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面中任一项所述的方法。

附图说明

图1为本申请实施例提供的一种人脸聚类方法的应用场景图；

图2为本申请实施例提供的一种人脸聚类方法的部分流程示意图；

图3为本申请实施例提供的一种人脸聚类方法的部分流程示意图；

图4为本申请实施例提供的一种人脸聚类装置的结构示意图一；

图5为本申请实施例提供的一种人脸聚类装置的结构示意图二。

具体实施方式

为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。

人脸聚类可以简单理解为将属于一个人或一类人的人脸图像归类在一起，目前一般是采用逐帧图像进行特征对比的方式，确定哪些图像帧属于哪一个人。但是在监控场景下，同一用户在不同的时刻人脸角度等千差万别，当某个用户在两个不同时刻的姿态差别较大的情况下，很容易将该用户的两张图像归为两个用户的图像，这样一来，会导致人脸聚类的准确性较低。

鉴于此，本申请实施例提供一种人脸聚类方法，请参照图1，表示一种应用场景。下面结合图1对该方法的应用场景进行示例说明。

该应用场景中包括人脸聚类装置10，人脸聚类装置10可以通过具有图像处理能力的设备实现。具有图像处理能力的设备例如监控设备，监控设备具体例如摄像头等。具有图像处理能力的设备例如终端设备，终端设备具体例如电脑。具有图像处理能力的设备例如网络设备，网络设备具体例如服务器等。图1中是以人脸聚类装置10为监控设备为例，但是实际上不限制人脸聚类装置10的具体形式。

人脸聚类装置10实时录像，选择性地抓拍一些人脸图像，根据人脸跟踪算法，获得第一抓拍图像的唯一跟踪标识，然后从人脸聚类数据库中确定是否与该唯一跟踪标识相同的人脸，如果存在与该唯一跟踪标识相同的第一参考人脸图像集合，则将第一抓拍图像的人脸质量分数与第一参考人脸图像集合中的人脸质量分数最大的参考人脸图像进行比较，如果第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，则将第一抓拍图像与所述第一参考人脸图像集合关联存储。

本申请实施例中，由于人脸聚类装置10结合人脸跟踪算法，获得第一抓拍图像的唯一跟踪标识，因此可以更准确地确定出各个人脸，且先基于唯一跟踪标识查找人脸聚类数据库，简化后续人脸聚类过程，如果第一抓拍图像的人脸质量分数小于第一参考人脸图像的人脸质量分数，可以将第一抓拍图像与第一参考人脸图像关联存储，从而更加准确地对实时抓拍图像进行归类。

其中，人脸聚类数据库中存储有多个不同人脸对应的参考人脸图像集合，每个参考人脸图像集合可以视为这个人脸对应的一个档案，每个档案会选择一张图像作为标准参考人脸图像，因此，人脸聚类数据库中有多个档案，那么对应就有多个标准参考人脸图像。该标准参考人脸图像可以是对应参考人脸图像集合中人脸质量分数最高的人脸图像，也可以是所有正脸的参考人脸集合中质量分数最高的人脸图像等。

基于图1论述的应用场景，下面对本申请实施例涉及的一种人脸聚类方法，下面对该方法进行介绍。

请参照图2，步骤21，获得第一抓拍图像，以及唯一跟踪标识。

具体的，人脸聚类装置10会实时检测视频帧中的人脸，确定各个人脸的人脸质量分数，人脸聚类装置10可以选择实时抓拍，人脸聚类装置10也可以选择满足预设上报条件的人脸进行抓拍，获得抓拍图像。预设上报条件例如包括人脸质量分数满足预存条件，预设上报条件还可以包括人脸角度为正脸。人脸质量分数满足预存条件例如可以是人脸质量分数最高的人脸，或者人脸质量分数前几位的人脸。

在获得抓拍图像的同时，可以根据人脸跟踪算法，获得该抓拍图像中的人脸所对应的唯一跟踪标识。跟踪算法实质是根据人脸的跟踪轨迹，确定出一个人脸对应的图像，然后基于之前的人脸的唯一跟踪标识，为抓拍图像中的人脸图像标注上唯一跟踪标识。唯一跟踪标识可以理解为用于表征每个人脸的唯一性标识。人脸跟踪算法有很多种，例如角化相关***(Kernelized Correlation Filters，KCF)是通过确定前后帧之间的重叠区域，实现对目标的跟踪。

作为一种实施例，可能视频帧中包括的人脸不止一个，可以对每个人脸分别进行抓拍上报。

本申请实施例中是以一个人脸对应的第一抓拍图像为例进行说明，实际上针对所有人脸的抓拍图像的处理过程均相同。

步骤22，判断人脸聚类数据库中是否存在与唯一跟踪标识相同的参考人脸图像。

具体的，在获得第一抓拍图像之后，需要对第一抓拍图像进行归类，可以根据第一抓拍图像的唯一跟踪标识，在人脸聚类数据库中是否存在与该唯一跟踪标识相同的参考人脸图像，如果有，就可以将这些具有该唯一跟踪标识的所有参考人脸图像作为第一参考人脸图像集合。

步骤23，判断第一抓拍图像的人脸质量分数是否大于第一参考人脸图像的人脸质量分数。

具体的，在获得第一参考人脸图像集合之后，可以确定第一参考人脸图像集合中各个参考人脸图像的人脸质量分数，确定出第一参考人脸图像集合中人脸质量分数最高的第一参考人脸图像，然后将第一参考人脸图像与第一抓拍图像的人脸质量分数进行比较。

下面对确定各个参考人脸图像的人脸质量分数进行示例说明。

一种获得人脸质量分数的方式如下：

根据第一参考人脸图像集合中一参考人脸图像每个部位的中心点，以及标准正脸中对应部位的中心点，确定该参考人脸图像的人脸角度评分；以及，

根据该参考人脸图像中人脸关键点所占像素面积，以及标准正脸所占像素面积，获得该参考人脸图像的人脸面积评分；

对人脸角度评分，以及人脸面积评分进行加权，获得该参考人脸图像中的人脸质量分数。

具体的，人脸聚类装置10可以确定该参考人脸图像中人脸的每个部位的中心点，部位可以包括人脸包括的五官。人脸聚类装置10中存储有标准正脸对应部位的中心点，根据人脸的实际中心点与标准的中心点，确定该参考人脸图像的人脸角度评分。例如可以计算人脸的实际中心点和标准的中心点之间的距离差，以该距离差除以预设距离值作为该参考人脸图像的人脸角度评分。

作为一种实施例，在检测到人脸之后，可以先确定人脸属于哪类脸型，选取与人脸的脸型所对应的标准正脸。不同的脸型采用不同的标准正脸，可以获得该参考人脸图像的人脸角度评分。

作为一种实施例，人脸聚类装置10还可以确定该参考人脸图像中第一人脸关键点的像素点面积，以及标准正脸的像素点面积，利用像素面积之比，获得人脸面积评分。关键点可以理解为人脸中五官所对应的像素点。

作为一种实施例，对人脸角度评分以及人脸面积评分进行加权，获得一帧图像中的人脸质量分数，人脸角度评分以及人脸面积评分的权重可以预先设定。

本申请实施例中，在确定人脸质量分数时，不仅考虑了关键点占用的像素面积，还考虑了人脸角度评分，因此可以提高人脸质量分数的可参考性。

在将第一抓拍图像与第一参考人脸图像的人脸质量分数进行比较之后，就能确定出第一抓拍图像与第一参考人脸图像的人脸质量分数的大小。

步骤24，若第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，则将第一抓拍图像与第一参考人脸图像集合关联存储。

具体的，如果第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，就直接将第一抓拍图像和第一参考人脸图像集合在人脸聚类数据库中存储为一个档案。

步骤25，若第一抓拍图像的人脸质量分数大于第一参考人脸图像的人脸质量分数，则判断第一抓拍图像与多个标准参考人脸图像进行特征匹配后是否存在匹配结果。

具体的，如果第一抓拍图像的人脸质量分数高于第一参考人脸图像的人脸质量分数，人脸聚类装置10可以将第一抓拍图像和多个标准参考人脸图像分别进行特征匹配，也就是说，第一抓拍图像会与多个标准参考人脸图像中每个标准参考人脸图像都进行特征匹配。确定出第一抓拍图像与多个标准参考人脸图像中每个标准参考人脸图像的特征相似度，与第一抓拍图像的相似度最高的标准参考人脸图像，与该第一抓拍图像的相似度高于阈值，那么就确定存在匹配结果，也就表示特征匹配成功。确定出第一抓拍图像与多个标准参考人脸图像中每个标准参考人脸图像的特征相似度，与第一抓拍图像的相似度最高的标准参考人脸图像，与该第一抓拍图像的相似度小于或等于阈值，那么就确定不存在匹配结果，也就表示特征匹配失败。如果存在与多个标准参考人脸图像可以参照前文论述的内容，此处不再赘述。

如果第一抓拍图像与一个标准参考人脸图像特征匹配成功，则将第一抓拍图像与特征匹配成功的标准参考人脸图像关联存储。

具体的，将与第一抓拍图像的相似度最高，且特征相似度高于阈值所对应的标准参考人脸图像，确定为特征匹配成功的标准参考人脸图像。与第一抓拍图像特征匹配成功的标准参考人脸图像可能不属于第一参考人脸图像集合，也可能属于第一参考人脸图像集合，下面对两种情况进行示例说明。

第一种情况：

步骤26，若第一抓拍图像与第一标准参考人脸图像特征匹配成功，将第一抓拍图像、第一参考人脸图像集合均和第一标准参考人脸图像对应的参考人脸图像集合关联存储。

具体的，第一标准参考人脸图像不属于第一参考人脸图像集合。如果确定第一抓拍图像和第一标准参考人脸图像特征匹配成功，表示之前第一参考人脸图像集合可能并没有归类成功，因此可以解除之前的第一参考人脸图像集合的档案，将第一抓拍图像以及第一参考人脸图像集合关联存储到第一标准参考人脸图像对应的参考人脸图像集合中，相当于对人脸聚类数据库中档案进行重新归类。

第二种情况：

步骤27，若第一抓拍图像与第二标准参考人脸图像特征匹配成功，将第一抓拍图像、第一参考人脸图像集合关联存储。

具体的，第二标准参考人脸图像属于第一参考人脸图像集合中的人脸图像。如果确定第一抓拍图像与第二标准参考人脸图像特征匹配成功，就直接将第一抓拍图像存储在第一参考人脸图像集合对应的档案中。

作为一种实施例，由于第一抓拍图像的人脸质量分数高于第一参考人脸图像，因此可以将第一抓拍图像作为第一参考人脸图像集合中的标准参考人脸图像，也可理解为将第二标准参考人脸图像更新为第一抓拍图像。也就是如果后续的抓拍图像，再进行特征匹配时，就可以与该第一抓拍图像进行特征匹配。

步骤28，如果第一抓拍图像与多个标准参考人脸图像特征匹配失败，则将第一抓拍图像与第一参考人脸图像集合关联存储。

具体的，如果第一抓拍图像与各个标准参考人脸图像特征相似度均小于或等于阈值，确定第一抓拍图像与多个标准参考人脸图像特征匹配失败，将第一抓拍图像直接与第一参考人脸图像集合关联存储。

作为一种实施例，将第一抓拍图像作为第一参考人脸图像集合中的标准参考人脸图像，也可理解为将第二标准参考人脸图像更新为第一抓拍图像。

在步骤22中，如果人脸聚类数据库中不存在与唯一跟踪标识相同的参考人脸图像，请参照图3，人脸聚类装置10执行步骤31，将第一抓拍图像与多个标准参考人脸图像进行特征匹配。

具体的，如果第一抓拍图像与多个标准参考人脸图像特征相似度均小于或等于阈值，确定第一抓拍图像与多个标准参考人脸图像特征匹配失败，也就是说，人脸聚类数据库中不存在与第一抓拍图像的唯一跟踪标识相同的参考人脸图像，也不存在与第一抓拍图像的特征相近的参考人脸图像，人脸聚类装置10执行步骤32，将第一抓拍图像单独存储在人脸聚类数据库中，并同时将第一抓拍图像的唯一跟踪标识与第一抓拍图像关联存储，相当于此时第一抓拍人脸图像对应的人脸是之前未建档的人脸，因此根据第一抓拍图像单独建立该人脸对应的档案。

如果第一抓拍图像与第三标准参考人脸图像特征相似度最高，且大于阈值，确定第一抓拍图像与第三标准参考人脸图像特征匹配成功，人脸聚类装置10执行步骤33，将第一抓拍图像与特征匹配成功的第三标准参考人脸图像关联存储。第三标准参考人脸图像可能与前文论述的第一标准参考人脸图像是相同的参考人脸图像，也可能不是。第三标准参考人脸图像可能与前文论述的第二标准参考人脸图像是相同的参考人脸图像，也可能不是。

在一种可能的实施例中，人脸聚类数据库中的参考人脸图像可以进行不定时地更新，以减少存储空间需求。

一种删除人脸的相关信息的方式例如：

确定人脸对应的安全隐患等级，按照预设规则，确定与人脸的安全隐患等级匹配的存储空间；

若人脸聚类数据库与人脸相关的信息所占的存储空间大于确定出的存储空间，则删除存储时间最早的与人脸相关的部分信息，直到与人脸相关的信息所占的存储空间等于或小于确定出的存储空间。

具体的，安全隐患等级与人脸关联的人物确定为危险人物的次数正相关，也就是说，人脸聚类装置10确定该人脸关联的人物确定为危险人物的次数越多，那么表示该人物对应的安全隐患等级越高，安全隐患等级越高，也就表示该人物再次造成危险的可能性越大，因此，可以存储更多关于该人物的信息，以便于后期查证等，因此可以为该人脸提供更多的存储空间。确定人脸关联的人物确定为危险人物的次数越少，那么表示该人物对应的安全隐患等级越低，安全隐患等级越低，也就表示该人物再次造成危险的可能性越小，因此，可以存储相对少的关于该人物的信息。

在确定人脸对应的存储空间之后，则可以删除存储时间最早的与人脸相关的部分信息，直到与人脸相关的信息所占的存储空间小于或等于确定出的存储空间。

作为一种实施例，步骤24、步骤25、步骤26、步骤28、步骤32和步骤33属于对第一抓拍图像进行聚类过程中的不同情况，实际上执行哪些步骤，根据具体情况而定。

基于同一发明构思，本申请实施例提供一种人脸聚类装置10，请参照图4，该装置10相当于前文论述的人脸聚类装置10，该装置10包括：

跟踪模块41，用于从视频帧中抓拍获得第一抓拍图像，并根据人脸跟踪算法，获得第一抓拍图像的唯一跟踪标识；

优选模块42，用于若在人脸聚类数据库中，存在与第一抓拍图像的唯一跟踪标识相同的所有人脸图像组成的第一参考人脸图像集合，则将第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较；其中，第一参考人脸图像为第一参考人脸图像集合中的人脸质量分数最大的参考人脸图像；

聚类模块43，用于若第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，则将第一抓拍图像与第一参考人脸图像集合关联存储。

在一种可能的实施例中，该装置10还包括匹配模块44，其中：

匹配模块，用于将第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较之后，若第一抓拍图像的人脸质量分数大于第一参考人脸图像的人脸质量分数，则将第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；其中，多个标准人脸图像包括人脸聚类数据库中不同人脸所对应的参考人脸图像集合下的标准参考人脸图像；

聚类模块，还用于若第一抓拍图像与第一标准参考人脸图像特征匹配成功，则将第一抓拍图像和第一参考人脸图像集合，均与第一标准参考人脸图像对应的参考人脸图像集合关联存储；其中，第一标准参考人脸图像为人脸聚类数据库中除了第一参考人脸图像集合对应的第二标准参考人脸图像之外标准参考人脸图像。

在一种可能的实施例中，聚类模块43还用于：

在将第一抓拍图像与多个标准参考人脸图像分别进行特征匹配之后，若第一抓拍图像与第二标准参考人脸图像特征匹配成功，则将第一抓拍图像与第一参考人脸图像集合关联存储。

在一种可能的实施例中，聚类模块43还用于：

在将第一抓拍图像与多个标准参考人脸图像分别进行特征匹配之后，若第一抓拍图像与多个标准参考人脸图像均特征匹配失败，则将第一抓拍图像和第一参考人脸图像集合关联存储，且第一抓拍图像作为标准参考人脸图像。

在一种可能的实施例中，匹配模块44，还用于若在人脸聚类数据库中，不存在与第一抓拍图像的唯一跟踪标识相同的参考人脸图像，则将第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；

聚类模块43，还用于若第一抓拍图像与第三标准参考人脸图像特征匹配成功，则将第一抓拍图像与第三标准参考人脸图像对应的参考人脸图像集合关联存储；以及，若第一抓拍图像与多个标准参考人脸图像均特征匹配失败，则将第一抓拍图像单独存储在人脸聚类数据库中。

在一种可能的实施例中，跟踪模块41具体用于：确定视频帧中所有人脸的人脸质量分数，对预设在时间段内满足预设上报条件的人脸进行抓拍，获得第一抓拍图像；其中，预设上报条件包括人脸质量分数满足预存条件。

基于同一发明构思，本申请实施例提供一种人脸聚类装置，该装置相当于前文论述的人脸聚类装置，请参照图5，该装置10包括：

至少一个处理器51，以及

与所述至少一个处理器51通信连接的存储器52；

其中，所述存储器52存储有可被所述至少一个处理器51执行的指令，所述至少一个处理器51通过执行所述存储器52存储的指令实现如前文论述的人脸聚类方法。

作为一种实施例，图5中的处理器51可以实现前文图4中各个模块的功能。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如前文论述的人脸聚类方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种人脸聚类方法，其特征在于，包括：

若所述第一抓拍图像的人脸质量分数小于或等于所述第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与所述第一参考人脸图像集合关联存储；

若所述第一抓拍图像的人脸质量分数大于所述第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；其中，所述多个标准参考人脸图像包括所述人脸聚类数据库中不同人脸所对应的参考人脸图像集合下的标准参考人脸图像。

2.如权利要求1所述的方法，其特征在于，在将所述第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较之后，包括：

3.如权利要求2所述的方法，其特征在于，在将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配之后，包括：

4.如权利要求2所述的方法，其特征在于，在将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配之后，包括：

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

6.如权利要求1所述的方法，其特征在于，从视频帧中抓拍获得第一抓拍图像，包括：

7.一种人脸聚类装置，其特征在于，包括：

聚类模块，用于若所述第一抓拍图像的人脸质量分数小于或等于第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与所述第一参考人脸图像集合关联存储；

匹配模块，用于将所述第一抓拍图像的人脸质量分数与第一参考人脸图像的人脸质量分数进行比较之后，若所述第一抓拍图像的人脸质量分数大于第一参考人脸图像的人脸质量分数，则将所述第一抓拍图像与多个标准参考人脸图像分别进行特征匹配；其中，所述多个标准参考人脸图像包括所述人脸聚类数据库中不同人脸所对应的参考人脸图像集合下的标准参考人脸图像。

8.如权利要求7所述的装置，其特征在于，

所述聚类模块，还用于若所述第一抓拍图像与第一标准参考人脸图像特征匹配成功，则将所述第一抓拍图像和所述第一参考人脸图像集合，均与第一标准参考人脸图像对应的参考人脸图像集合关联存储；其中，所述第一标准参考人脸图像为所述人脸聚类数据库中除了所述第一参考人脸图像集合之外的参考人脸图像集合对应的标准参考人脸图像。

9.一种人脸聚类装置，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。