CN110147455B

CN110147455B - 一种人脸匹配检索装置及方法

Info

Publication number: CN110147455B
Application number: CN201710760859.6A
Authority: CN
Inventors: 朱海涛; 鲍焱
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2024-03-22
Anticipated expiration: 2037-08-30
Also published as: CN110147455A

Abstract

本发明公开了一种人脸匹配检索装置及方法，涉及图像处理、匹配、检索等领域。本发明公开的人脸匹配检索装置，至少包括索引比较服务器、二次比较服务器，其中：索引比较服务器，用于将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对，得到相对应的索引，其中，所述索引库中各索引分别对应一类人脸特征；二次比较服务器，用于在所述索引比较服务器得到的索引在预先建立的人脸特征数据库中对应的区域中存储的所有人脸特征内，对待检索的人脸图像的人脸特征进行检索，获取到比较结果。

Description

一种人脸匹配检索装置及方法

技术领域

本发明涉及图像处理、匹配、检索等领域，尤其涉及一种在海量人脸图像中进行快速匹配检索的方案。

背景技术

随着图像处理、模式识别技术的发展，人脸识别、比对的应用越来越广泛。特别是随着视频大数据的发展，在公安领域经常需要输入一张人脸图像，然后在海量的人脸库中找出与之匹配的人脸。公安领域的人脸库往往包含数百万乃至上千万的人脸图像。如何从海量的人脸库中快速、准确的进行人脸匹配、检索成为了当前亟需解决的问题。

目前在海量人脸进行快速匹配的方法，普遍采用分布式等并行处理方式，通过增加机器，将海量的人脸比对任务化整为零，平均分配到每台机器上去处理，然后再合并各比对结果。

发明内容

本文提供一种人脸匹配检索装置及方法，可以解决现有人脸检索效率低的问题。

本文公开了一种人脸匹配检索装置，至少包括索引比较服务器、二次比较服务器，其中：

索引比较服务器，用于将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对，得到相对应的索引，其中，所述索引库中各索引分别对应一类人脸特征；

二次比较服务器，用于在所述索引比较服务器得到的索引在预先建立的人脸特征数据库中对应的区域中存储的所有人脸特征内，对待检索的人脸图像的人脸特征进行检索，获取到比较结果。

可选地，上述装置，还包括：

特征管理服务器，用于对所述人脸特征数据库进行管理操作；

所述管理操作包括如下任一或多种操作：新增人脸图像、删除人脸图像、修改人脸图像、查询人脸图像。

可选地，上述装置中，所述索引比较服务器，用于在有待入库的新增人脸图像时，将待入库的新增人脸图像与所述索引库中的人脸特征进行比对，得到相应的索引；

所述特征管理服务器，用于依据所得到的索引，将待入库的新增人脸图像存储至所述人脸特征数据库中该索引对应的区域中。

本文还公开了一种人脸匹配检索方法，包括：

将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对，得到相对应的索引；

在预先建立的人脸特征数据库中，与所得到的索引相对应的区域中存储的人脸特征内，对待检索的人脸图像的人脸特征进行检索，获取到比较结果；

其中，所述索引库中各索引分别对应一类人脸特征。

可选地，上述方法，在将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对之前，还包括：

按照聚类方法从预先获取的人脸图像中找出各类人脸特征作为索引，并建立索引库。

可选地，上述方法中，所述将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对，得到相对应的索引包括：

采用计算距离的算法，将待检索的人脸图像的人脸特征与预先建立的索引库中的人脸特征进行比对，将比对结果中相似度在设定范围的索引作为相对应的索引；

其中，所采用的计算距离的算法与预先建立索引库时生成索引所采用的聚类计算距离的算法相同。

可选地，上述方法中，所述在预先建立的人脸特征数据库中，与所得到的索引相对应的区域中存储的人脸特征内，对待检索的人脸图像的人脸特征进行检索，包括：

采用计算距离的算法，在与所得到的索引相对应的区域中存储的人脸特征内，对待检索的人脸图像的人脸特征进行检索；

可选地，上述方法，还包括：

对所述人脸特征数据库进行管理操作，所述管理操作包括如下任一或多种操作：

新增人脸图像、删除人脸图像、修改人脸图像、查询人脸图像。

可选地，上述方法中，对所述人脸特征数据库进行的管理操作为新增人脸图像时，包括：

将待入库的新增人脸图像与所述索引库中的人脸特征进行比对，得到相应的索引；

依据所得到的索引，将待入库的新增人脸图像存储至所述人脸特征数据库中与该索引对应的区域中。

本文还公开了一种检索装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法的处理。

与现有技术相比，本申请技术方案具有以下有益效果：

通过建立索引，将海量人脸特征先进行大致分类(即一个索引对应一类脸特征)，这样，在人脸检索时先确定人脸特征的类型，就可以将需要匹配的范围大大缩小，提升识别速度；

另外，通过建立索引，只需要与数量有限的代表性人脸特征(即索引)进行对比，减少了需要匹配的次数，从而节约了计算资源，降低硬件成本；

识别速度的提升，减少了用户在海量人脸库中进行人脸检索时的等待时间，提高了用户体验与用户的工作效率。

附图说明

图1是本发明实施例中人脸快速匹配检索装置结构示意图；

图2是本发明实施例中人脸快速匹配检索方法流程图；

图3是本发明可选实施例中海量人脸快速匹配检索装置结构示意图；

图4是本发明可选实施例中索引比较服务器的处理流程图；

图5是本发明可选实施例中生成索引流程图；

图6是本发明可选实施例中人脸特征数据入库流程图；

图7是本发明可选实施例中人脸特征检索完整流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合具体实施方式对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

本申请发明人提出，通过聚类的方式在海量的人脸库中构建人脸索引，在进行人脸检索时，首先将待检索的人脸与数量有限的索引进行比较，然后利用索引获取需要二次比对的人脸范围，然后再在小范围内进行二次匹配，从而提高人脸检索效率。

基于上述思想，本实施例提供一种完整的在海量人脸中进行快速匹配的检索装置，如图1所示，主要包括：索引比较服务器、二次比较服务器、

索引比较服务器，通过将待处理的人脸特征与索引库中的人脸特征进行匹配，获取待处理的人脸特征所对应的索引。其中，索引库中各索引分别对应一类人脸特征。本文中一类人脸特征即为一类具有代表性特征的人脸特征。本文中涉及的代表性特征的可以是人脸的局部性特征，如眼睛、嘴巴、脸型等特征，也可以是人脸的组合特征，如人脸的各种局部性特征之间的任意组合等。只要按照不同代表性特征可以将海量人脸划分为多类人脸即可。实际应用中，可以采用聚类方法从海量人脸中聚类出来具有不同代表性特征的人脸。二次比较服务器，在人脸识别过程中依据索引服务器计算出的索引在人脸特征数据库中对应的人脸范围内(即与该索引对应的区域中存储的人脸特征)进行人脸特征的二次比较、检索。

实际应用中，索引比较服务器在本装置中可能有如下两个应用场景：

1)人脸特征数据入库时，首先通过人脸特征比对，获取与待入库的人脸特征相似度最高的索引，然后根据索引存入人脸特征数据库相应的分区；

2)人脸检索时，将待检索的人脸特征和索引库中的人脸特征进行比对，获取满足一定相似度的一个或若干个索引。在处理时，索引比较服务器首先从索引数据库加载索引到计算缓存或用于索引比较的专用硬件，如FPGA、GPU等；然后将已提取的待处理人脸图像的特征与索引库中的特征进行比较得到相对应的索引。

值得注意的是，索引比较服务器将待检索人脸在索引库中进行特征比较时计算距离的算法需要和建立索引库生成索引时所采用的聚类计算距离的方式，以及二次比较服务器对待检索人脸进行二次比较时计算距离的算法保持一致。

其中，索引库，存储有本***中所采用的所有索引，本文中涉及的每个索引分别对应通过聚类方法在海量的人脸中聚类出来的一组具有代表性的人脸特征(即同一类人脸特征)。

人脸特征数据库，可以按照索引分区存储本***中所采用的所有人脸特征数据，其中，人脸特征数据库划分为与各索引分别对应的区域，各索引对应的区域中存储有该索引对应的一类人脸特征的所有人脸特征。例如，与各索引对应区域中存储的人脸特征，包括与该索引对应的具有代表性的人脸特征的相似度在设定相似阈值内的所有人脸特征数据。

另外，上述装置还可以包括特征管理服务器，用于管理人脸特征数据。可以包括对人脸特征数据库的增、删、改、查、按索引获取对应的人脸特征数据等操作。而二次比较服务器对待检索的人脸图像进行二次检索，可以是通过特征管理服务器来实现的。例如，二次比较服务器可以在进行二次检索时，通过特征管理服务器将人脸特征数据库中与索引对应的全部人脸特征数据实时或预先加载至二次比较服务器本地或缓存空间，以进行二次检索。上述索引比较服务器、二次比较服务器、特征管理服务器、索引库、特征库。这五部分可以按功能分别部署在不同的机器上，也可以按所需计算资源部署在同一台机器或某几台机器上。

除了上述人脸图像的检索操作外，还有新的人脸图像的入库操作，即索引比较服务器在有待入库的人脸图像时，将待入库的人脸图像与索引库中的人脸特征进行比对，得到相应的索引。再由特征管理服务器，依据所得到的索引，将待入库的人脸图像存储至人脸特征数据库中与该索引对应的分区中即可。

本实施例还提供一种海量人脸快速匹配检索方法，如图2所示，包括如下操作：

步骤200：将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行检索，得到相对应的索引；

其中，所述索引库中各索引分别对应一组具有代表性的人脸特征(即一类人脸特征)；

该步骤中，检索得到相对应的索引包括，满足一定相似度的一个或若干个索引。

例如，可以采用计算距离的算法，将待检索的人脸图像的人脸特征与预先建立的索引库中的人脸特征进行比对，将比对结果中相似度在设定范围的一个或多个索引作为相对应的索引。其中，所采用的计算距离的算法与预先建立索引库时生成索引所采用的聚类计算距离的算法相同。

要说明的是，本文中涉及的代表性特征的可以是人脸的局部性特征，如眼睛、嘴巴、脸型等特征，也可以是人脸的组合特征，如人脸的各种局部性特征之间的任意组合等。只要按照不同代表性特征可以将海量人脸划分为多类人脸即可。实际应用中，可以采用聚类方法从海量人脸中聚类出来具有不同代表性特征的人脸。

步骤201：在得到的索引在预先建立的人脸特征数据库中对应的区域中存储的所有人脸特征围内，对待检索的人脸图像的人脸特征进行二次检索，获取到比较结果。

其中，所述人脸特征数据库中与各索引对应的人脸特征包括，与各索引对应的具有代表性的人脸特征(即与各索引对应的一类人脸特征)的相似度在设定相似阈值内的所有人脸特征数据。

与所得到的索引相对应的区域中存储的人脸特征内，对待检索的人脸图像的人脸特征进行检索时可以采用计算距离的算法实现。其中，所采用的计算距离的算法与预先建立索引库时生成索引所采用的聚类计算距离的算法相同。

在上述操作的基础上，还可以对人脸特征数据库进行管理，进行的管理操作可以包括如下任一或多种操作：

以新增人脸图像的操作为例，此过程如下：

另外、本文还提供一种检索装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法的处理。

下面结合附图说明上述方案的具体实施过程。

海量人脸快速匹配检索装置结构图，如图3所示，该装置包括：索引比较服务器、二次比较服务器、特征管理服务器、索引库、人脸特征数据库。

索引库存储本***中所采用的索引信息，其中存储的索引即是通过聚类方法在海量的人脸中聚类出来的具有代表性的人脸特征(一组具有代表性的人脸特征即为一类人脸特征)。索引比较服务器主要用于计算给定人脸特征所对应的索引；在人脸入库时，索引比较服务器计算出与待入库的人脸特征最相近的索引，并将待入库人脸特征的相关信息存入所述最相近的索引在人脸特征数据库中所对应的区域；在人脸检索时，所述索引比较服务器计算出与待检索人脸符合一定相似阈值的所有索引，并利用这些索引，通过二次比较服务器进行人脸的匹配检索。二次比较服务器利用索引比较服务器计算出的索引通过特征管理服务器获取需要比较的人脸特征，并将待检索的人脸特征与获取到的这些人脸特征做比较，得到比对结果。特征管理服务器用于管理人脸特征，具体为：人脸特征数据库的增、删、改、查、按索引获取对应的人脸数据。

值得说明的是，为了便于理解，本结构图中索引比较服务器、二次比较服务器、特征管理服务器、索引库、特征库的个数都只有一个，但实际方案并不仅限一个，可以根据业务量来配置合适的个数，当然这三个服务器也可以在同一台机器上，也可以不是单独的服务，而是三个不同的功能模块、进程或线程。

检索时索引比较服务器的处理流程，如图4所示，该流程包括如下步骤：

步骤S401：加载索引库中的索引，索引比较服务器将索引库加载到内存或用于比较的硬件(如：FPGA、GPU等)。

步骤S402：将已提取的待处理人脸图像的人脸特征与索引库中的人脸特征进行比较得到相对应的索引。

此步骤中与索引库中的特征进行比较时，计算距离的算法需要和生成索引时所采用的聚类中计算距离的方式及二次比较时进行特征比较时计算距离的算法保持一致。

要说明的是，待处理人脸图像的人脸特征与索引库中的人脸特征进行比较时，与索引对应的具有代表性的人脸特征的相似度在设定相似阈值内，就认为，待处理人脸图像的人脸特征与此索引对应。由此也可以看出，比较得到的待处理人脸图像对应的索引可能是一个，也可能是多个。

生成索引流程，如图5所示，该流程包括如下步骤：

步骤S501：提取海量的人脸特征；

该步骤中，为了得到最优的检索精度和性能，所提取的人脸特征对应的人脸最好是后续待检索的人脸库中的人脸。

步骤S502：通过聚类方法找出具有代表性的人脸特征作为索引。

需要注意的是，聚类中计算距离的方式要和特征比较的距离计算方式保持一致。

人脸特征数据入库流程，如图6所示，该流程包括如下步骤：

步骤S601：提取待入库人脸的人脸特征。

步骤S602：将待入库人脸特征与索引库中的特征做相似度比较，得到最相似的索引。

步骤S603-1：将待入库人脸特征***至按步骤S402所计算出的最相似索引在人脸特征数据库中对应的区域。

步骤S603-2：更新特征管理服务器所加载的人脸特征数据。

基于上述各操作后，人脸特征检索的完整流程，如图7所示，该流程包括如下步骤：

步骤S701：数据初始化阶段，索引比较服务器将索引库加载到内存或用于比较的硬件，特征管理服务器将人脸特征数据库中的特征数据加载到内存或用于比较的硬件；

用于比较的硬件，例如：FPGA、GPU等。

步骤S702：索引比较阶段，待检索人脸图片的人脸特征在索引服务器上与所有索引进行比较，得到符合条件的一个或若干个索引。

该步骤中，比较可以通过软件编码实现的比较算法在CPU中实现，为了获得更高的性能也可通过硬件如FPGA、GPU来实现。

其中，与所有索引进行比较时，与待检索人脸图片的人脸特征的相似度在预设相似度阈值的范围内的索引均可以认为是符合条件的索引。

步骤S703：二次比较阶段，二次比较服务器将待检索人脸图像的特征在步骤S702中所得到的索引所对应的人脸特征范围内做二次检索，获取到比较结果。

步骤S704：结果输出阶段，页面获取检索结果并显示。

其中，可以将步骤S703中得到的比较结果存在内存或数据库的临时表或本地文件中，以用于页面的展示。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种人脸匹配检索装置，至少包括索引比较服务器、二次比较服务器，其中：

二次比较服务器，用于在所述索引比较服务器得到的索引在预先建立的人脸特征数据库中对应的区域中存储的所有人脸特征内，对待检索的人脸图像的人脸特征进行检索，获取到比较结果；

其中，所述索引比较服务器，在将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对之前，还用于按照聚类方法从预先获取的人脸图像中找出各类人脸特征作为索引，并建立索引库；

其中，所述将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对，得到相对应的索引包括：

2.如权利要求1所述的装置，其特征在于，还包括：

3.如权利要求2所述的装置，其特征在于，

所述索引比较服务器，用于在有待入库的新增人脸图像时，将待入库的新增人脸图像与所述索引库中的人脸特征进行比对，得到相应的索引；

4.一种人脸匹配检索方法，包括：

其中，所述索引库中各索引分别对应一类人脸特征；

其中，在将待检索的人脸图像的人脸特征与预先建立的索引库中人脸特征进行比对之前，还包括：

按照聚类方法从预先获取的人脸图像中找出各类人脸特征作为索引，并建立索引库；

5.如权利要求4所述的方法，其特征在于，所述在预先建立的人脸特征数据库中，与所得到的索引相对应的区域中存储的人脸特征内，对待检索的人脸图像的人脸特征进行检索，包括：

6.如权利要求5所述的方法，其特征在于，还包括：

7.如权利要求6所述的方法，其特征在于，对所述人脸特征数据库进行的管理操作为新增人脸图像时，包括：

8.一种检索装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求4-7中任一项所述的方法的处理。