CN110413811A - 一种基于人脸识别的路人库跨通道聚合方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别的路人库跨通道聚合方法，包括以下步骤：S1、通过短时单通道聚合保留一个人所有抓拍图中质量最高的一张；S11、对抓拍图的信息缓存队列进行缓存；S12、当另一张抓拍图缓存进来时，与之前的抓拍图进行对比；S13、当到达设定缓存时间后，令缓存的抓拍图进入跨通道聚合操作；S2、通过跨通道聚合将抓拍图存储进路人库中；S21、在路人库的每个人员档案中，选出代表图；S22、设定比对阈值，将步骤S13中进入跨通道聚合操作的抓拍图与路人库中所有人员档案的代表图进行比对，寻找与该抓拍图相似的人员档案；S23、找到与该抓拍图相似的人员档案，将该抓拍图存储进此人员档案中。

Description

一种基于人脸识别的路人库跨通道聚合方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于人脸识别的路人库跨通道聚合方法。

背景技术

人工智能技术在安防行业应用越来越广泛，其中核心之一即为人脸识别技术。随着人脸识别应用在安防中的不断落地，积累了大量的数据，其中之一即为路人库。

所谓路人库，就是安防应用接入摄像头，人脸抓拍机等前端设备，通过视频解码、人脸识别等技术识别视频流中的人脸，并存储入库而形成。

路人库的检索过程耗费大量的GPU、CPU资源，且结果不准确，因此需要对路人库进行聚合归档。而传统的人脸聚合方案存在着聚合效果不佳、聚合效率低下、图片质量影响大的问题。因此，只有解决以上问题，才能更好地为上层应用提供精准数据支持。

发明内容

本发明目的是针对上述问题，提高一种提高聚合效果的基于人脸识别的路人库跨通道聚合方法。

为了实现上述目的，本发明的技术方案是：

一种基于人脸识别的路人库跨通道聚合方法，包括以下步骤：

S1、通过短时单通道聚合保留一个人所有抓拍图中质量最高的一张；

S11、对抓拍图的信息缓存队列进行缓存；

S12、当另一张抓拍图缓存进来时，与之前的抓拍图进行对比，当其质量高于之前的抓拍图时，由该抓拍图替换原抓拍图，并对原抓拍图的信息缓存队列进行替换；当其质量低于之前的抓拍图时，抛弃该抓拍图；当没有相似的抓拍图进行对比时，生成新的信息缓存队列并缓存；

S13、当到达设定缓存时间后，令缓存的抓拍图进入跨通道聚合操作，同时删除缓存；

S2、通过跨通道聚合将抓拍图存储进路人库中；

S21、在路人库的每个人员档案中，选出代表图；

S22、设定比对阈值，将步骤S13中进入跨通道聚合操作的抓拍图与路人库中所有人员档案的代表图进行比对，寻找与该抓拍图相似的人员档案；

S23、当没有找到与抓拍图相似的人员档案，则将此抓拍图设立为一个新的档案；当找到一个与该抓拍图相似的人员档案，则将该抓拍图存储进此人员档案中；当找到多个与该抓拍图相似的人员档案，则进行合并档案操作。

进一步的，所述步骤S11中抓拍图的信息缓存队列包括抓拍图的PID、特征、质量以及进入缓存的时间数据；其中PID表示人员ID，用于区分不同的人员。

进一步的，所述步骤S12中当抓拍图替换原抓拍图时，保留原抓拍图的PID，将原抓拍图的特征、质量以及进入缓存的时间数据进行替换。

进一步的，所述步骤S21中的人员档案由一个人的多张抓拍照片构成，并具有人员档案ID。

进一步的，所述步骤S21中的代表图的选取方式为：计算同一人员档案的全部抓拍图的代表得分，代表得分最小的M张照片作为该人员档案的代表图。

进一步的，所述代表得分为该抓拍图与该抓拍图所在的人员档案中其他抓拍图的距离平均值：第i张抓拍图与第j张抓拍图的距离计算公式为：

其中，s_ij∈{0～1}为第i张抓拍图与第j张抓拍图的相似度得分，其权重为w0；mi_，1∈{0,1}为第i张抓拍图的人脸图像质量，其权重为w1；m_i,2∈{0,1,2,3,4,5}为第i张抓拍图的人员年龄，权重为w2；m_i,3∈{0,1}为第i张抓拍图的人员性别，其权重为w3；m_i,4∈{0,1}为第i张抓拍图的人员民族，其权重为w₄；d_ij为抓拍图i与抓拍图j的距离。

进一步的，设立一个阈值，将人员档案中代表得分低于该阈值的抓拍图从该人员档案中剔除。

进一步的，所述步骤S23中合并档案操作为：将多个人员档案的代表图进行对比，确定其相似度是否达到预先设定的阈值，当其相似度达到阈值时，确定为相同人员档案并合并为一个档案；当其相似度没有达到阈值时，将多个人员档案中的所有抓拍图进行对比；当所有抓拍图的对比相似度大于阈值时，确定为相同人员档案并合并为一个档案；当所有抓拍图的对比相似度小于阈值时，不进行档案合并。

进一步的，所述步骤S23中，当找到多个与该抓拍图相似的人员档案，并且合并档案操作确定为不进行档案合并时，选择该抓拍图与多个人员档案中相似度最高的人员档案进行存储。

进一步的，所述合并档案操作中，当多个人员档案进行合并为一个人员档案后，重新选择该人员档案的代表图。

与现有技术相比，本发明具有的优点和积极效果是：

(1)明显提高聚合效果；本发明在短时单通道聚合中采用高质量抓拍图替换低质量抓拍图的技术方案，使得其聚合准确率高于90％，有效提高了路人库跨通道聚合的聚合效果。

(2)提高聚合效率；在基本达到区域内人数上限以后，路人库中人员档案的规模达到基本稳定，检索基数不再增加；同时可通过只比同一档案中少量的抓拍照片，进一步降低检索基数，明显提高了路人库跨通道聚合的聚合效率。

(3)剔除质量低下的图片；本发明可以通过设置阈值的方式对一些图像模糊、质量低下的抓拍照片进行剔除，进一步提高了路人库跨通道聚合的聚合效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的框架流程图；

图2为路人库清理流程图；

图3为短时单通道聚合的框架流程图；

图4为短时单通道聚合的定期清理流程图；

图5为合并档案操作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

如图1至图5所示，本发明的技术方案分为两个步骤，如图1所示：

1.短时单通道聚合

一个人在一个通道中会形成多张抓拍图，且角度和姿态连续，宜通过短时聚合保留质量最高的一张，短时单通道聚合流程如图3所示：

保留一份抓拍图信息的缓存队列，保存抓拍图的PID，特征，质量，以及进入缓存的时间等相关数据。其中PID用于区分不同的人，表示人员ID，同时记录人员首次进入缓存队列的时间。

一张抓拍图C进来，首先与缓存中的所有抓拍图比对，尝试获取比分最高且超过设定阈值历史抓拍图，此处记为。如存在，则相互比较图片质量。若新的抓拍图质量更高，则用新的抓拍图替换，延用的PID，更新特征，质量和进入缓存的时间。否则丢弃此抓拍图。如不存在，则生成新的PID标识此抓拍图，记录首次进入缓存的时间，保存进入缓存队列。

定期检查并清理缓存队列，如图4所示：

a.针对一直停留在摄像头区域的人员，为保证时效性，检查首次进入缓存的时间，超过设定的时间，进入跨通道聚合，同时删除缓存。

b.针对离开摄像头区域的人员，检查进入缓存的时间，超过设定的时间，进入跨通道聚合，同时删除缓存。

2.跨通道全库聚合

抓拍图片经过单通道聚合以后，进入跨通道聚合流程，基本流程如下：

(1)设定一定的比对阈值，抓拍图与路人库中所有人员档案比对。为提高效率，一个人员档案中的所有抓拍图，只有代表图参与比对过程。

一个人的多张抓拍照片形成一个人员档案，并具有档案ID。

通过选举机制，挑选一个人员档案中的M张照片作为档案的代表，在检索档案的过程中，只有代表图参与比对。

通过一定的算法，计算同一档案的全部抓拍图的代表得分，得分最小的M张照片作为该人员档案的代表图。其中代表得分计算方法如下：

对于第i张抓拍图，获取如下指标：

第i张抓拍图与第j张抓拍图的相似度得分，记为：s_ij∈{0～1}，权重记为：w₀；

人脸质量，记为：mi_，1∈{0,1}，权重记为：w1；

年龄，分为六类(儿童，少年，青少年，青年，中年，老年)，记为：m_i,2∈{0,1,2,3,4,5}，权重记为：w2；

性别，分为两类(男，女)，记为：m_i,3∈{0,1}权重记为：w3；

少数民族，分为两类(汉族，维族)，记为：m_i,4∈{0,1}权重记为：w4；

抓拍图i与抓拍图j的距离定义为：

同一人员档案的全部抓拍图进行互比，每张抓拍图的代表得分是其与所有其他抓拍图的距离的平均值。

(2)比对结果如果没有检索到满足条件的档案，则此抓拍形成一个新的人员档案。如果只检索到一个人员档案，则此抓拍进入此人员档案。如果检索到多个人员档案，则这些人员档案触发合并档案操作。

假设一定的阈值T，合档流程如图5所示：对两个人员档案进行比对判断，如果符合合档条件，则合为一个人员档案，同时重新选举代表图。

(3)若合档成功，则此抓拍进入此人员档案。若合档不成功，则此抓拍进入相似度最高的人员档案。

(4)抓拍进入任何一个人员档案，都触发重新选举代表图。

设定一个定时任务，进行档案清理操作，如图2所示。清洗的目的是进一步剔除质量不好的抓拍图。通过选举机制，可以获取一个人员档案中所有抓拍图的代表得分。设定一个阈值，低于此阈值的抓拍从该档案中剔除，完成清理操作。

本发明的有益效果：

(1)明显提高聚合效果；本发明在实际的抓拍场景中，其具备在240万抓拍照片中聚合准确率高于90％。

准确率计算方法：一个档案中P的抓拍数量最多，则档案归属人为P。若有多个档案的归属人同为P，则P的抓拍量少的档案计为无归属人。对于任意一张抓拍，所分布的人员档案的归属人确为本人的，计为聚合正确，否则计为错误。假设总抓拍数计为n,聚合正确的抓拍数为c，则正确率为：

e＝c/n*100％。

(2)提高聚合效率；在基本达到区域内人数上限以后，路人库档案的规模达到基本稳定，检索基数不再增加，同时可通过只比同一档案中少量的代表图，进一步降低检索基数，提高聚合效率。

(3)剔除质量低下的图片；其可以大比例的查找到侧脸，模糊等质量低下的抓拍照片，并予以剔除。

Claims (10)

1.一种基于人脸识别的路人库跨通道聚合方法，其特征在于：包括以下步骤：

S1、通过短时单通道聚合保留一个人所有抓拍图中质量最高的一张；

S11、对抓拍图的信息缓存队列进行缓存；

S12、当另一张抓拍图缓存进来时，与之前的抓拍图进行对比，当其质量高于之前的抓拍图时，由该抓拍图替换原抓拍图，并对原抓拍图的信息缓存队列进行替换；当其质量低于之前的抓拍图时，抛弃该抓拍图；当没有相似的抓拍图进行对比时，生成新的信息缓存队列并缓存；

S13、当到达设定缓存时间后，令缓存的抓拍图进入跨通道聚合操作，同时删除缓存；

S2、通过跨通道聚合将抓拍图存储进路人库中；

S21、在路人库的每个人员档案中，选出代表图；

S22、设定比对阈值，将步骤S13中进入跨通道聚合操作的抓拍图与路人库中所有人员档案的代表图进行比对，寻找与该抓拍图相似的人员档案；

S23、当没有找到与抓拍图相似的人员档案，则将此抓拍图设立为一个新的档案；当找到一个与该抓拍图相似的人员档案，则将该抓拍图存储进此人员档案中；当找到多个与该抓拍图相似的人员档案，则进行合并档案操作。

2.如权利要求1所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述步骤S11中抓拍图的信息缓存队列包括抓拍图的PID、特征、质量以及进入缓存的时间数据；其中PID表示人员ID，用于区分不同的人员。

3.如权利要求2所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述步骤S12中当抓拍图替换原抓拍图时，保留原抓拍图的PID，将原抓拍图的特征、质量以及进入缓存的时间数据进行替换。

4.如权利要求1所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述步骤S21中的人员档案由一个人的多张抓拍照片构成，并具有人员档案ID。

5.如权利要求1所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述步骤S21中的代表图的选取方式为：计算同一人员档案的全部抓拍图的代表得分，代表得分最小的M张照片作为该人员档案的代表图。

6.如权利要求5所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述代表得分为该抓拍图与该抓拍图所在的人员档案中其他抓拍图的距离平均值：第i张抓拍图与第j张抓拍图的距离计算公式为：

其中，s_ij∈{0～1}为第i张抓拍图与第j张抓拍图的相似度得分，其权重为w0；m_i，1∈{0,1}为第i张抓拍图的人脸图像质量，其权重为w₁；m_i,2∈{0,1,2,3,4,5}为第i张抓拍图的人员年龄，权重为w₂；m_i,3∈{0,1}为第i张抓拍图的人员性别，其权重为w₃；m_i,4∈{0,1}为第i张抓拍图的人员民族，其权重为w₄；d_ij为抓拍图i与抓拍图j的距离。

7.如权利要求6所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：设立一个阈值，将人员档案中代表得分低于该阈值的抓拍图从该人员档案中剔除。

8.如权利要求1所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述步骤S23中合并档案操作为：将多个人员档案的代表图进行对比，确定其相似度是否达到预先设定的阈值，当其相似度达到阈值时，确定为相同人员档案并合并为一个档案；当其相似度没有达到阈值时，将多个人员档案中的所有抓拍图进行对比；当所有抓拍图的对比相似度大于阈值时，确定为相同人员档案并合并为一个档案；当所有抓拍图的对比相似度小于阈值时，不进行档案合并。

9.如权利要求8所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述步骤S23中，当找到多个与该抓拍图相似的人员档案，并且合并档案操作确定为不进行档案合并时，选择该抓拍图与多个人员档案中相似度最高的人员档案进行存储。

10.如权利要求8所述的基于人脸识别的路人库跨通道聚合方法，其特征在于：所述合并档案操作中，当多个人员档案进行合并为一个人员档案后，重新选择该人员档案的代表图。