CN205451095U - 一种人脸识别装置 - Google Patents

Abstract

本公开涉及一种人脸识别装置，所述装置至少包括输入模块、人脸分析模块和输出模块。所述输入模块为人脸分析模块提供欲检测图像序列，人脸分析模块借助深度学习技术进行人脸识别，基于多个子数据库并行检索比对分析并合并分析结果，输出模块将人脸检测框、人脸相关统计信息与原始视频叠加，输出到前端进行显示。本公开的装置在识别人脸时具有自动、快速、精准的特点。

Description

一种人脸识别装置

技术领域

本公开涉及视频监控领域，特别涉及一种人脸识别装置。

背景技术

目前很多行业为了吸收、维护更多有价值、有潜力的贵宾(VIP)客户，越来越重视对贵宾客户提供更优质、有针对性的服务。传统行业会使用VIP卡等形式来区分客户，但是携带卡片，报***等方式并不人性化、便捷化。而人脸识别技术是依据人脸部的特征信息进行身份识别的一种技术，具有非接触性、并发性、非强制性、直观性等优点。

实用新型内容

针对上述部分问题，本公开提供了一种人脸识别装置，所述装置借助深度学习技术进行人脸识别，可以为银行VIP识别、门店迎宾、监控场景人脸识别提供服务支持；若利用装置中检测到人脸的时间、地点和时长，可以进一步实现客流统计，为改进服务或查询特殊用户提供帮助。其中，各个模块可以采用现有的视频采集板卡，以及多媒体分析板卡来组装成本公开装置的模块，各个模块之间是耦接关系。

一种人脸识别装置，所述装置至少包括输入模块、人脸分析模块和输出模块；

所述输入模块将欲检测图像序列传送给人脸分析模块；

所述输出模块包括图像输出单元和/或消息订阅单元；

所述图像输出单元将人脸分析模块中得到的人脸进行标识，并将该人脸相关的信息叠加到原始视频上；

所述消息订阅单元向终端订阅用户发送事件消息；

其中，所述人脸分析模块至少包括下述单元：

U100、人脸检测跟踪单元：对接收的图像，检测跟踪图像中的人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧，传递给人脸比对单元；

U200、人脸比对单元：接收所述关键帧并提取每一帧的人脸特征，在用户信息数据库服务器中查找并选择多个相似的人脸特征进行比对分析；

其中：所述人脸特征使用多维特征向量表示；

所述用户信息数据库服务器允许单人有M张人脸图像使用相同的第一标识符标识存入。

附图说明

图1本公开的一个实施例中的装置结构构成图。

具体实施方式

在一个基础实施例中，如图1所示，提供了一种人脸识别装置，所述装置至少包括输入模块、人脸分析模块和输出模块；

所述输入模块将欲检测图像序列传送给人脸分析模块；

所述输出模块包括图像输出单元和/或消息订阅单元；

所述图像输出单元将人脸分析模块中得到的人脸进行标识，并将该人脸相关的信息叠加到原始视频上；

所述消息订阅单元向终端订阅用户发送事件消息；

其中，所述人脸分析模块至少包括下述单元：

U100、人脸检测跟踪单元：对接收的图像，检测跟踪图像中的人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧，传递给人脸比对单元；

U200、人脸比对单元：接收所述关键帧并提取每一帧的人脸特征，在用户信息数据库服务器中查找并选择多个相似的人脸特征进行比对分析；

其中：所述人脸特征使用多维特征向量表示；

所述用户信息数据库服务器允许单人有M张人脸图像使用相同的第一标识符标识存入。

在这个实施例中，其中，各个模块可以采用现有的视频采集板卡，以及多媒体分析板卡来组装成本公开装置的模块，各个模块之间是耦接关系。所述输入模块的输出是人脸图像，其输入可以是多重网络视频源、图像序列、离线视频或者实时视频，只要经过处理后可以获得带有人脸的图像即可。在对图像进行检测时，可以对接收的所有图像进行检测，也可以优选的对图像进行检测。在一个实施例中，所述装置每隔6帧进行一次人脸检测。在对图像进行检测时，提取图像中的人脸位置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等位置信息。当所述图像序列为单帧时，该图像本身为关键帧；所述图像序列为多帧时，从该序列中挑选质量好的N帧作为关键帧。其中，质量的判断可以通过对后述指标进行打分后，选取得分高的前N帧作为关键帧。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光照等等。所述人脸特征通过多维特征向量表示，在一个实施例中，使用约180维特征向量来表示人脸特征。对已检测到人脸，在后续帧中进行跟踪。在查找时，将N组人脸特征作为一个整体，在用户信息数据库服务器中检索相似人脸，选择得分最高的几个人脸作为返回结果。而比对分析的结果即所述视频组装分发单元以及原图像可以通过http协议或消息服务器发送至图像输出单元。在一个实施例中，当在监控区域识别人脸库人脸，所述装置立即发布通知或报警，消息包括往订阅者发送其关注的特殊人员比如VIP、可疑人等识别结果、地点时间、人脸图片等信息。

在一个实施例中，给出了一种用于U100中所述质量判断的方法，即包括下述步骤：

S1010、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求则执行步骤S1011；否则，舍弃该检测到的人脸图像；

S1011、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执行步骤S1012；否则，舍弃该检测到的人脸图像；

S1012、计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸；否则，舍弃该检测到的人脸图像。

在一个实施例中，提供了一种具体挑选关键帧的实现方式。在这个实施例中，对单个跟踪抓拍的人脸，根据两眼间距>25，人脸置信度得分>0.95,正脸得分，判断该帧是否用于识别。进一步地，在这个实施例中还提供了通过程序实现挑选关键帧的方法，即对每个跟踪为同一人脸的图像，内部维护一个关键帧容器，容量为10。开始时，若不满10帧，则每帧均存储入容器内；满10帧后，适合用于识别的帧，且与最后存入的帧号间隔大于10，则替换掉已知质量最差的帧；记录单个跟踪为同一人脸的图像已被处理的帧数，若帧数大于20，则结束跟踪。

在一个实施例中，给出了一种用于所述U100中检测跟踪包括下述步骤，其步骤为：

S101、每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标记框对包括人脸的部分进行标记；

S102、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103；否则认为当前标记的人脸为新的人脸，跟踪结束；

S103、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。

在这个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可以是头部，更优的，还可以包括肩部，在包括肩部的标记方式中，可以提高识别率。不论采用哪种方式，重合度的计算均可以通过置信度来度量，当计算的置信度达到一定的范围时，可以认为两个对象为同一对象。而所应达到的范围可以通过试验的方式来确定。

优选的，使用多库与并行检索，即：所述U200中的用户信息数据库服务器包括多个子数据库，则所述比对分析基于多个子数据库进行并行检索比对分析，并合并分析结果。这种方式不仅支持将大量人脸图像导入用户信息数据库服务器，同时又不加大检索时间。每个子数据库导入一定量的人脸图像，单人的多个人脸图像导入相同的数据库。在检索时，在一个实施例中采用多线程并行检索每个数据库的方式，然后根据比较分析的结果合并多个子数据库的结果。

在一个实施例中，给出了关于入库的人脸图像中人脸特征的获取方法，即：所述U200中的用户信息数据库服务器中存储的人脸图像使用DeepId深度学习算法提取人脸特征。这种方式获取人脸特征能够有助于精准的识别人脸。在一个实施例中，使用这种提取人脸特征提取方式，提取约180维的特征向量。

基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似特征向量时，减少比较次数加速比对过程方法，即：所述U200中的相似的人脸特征通过下述步骤获得：

S2011、建立KD树：在查找时，建立KD树搜索K个近邻，K≥M；

S2012、遍历KD树：在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层检索的分支，最后确定与关键帧相似的多个人脸特征。

这种通过建立KD特征检索树的方式，在搜索相似特征时，通过遍历检索树来实现，为了减少比对次数，在每层选取一维的特征进行比较，以确定下一层要检索的分支。

在一个实施例中，在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识；且，所述U200中的比对分析包括下述步骤：

S201、对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分值q_i，i∈[1,M]；

S202、对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应相似度为S_i,userj，i∈[1,M]，j∈[1,N]；

S203、对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得分,

$S_{{\mathrm{user}}_k}=\underset{i=1}{\overset{M}{\Σ}}{q}_i\×S_{i,{\mathrm{user}}_k},$

k∈[1,K],K＝M×N；

S204、根据对K个用户按降序排列，选取最相似的若干个用户。

在这种比对方式下，若是用户信息数据库服务器包括多个子数据库，可以有多种获取最终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤S202～S204然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为返回结果。

可选的，在比对分析之后，所述人脸比对单元还实现下述操作：

S2031、使用深度学习方法进行人脸属性计算；

S2032、判断检测的人脸进行是否已存在于用户信息数据库服务器中；若已存在于用户信息数据库服务器中，则将人脸属性结果进行更新；否则将识别结果及人脸属性计算结果一起存储。

所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储人脸属性的装置可以在对外提供检索功能时，增加检索维度，可以按时间、欲检测人脸与入库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。

可选的，在存储人脸属性的计算结果的基础上还可以为每个结果附上统计时间点、地点，即：所述人脸属性计算结果还包括获取图像时的时间点和地点。这为定位某个人脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，所述装置为VIP或可疑人等特殊人员单独建立用户信息数据库服务器，在用户查询这类人员时，可以直接与该库存储的人脸图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出现过。

在一个实施例中，所述装置具有人流统计功能，即：所述人脸比对单元还实现如下操作：

S2030、统计一定时间内检测到的人脸的数目、每个人脸的出现的时间和时长。在这个实施例中，所述装置会将当前检测到的人脸和一定时间内已经检测过的人脸进行比对，若判断为同一个人，则认为该人出现的次数为1次；这样可以获得在一定时间间隔内出现的不同人脸数目，同时也可以得到若干个时间间隔中，同一人脸出现的次数、每次出现的时间和时长。为了实现这样的统计功能，所述装置可以为检测到的人脸建立临时用户信息数据库服务器，该数据库可以按时间定期建立。所述装置也可以专门建立访客特征库。当所述装置用于门店时，可以为门店进行上述客流统计。

在一个实施例中，针对人脸图像来源为视频时，所述视频可以是多重网络视频源、离线视频或者实时视频时，为获取视频帧图像，所述输入模块还包括视频解码单元，所述输出模块还包括视频组装分发单元；

所述视频解码单元用于读取实时视频流或本地视频文件，并解析出视频帧图像；

所述视频组装分发单元用于将叠加了人脸检测框以及与该人脸相关的信息的原视频帧图像重新编码成视频。

在这个实施例中，当所述输入模块向人脸分析模块发送欲检测图像序列时，可以通过队列的方式来实现。

在一个实施例中，视频组装时，将人脸分析模块得到的人脸检测框、识别出的用户名等信息，叠加到原始视频帧上，然后按x264格式重新编码成视频，在组装之后，通过live555广播出去，提供浏览器或其他客户端进行播放。

在一个实施例中，所述视频解码单元读取rtsp视频流或本地视频文件，通过vlc视频解码器，解释出视频帧图像，使用缓存队列，把图像传送给人脸分析模块。

优选的，所述装置还包括摄像头，则所述输入模块包括视频配置单元，所述视频配置单元用于配置视频通道场景的监控参数。在一个实施例中，需要配置视频通道地址。在这种方式下，可以将实现的装置应用于实时监控，并对监控中的人脸进行实时识别。在本公开的基础上附加报警功能，可以为有安保需要的场景提供一套完整的人脸识别监控服务，比如在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提示。再比如，应用于小区门禁安保。

在一个实施例中，所述装置能够实现实时显示视频与识别结果；当用户需要识别其服务的VIP客户时，***可以帮客户自动识别出进入门店的VIP客户，并给出提示；帮助用户统计每天进入门店的客户人数,统计每个客户进入门店的时间和次数；通过对进入店门的客户人脸图片进行保存，计算并保存包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性、保存进店时间和时长，方便用户对客户进行查询条件过滤；显示最近进入门店的客户信息,包括抓拍人脸图片、访问时间、地点、访问次数等。

在一个实施例中，所述装置为公安部门提供视频监控服务，在监控区域，检测进入的人脸，并与入库的可疑人进行比对，在发现欲监控的人员时，给出提示。所述提示可以是下述一种或任意多种方式的组合形式：静态文字、图案或动态文字、动态图案、声音。

本公开的人脸识别技术可以通过人脸识别快速识别出贵宾客户并且关联相关的客户信息数据库。还可将经常光顾，有价值有潜力的客户通过数据统计作为潜在贵宾客户重点服务及推荐针对性产品。另外，在本公开的基础上附加报警功能，还可以为公安提供一套完整的人脸识别监控服务，在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提示。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (3)

1.一种人脸识别装置，其特征在于：

所述装置至少包括摄像头、视频采集板卡、多媒体分析板卡和输出模块；

所述摄像头连接视频采集板卡，以便将欲检测原始视频的图像序列传送给视频采集板卡；

所述视频采集板卡连接所述多媒体分析板卡，对接收的图像，检测跟踪图像中的人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧，传递给所述多媒体分析板卡；

所述多媒体分析板卡接收所述关键帧并提取每一帧的人脸特征，在用户信息数据库服务器中查找并选择多个相似的人脸特征进行比对分析，其中所述人脸特征使用多维特征向量表示，所述多媒体分析板卡中的用户信息数据库服务器为并行式体系；

所述输出模块连接订阅用户的终端，将多媒体分析板卡的处理结果叠加到原始视频以输出新的视频。

2.根据权利要求1所述的装置，其特征在于，所述摄像头还包括视频解码单元，所述输出模块还包括视频编码单元。

3.根据权利要求1-2任一所述的装置，其特征在于，所述摄像头还包括视频配置单元，所述视频配置单元用于配置视频通道场景的监控参数。