CN109544754A - 一种基于人脸识别的门禁方法及***、计算机设备 - Google Patents

Abstract

本发明公开了一种基于人脸识别的门禁方法及***、计算机设备，该方法包括：当门禁的摄像头前有人时，获取人员图像；获取到人员图像后，分析人员图像中的人员特征，根据人员特征进行广告匹配；以及提取人员图像中的人脸特征数据，进行人脸识别开锁；将与人员特征匹配的广告在屏幕上播放，并更新人员停留时长，当人员停留时长大于阈值时，将当前人员、人员停留时长、播放广告信息以及人员特征上报服务器。本发明的优点在于:在前端设备进行高精度的人脸识别，实时性强；人脸识别与广告匹配模块并行执行，提升了精准广告推送的及时性，并且能增加广告对人员有效播放时长。本发明能可以加快人脸识别门禁***在社区中的推广、使用。

Description

一种基于人脸识别的门禁方法及***、计算机设备

技术领域

本发明涉及人脸识别以及智能门禁领域，尤其涉及一种基于人脸识别的门禁方法及***、计算机设备。

背景技术

近年来，随着智慧城市建设的展开，社区对于智慧门禁的需求呈现爆发式增长。传统的门禁一般采用刷卡的方式进出居民小区，必须随身携带门禁卡，给生活带来不便，也容易造成遗失，如果被不法人员拾到，对于小区安全也是非常大的隐患。

随着AI技术的快速发展，特别是深度学***，人脸识别精度的大幅提升已经能够满足很多商业场景对人脸识别的要求。人脸识别技术社区门禁上的应用也越来越广泛，通过刷脸就能进出社区，解决了传统门禁卡携带的不便和安全隐患问题，给社区居民生活带来了便利性，同时也大大增强了社区的安全性，能够有效的防止犯罪事件的发生，大幅提升追查犯罪嫌疑人的效率，任何进出社区的人员都能够在人脸识别***找到。

现有的人脸门禁***，多采用云平台进行人脸识别和广告计算，并且都是在人脸识别之后再进行广告推送，存在人脸识别延时长、广告推不及时、人员等待开门时间长等问题，广告推送模块置于人脸识别模块之后也会导致人员观看广告播放的时间短，难以吸引人员驻足观看。另外，现有的人脸门禁广告推送多是基于人脸分析得到性别、年龄特征进行广告推送，或者基于后台人员数据分析人员特征进行广告的推送，均存在推送广告不够精准的问题。

发明内容

本发明提供了一种基于人脸识别的门禁方法及***、计算机设备，用以解决人脸识别延时长、广告推不及时、人员等待开门时间长的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于人脸识别的门禁方法，包括以下步骤：

当门禁的摄像头前有人时，获取人员图像；

获取到人员图像后，分析人员图像中的人员特征，根据人员特征进行广告匹配；以及提取人员图像中的人脸特征数据，进行人脸识别开锁；

将与人员特征匹配的广告在屏幕上播放，并更新人员停留时长，当人员停留时长大于设定的阈值时，将当前人员、人员停留时长、播放广告信息以及人员特征上报服务器。

作为本发明的方法的进一步改进：

优选地，人员特征包括：年龄、性别、体型、五官脸型分类、着装以及关联物品；根据人员特征进行广告匹配是利用已训练好的人员特征分类模型进行分类匹配，人员特征分类模型采用：深度学习、强化学习、生成对抗网络和模式识别方法中的一种或者任意几者的组合，进行设计和训练得到。

优选地，提取人员图像中的人脸特征数据后，包括将当前人脸特征数据与最新通过对象进行1:1的人脸特征比对；

如果当前人脸特征数据与最新通过对象相同，则判断当前人员未发生变化，累加当前人员的人员停留时长；最新通过对象为最近一次人脸识别验证通过的人员；

如果当前人脸特征数据与最新通过对象不同，则将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，当比对成功时，将当前人脸特征数据标识为最新通过对象，重新计算人员停留时长，并将识别记录上报服务器，并开启门禁。

优选地，当人员停留时长大于设定的阈值时，将当前播放广告信息设置为当前人员感兴趣的广告，并在下一次人员通过门禁或者使用手机APP时，向人员推送广告或者与广告同类别的广告。

优选地，提取人员图像中的人脸特征数据采用深度学习、强化学习、生成对抗网络及模式识别方法中的一种或任意几种的组合进行人脸特征提取，将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，采用线性查询比对、基于哈希的索引方法进行检索比对以及基于支撑点度量空间索引的方法中的一种或者几种的组合进行检索比对。

本发明还提供一种基于人脸识别的门禁***，包括：

人脸检测模块，用于当门禁的摄像头前有人时，获取人员图像；

人员特征分析模块，用于在获取到人员图像后，基于人员图像分析人员特征；

人脸识别模块，用于提取人员图像中的人脸特征，进行人脸识别开锁；

广告匹配单元，用于根据人员特征进行广告匹配，将与人员特征匹配的广告在屏幕上播放；

停留时间计算单元，用于计算人员停留时长；

上报单元，当人员停留时长大于阈值时，将从停留时间计算单元获取的当前人员、人员停留时长；以及从广告匹配单元获取的播放广告信息以及人员特征上报服务器。

作为本发明的门禁***的进一步改进：

优选地，***还包括智能门禁单元，智能门禁单元用于在提取人员图像中的人脸特征数据后，将当前人脸特征数据与最新通过对象进行1:1的人脸特征比对；

如果当前人脸特征数据与最新通过对象相同，则可以判断当前人员未发生变化，并通知停留时间计算单元累加当前人员的人员停留时长；最新通过对象为最近一次人脸识别验证通过的人员；

如果当前人脸特征数据与最新通过对象不同，则将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，当比对成功时，将当前人脸特征数据标识为最新通过对象，并通知停留时间计算单元重新计算人员停留时长，并经上报单元将识别记录上报服务器，并开启门禁。识别未通过时，识别记录也上报服务器，供后台查询。

优选地，人员特征包括但不限于年龄、性别、体型、五官脸型分类、着装以及关联物品；广告匹配单元根据人员特征进行广告匹配，是利用已训练好的人员特征分类模型进行分类匹配，人员特征分类模型采用：深度学习、强化学习、生成对抗网络和模式识别方法中的一种或者任意几者的组合，进行设计和训练得到。

优选地，当人员停留时长大于设定的阈值时，上报单元将当前播放广告信息设置为当前人员感兴趣的广告上报给服务器；服务器用于在下一次人员通过门禁或者使用手机APP时，向人员推送广告或者与广告同类别的广告。

本发明还提供一种计算机***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。

本发明具有以下有益效果：

本发明的基于人脸识别的门禁方法和***，其优点在于：在前端设备进行高精度的人脸识别，实时性强；利用机器学习方法在前端设备上基于人员图像进行人员特征分析，能够提升特征抽取的粒度，提取更多维度的特征，从而提升广告匹配精度；人脸识别与广告匹配模块并行执行，提升了精准广告推送的及时性，并且能增加广告对人员有效播放时长；***支持基于ARM处理器的设备中运行，能大幅减小设备运行功耗。设备的运营带来可观收益，可以加快人脸识别门禁***在社区中的推广、使用。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的基于人脸识别的门禁方法的流程示意图；

图2是本发明优选实施例2的基于人脸识别的门禁方法的流程示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

参见图1，本发明的基于人脸识别的门禁方法，包括以下步骤：

当门禁的摄像头前有人时，获取人员图像；

获取到人员图像后，分析人员图像中的人员特征，根据人员特征进行广告匹配；以及提取人员图像中的人脸特征数据，进行人脸识别开锁；

将与人员特征匹配的广告在屏幕上播放，并更新人员停留时长，当人员停留时长大于设定的阈值(本实施例中，阈值范围5-10s，可以根据需要配置，阈值越大，说明停留时间超过阈值的用户对当前广告越感兴趣，但获取的用户会减少。)时，将当前人员、人员停留时长、播放广告信息以及人员特征上报服务器。

通过上述步骤，能够大幅降低人脸门禁设备安装、运营成本，实时精准广告推送能够为设备的运营带来可观收益，可以加快人脸识别门禁***在社区中的推广、使用。

实际实施时，以上的方法还能进行以下的扩充或应用，以下实施例中的技术特征都能相互组合，实施例仅作为示例，不作为对技术特征的正常组合限制。

实施例1：

参见图1，本实施例的基于人脸识别的门禁方法，包括以下步骤：

当门禁的摄像头前有人时，获取人员图像；

获取到人员图像后，分析人员图像中的人员特征，人员特征包括：年龄、性别、体型、五官脸型分类、着装以及关联物品，根据人员特征进行广告匹配；人员特征是利用已训练好的人员特征分类模型，该模型可以采用包括但不限于深度学习、强化学习、生成对抗网络、传统的模式识别方法等机器学习方法进行设计、训练，也可以是多种不同方法的机器学习模型相组合进行人员特征分析。针对人员图像进行人员特征分析，能够实时的分析出图像中的人员特征，用于进行广告匹配。比如通过算法模型分析出当前人员为穿运动装的年轻人，则可以推送健身房广告；如果该人员为高颜值、穿短裙、拎着小包的年轻女性，可以推送化妆品、减肥药、LV包或旅游等广告；如果该人员为穿正装打领带拉着皮箱的中年男人，可以推送房产、豪车、酒店和会所等广告。通过年龄、性别、着装、脸型五官分类(胖、瘦、圆或长脸型，肤色亮或暗、皮肤粗糙或光滑、眼睛眉毛形状、鼻子长度以及下巴形状等特征中的一种或者任意几种的组合)、体型、关联物品等多个特征结合来更好的精准匹配广告进行推送，提升广告推送的精准性。

同时提取人员图像中的人脸特征数据，进行人脸识别开锁。包括将当前人脸特征数据与最新通过对象进行1:1的人脸特征比对；

如果当前人脸特征数据与最新通过对象相同时，则可以判断当前人员未发生变化，累加人员停留时长；最新通过对象为最近一次人脸识别验证通过的人员；

如果当前人脸特征数据与最新通过对象不同时，则将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，当比对成功时，将当前人脸特征数据标识为最新通过对象，重新计算人员停留时长，并将识别记录上报服务器，并开启门禁。

同时进行广告匹配：将与人员特征匹配的广告在屏幕上播放，并更新人员停留时长，当人员停留时长大于阈值时，将当前人员、人员停留时长、播放广告信息以及人员特征上报服务器。

当人员停留时长大于阈值时，可以确定该人员对播放广告感兴趣，并且停留时长与感兴趣程度成正比，进一步将当前播放广告信息设置为当前人员感兴趣的广告，并在下一次人员通过门禁或者使用手机APP时，向人员推送广告或者与广告同类别的广告。

提取人员图像中的人脸特征数据采用基于深度学习的神经网络算法模型完成；将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，采用线性查询比对、基于哈希的索引方法进行检索比对以及基于支撑点度量空间索引的方法中的一种或者几种的组合进行检索比对。

本实施例还提供一种基于人脸识别的门禁***，包括：

人脸检测模块，位于前端摄像头中，用于当门禁的摄像头前有人时，获取人员图像；

人员特征分析模块，位于前端门禁机中，获取到人员图像后，由该模块分析人员图像中的人员特征；人员特征包括但不限于年龄、性别、体型、五官脸型分类、着装以及关联物品；广告匹配单元根据人员特征进行广告匹配，是利用已训练好的人员特征分类模型进行分类匹配，人员特征分类模型采用：深度学习、强化学习、生成对抗网络和模式识别方法中的一种或者任意几者的组合，进行设计和训练得到。

人脸识别模块，位于前端门禁机中，由该模块提取人员图像中的人脸特征数据，进行人脸识别开锁；

广告匹配单元，根据人员特征进行广告匹配，将与人员特征匹配的广告在屏幕上播放；

停留时间计算单元，用于计算人员停留时长；

上报单元，当人员停留时长大于阈值时，将从停留时间计算单元获取的当前人员、人员停留时长；以及从广告匹配单元获取的播放广告信息以及人员特征上报服务器；还用于，在当人员停留时长大于设定的阈值时，将当前播放广告信息设置为当前人员感兴趣的广告上报给服务器；服务器用于在下一次人员通过门禁或者使用手机APP时，向人员推送广告或者与广告同类别的广告。

智能门禁单元，智能门禁单元用于在提取人员图像中的人脸特征数据后，将当前人脸特征数据与最新通过对象进行1:1的人脸特征比对；如果当前人脸特征数据与最新通过对象相，则可以判断当前人员未发生变化，并通知停留时间计算单元累加当前人员的人员停留时长；最新通过对象为最近一次人脸识别验证通过的人员；如果当前人脸特征数据与最新通过对象不同时，则将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，当比对成功时，将当前人脸特征数据标识为最新通过对象，并通知停留时间计算单元重新计算人员停留时长，并经上报单元将识别记录上报服务器，并开启门禁。

其中，人脸检测模块位于前端摄像头中，人员特征分析模块、人脸识别模块、广告匹配单元和停留时间计算单元以及上报单元均位于前端门禁设备中。

实施例2：

本实施例是实施例1的应用例，本实施例硬件采用RK3399的ARM板，Cortex-A72+Cortex-A53六核64-bit 2.0GHz处理器，性能强悍，操作***为ubuntu，采用RK3399能够确保应用获得强大的性能支撑，降低产品应用的成本，ARM的低功耗能够降低门禁***长时间运行所带来的电力消耗，降低了运营成本，同时也降低了产品的使用门槛，便于产品的快速推广应用。

参见图2，本实施例的基于人脸识别的门禁方法，具体步骤如下：

1)人脸检测模块，在摄像头前端进行人脸检测，如果检测到人脸，则执行后续步骤；

2)人脸特征抽取，从步骤1)中获取到人脸图像，利用基于深层神经网络的人脸识别算法模型进行人脸特征数据的抽取；

3)判断是否为最新通过对象，利用当前人脸特征与最新通过对象进行1:1的人脸特征比对，能够判断当前人员是否发生变化，如果没变化，则执行步骤10)；如果发生变化，则执行步骤4)；

4)人脸比对，是否在白名单库，利用当前摄像头捕获到的人脸特征与已授权的白名单库进行1:N的人脸比对，如果在白名单中，则执行步骤5)；如果不在白名单中，则本次人脸识别流程结束；

5)标识为最新通过对象，识别记录上报服务器。当步骤4)完成比对校验后，将识别的记录信息上报管理中心服务器；

6)电磁锁打开，步骤5)完成之后，门禁开锁，人员放行；

7)人员画像分析(年龄、性别、体型、着装等)，从1)中获取拍摄到的人员照片，利用特征分析算法进行人员画像特征分析；

8)广告模块精准匹配广告，基于步骤7)人员画像分析得到的人员特征进行广告精准匹配；

9)广告播放，步骤8)匹配到的广告通过屏幕进行投放；

10)计算停留时长，由步骤3)得到当前人员特征与最新通过对象特征匹配，更新人员停留时长；

11)停留时长>阈值，设置一个阈值用于确定人员是否对投放广告感兴趣，如果停留时长超过设置的阈值，则执行步骤12)；

12)将当前人员、停留时长、播放广告信息、人员特征分析数据上报服务器。

实施例3：

本实施例提供一种计算机***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例的步骤。

综上可知，本发明基于ARM的前端设备能够大幅降低设备安装、运营成本，通过人员画像分析进行实时精准广告推送带来可观的运营收入。基于ARM人脸识别的门禁装置，在ARM运行上，硬件购买成本低，运行功耗低，能够显著降低安装、运营成本，有利于产品的推广、普及。所述人员画像分析利用机器学习算法对摄像头拍摄的人员照片进行分析，从而获得人员的年龄、性别、着装等特征信息，精准分析人员所属人群、特征、兴趣偏好，利用广告模块进行实时精准广告推送，从而为设备运营带来可观收入。所述广告精准推送与人脸识别并行执行，提升了广告推送的实时性，能够增加广告对人员的播放时长，提升广告推送效果。广告精准推送与人脸识别并行执行，提升了广告推送的实时性，能够增加广告对人员的播放时长，提升广告推送效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人脸识别的门禁方法，其特征在于，包括以下步骤：

当门禁的摄像头前有人时，获取人员图像；

获取到人员图像后，分析所述人员图像中的人员特征，根据所述人员特征进行广告匹配；以及提取人员图像中的人脸特征数据，进行人脸识别开锁；

将与所述人员特征匹配的广告在屏幕上播放，并更新人员停留时长，当所述人员停留时长大于设定的阈值时，将当前人员、人员停留时长、播放广告信息以及人员特征上报服务器。

2.根据权利要求1所述的基于人脸识别的门禁方法，其特征在于，所述人员特征包括：年龄、性别、体型、五官脸型分类、着装以及关联物品；根据所述人员特征进行广告匹配是利用已训练好的人员特征分类模型进行分类匹配，所述人员特征分类模型采用：深度学习、强化学习、生成对抗网络和模式识别方法中的一种或者任意几者的组合，进行设计和训练得到。

3.根据权利要求1所述的基于人脸识别的门禁方法，其特征在于，所述提取人员图像中的人脸特征数据后，包括将当前人脸特征数据与最新通过对象进行1:1的人脸特征比对；

如果当前人脸特征数据与最新通过对象相同，则判断当前人员未发生变化，累加当前人员的人员停留时长；所述最新通过对象为最近一次人脸识别验证通过的人员；

如果当前人脸特征数据与最新通过对象不同，则将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，当比对成功时，将当前人脸特征数据标识为最新通过对象，重新计算人员停留时长，并将识别记录上报服务器，并开启门禁。

4.根据权利要求3所述的基于人脸识别的门禁方法，其特征在于，当所述人员停留时长大于设定的阈值时，将当前播放广告信息设置为当前人员感兴趣的广告，并在下一次所述人员通过门禁或者使用手机APP时，向人员推送所述广告或者与所述广告同类别的广告。

5.根据权利要求3所述的基于人脸识别的门禁方法，其特征在于，所述提取人员图像中的人脸特征数据采用深度学习、强化学习、生成对抗网络及模式识别方法中的一种或任意几种的组合进行人脸特征提取，所述将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，采用线性查询比对、基于哈希的索引方法进行检索比对以及基于支撑点度量空间索引的方法中的一种或者几种的组合进行检索比对。

6.一种基于人脸识别的门禁***，其特征在于，包括：

人脸检测模块，用于当门禁的摄像头前有人时，获取人员图像；

人员特征分析模块，用于在获取到人员图像后，基于所述人员图像分析人员特征；

人脸识别模块，用于提取人员图像中的人脸特征，进行人脸识别开锁；

广告匹配单元，用于根据人员特征进行广告匹配，将与人员特征匹配的广告在屏幕上播放；

停留时间计算单元，用于计算人员停留时长；

上报单元，当人员停留时长大于阈值时，将从停留时间计算单元获取的当前人员、人员停留时长；以及从广告匹配单元获取的播放广告信息以及人员特征上报服务器。

7.根据权利要求6所述的基于人脸识别的门禁***，其特征在于，所述***还包括智能门禁单元，所述智能门禁单元用于在提取人员图像中的人脸特征数据后，将当前人脸特征数据与最新通过对象进行1:1的人脸特征比对；

如果当前人脸特征数据与最新通过对象相同，则可以判断当前人员未发生变化，并通知停留时间计算单元累加当前人员的人员停留时长；所述最新通过对象为最近一次人脸识别验证通过的人员；

如果当前人脸特征数据与最新通过对象不同，则将当前人脸特征数据与已授权的白名单库进行1:N的人脸比对，当比对成功时，将当前人脸特征数据标识为最新通过对象，并通知停留时间计算单元重新计算人员停留时长，并经上报单元将识别记录上报服务器，并开启门禁。

8.根据权利要求6所述的基于人脸识别的门禁***，其特征在于，所述人员特征包括但不限于年龄、性别、体型、五官脸型分类、着装以及关联物品；所述广告匹配单元根据所述人员特征进行广告匹配，是利用已训练好的人员特征分类模型进行分类匹配，所述人员特征分类模型采用：深度学习、强化学习、生成对抗网络和模式识别方法中的一种或者任意几者的组合，进行设计和训练得到。

9.根据权利要求7所述的基于人脸识别的门禁***，其特征在于，当所述人员停留时长大于设定的阈值时，上报单元将当前播放广告信息设置为当前人员感兴趣的广告上报给服务器；

所述服务器用于在下一次所述人员通过门禁或者使用手机APP时，向人员推送所述广告或者与所述广告同类别的广告。

10.一种计算机***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一所述方法的步骤。