CN111160307A - 一种人脸识别方法及人脸识别打卡*** - Google Patents

Abstract

本发明公开了一种人脸识别方法及人脸识别打卡***，通过采集待识别的人脸图片，利用人脸公开的68个关键点数据集来建立基于MobileNet轻量级的landmark模型，并通过这个模型来检测人脸关键点，再通过人脸关键点来估算人脸姿态，符合要求的人脸图片方可进入图像识别环节，最后还将完成识别且被标记id的新的人脸图片进行训练，训练完成的人脸图片再更新至人脸特征库中，替代旧的人脸图片，从而实现人脸识别模型的实时更新；轻量级的landmark模型在不同设备中的适用范围得到扩大；在不同背景环境下本发明都能完成图像识别与图像训练。基于这种人脸识别方法，本发明还公开一种人脸识别***。

Description

一种人脸识别方法及人脸识别打卡***

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法及人脸识别***。

背景技术

人脸识别，是基于人的脸部特征信息来进行身份识别的一种生物识别技术。通常采用摄像头或摄像机来采集含有人脸的图像或视频，并自动在图像中检测和跟踪相关人脸数据，将提取到的人脸特征与数据库中已存有的特征进行比对，通过获取到的比对结果，来对待识别的人脸图像进行身份识别。因此，对检测到的人脸进行脸部的一系列技术，通常被称为人脸识别、面部识别。

随着人脸识别技术的不断成熟和社会认同度的不断提高，人脸识别已被应用于多个领域，如人脸识别门禁考勤***，人脸识别防盗门，人脸识别手机解锁，机器人的人脸识别功能等。现有的人脸识别方案由人脸识别打卡单业务逻辑程序实现，算法为使用神经网络在公开数据集上进行训练，训练出通用模型以服务于所有场景。但这种方案实现的人脸识别***，采用了公开数据集来训练人脸识别模型，而这种训练所使用的公开数据集为师姐各种人种，中国人占的比例不高，且常出现有标注错误的情况；其次，传统的方案在训练数据集时，仅在固定环境，故对于真实变化的环境，其适用能力不强。

发明内容

本发明针对现有技术中的不足，提供一种人脸识别打卡方法，包括以下步骤：

步骤一：采集基础人脸图片，注册首版的人脸识别模型；

步骤二：实时采集当前待识别用户的动态人脸图片；

步骤三：检测所述动态人脸图片上的人脸；

步骤四：检测所述动态人脸图片的人脸关键点；

步骤五：检测人脸姿态角，估算人脸姿态，发送人脸识别请求；

步骤六：服务端接收所述人脸识别请求后对动态人脸图片进行识别；

步骤七：所述动态人脸图片被识别为正确后，人脸识别打卡成功；

步骤八：将采集到的被识别为正确的所述动态人脸图片进行训练并更新人脸识别模型，所述更新后的人脸识别模型用于后续动态人脸图片进行人脸识别的对比参照物。

可选的，所述步骤一还包括：

计算基础人脸图片的embedding，并将所述基础人脸图片的embedding保存至人脸特征库，给所述基础人脸图片的embedding分配唯一faceid。

可选的，所述步骤三还包括：

采用mtcnn人脸检测模型来检测所述动态人脸图片上的人脸。

可选的，所述步骤四还包括：

使用人脸公开的68个关键点数据集，在基于MobileNet轻量级网络结构条件下训练出包括68个关键点的Landmark模型，所述Landmark模型用于检测所述动态人脸图片的人脸关键点位置。

可选的，所述步骤五包括：

使用检测出的68个人脸关键点估算出人脸姿态，所述人脸姿态又人脸姿态角表示，所述人脸姿态角包括roll，pitch和yaw；

将yaw角度在-10°至10°范围内的动态人脸图片上传至阿里云OSS并获取URL；

向服务端发送所述URL的人脸识别请求。

可选的，所述步骤六还包括：

所述服务端在接收到所述人脸识别请求后，先计算所述动态人脸图片512维的embedding，利用所述动态人脸图片的embedding在所述人脸特征库中进行搜索，选取所述人脸特征库中与动态人脸图片的embedding余弦相似度最高且大于0.5的基础人脸图片的embedding的faceid作为所述动态人脸图片的id。

可选的，所述步骤六还包括：

当人脸特征库中的基础人脸图片的embedding已被替换成旧的动态人脸图片的embedding时，所述服务端在接收到新的人脸识别请求后，先计算新的动态人脸图片512维的embedding，利用所述新的动态人脸图片的embedding在人脸特征库中进行搜索，选取人脸特征库中与新的动态人脸图片的embedding余弦相似度最高且大于0.5的旧的动态人脸图片的embedding的faceid作为所述新的动态人脸图片的id。

可选的，所述人脸识别打卡***包括图像采集模块，人脸特征库，人脸检测模块，图像数据检测模块，图像识别模块，图像训练模块；

所述图像采集模块用于采集人脸图片，所述人脸图片包括基础人脸图片和动态人脸图片，所述基础人脸图片被注册并保存于所述人脸特征库；

所述人脸检测模块使用mtcnn人脸检测模型检测人脸图片上的人脸；

所述图像数据检测模块用于计算人脸图片的embedding，以及检测人脸图片的人脸关键点；

所述图像识别模块用于将动态人脸图片的embedding与基础人脸图片embedding进行比较，选取余弦相似度高且大于0.5的人脸图片的embedding的faceid作为该动态人脸图片的id；

所述图像训练模块用于训练已完成识别并被标记id的动态人脸图片，并将所述动态人脸图片更新到基础人脸识别模型。

可选的，所述图像数据检测模块采用基于MobileNet轻量级网络结构来训练包括68个关键点的Landmark模型，并用所述Landmark模型来检测人脸关键点；

所述图像数据检测模块利用检测出的68个人脸关键点来估算出人脸姿态角，所述人脸姿态角包括roll，pitch，yaw，将yaw角度在-10°至10°范围内的人脸图片上传至阿里云OSS并获取URL，拿所述URL向所述图像识别模块发送图像识别指令。

可选的，所述图像识别模块用于接收所述图像识请求；

所述图像识别模块通过所述图像数据检测模块计算得到的动态人脸图片的embedding，并利用所述动态人脸图片的embedding在人脸识别库中进行搜索来选取动态人脸图片的id。

本发明的有益之处在于：

本发明所公开的人脸识别方法和人脸识别***，采用基于MobileNet轻量级网络结构的landmark模型来检测人脸姿态，不但可以起到正脸的人脸图片筛选，还可以扩大本发明的应用范围。因为传统的landmark模型相比于本发明的landmark模型，其占据空间较大，使得只能在高端芯片或高端手机上运行，但本发明的landmark模型在普通的手机等移动终端(CPU)也能实现运行。

本发明采用训练已完成识别且被标记id的新的人脸图片的方法，将训练完成的新的人脸图片上传更新至人脸特征库中，替代原有的旧的人脸图片，从而实现人脸识别模型的动态更新，提高人脸识别模型的精度。

本发明还通过利用人脸公开的68个关键点数据集，来检测人脸图片的人脸关键点，并通过人脸关键点估算人脸姿态，选择符合人脸姿态角要求的正脸图片用于人脸识别，使得所建立人脸识别模型对真实环境的适应力得到有效提高，在不同的环境背景下，都可以对人脸图片进行有效识别。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明公开的一种图像识别方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。

实施例一：

本发明公开一种人脸识别方法，先采集待识别的人脸图片，通过采用包括68个关键点的landmark模型来检测人脸关键点，再通过人脸关键点来估测人脸姿态，选择人脸姿态符合正脸标准的人脸图片，并通过将此人脸图片上传阿里云OSS来获得图片链接(URL)，再通过向服务端发送此图片链接的人脸识别请求服务，服务端则会将此人脸图片与数据库中的人脸识别模型进行比对，从而获得此人脸图片的身份信息，并将最新获得的人脸图片进行训练，更新到人脸识别模型的数据库中，最终实现数据采集、模型训练、模型更新的模型服务闭环。具体地，本发明所公开的人脸识别方法包括以下步骤。

步骤一：在进行人脸识别操作的阶段前，先进行首版的人脸识别模型的建立，用于后续人脸识别阶段的动态人脸图片的对比参照物。

先使用图像采集工具采集基础人脸图片，用作首版的人脸识别模型。本实施例采用摄像头来采集人脸图片，在其他实施例中可选择其他图像采集工具。在本步骤中，使用摄像头采集到的基础人脸图片，需要对其进行人脸数据的采集与注册。其中，人脸数据包括512维的特征向量，即需要获得基础人脸图片的embedding。因此，在采集到基础人脸图片后，需要计算此基础人脸图片的embedding。同时，根据本发明的实际应用场合，基础人脸图片的人脸数据还可以包括注册的个人信息，如姓名、年龄、性别和手机号等，这些个人信息内容并不局限于本实施例，在其他实施例中可根据实际需求而定。最后，将已完成数据计算与信息注册的基础人脸图片的embedding保存至人脸特征库，并为此基础人脸图片的embedding分配唯一的faceid。

步骤二：在进行人脸识别阶段时，人脸再次进入摄像头的摄像范围内，摄像头采集需要被识别的动态人脸图片。

步骤三：对采集到的动态人脸图片进行人脸的检测，确认采集到的动态人脸图片是否包含可以用来被识别的完整人脸。本实施例选择采用mtcnn人脸检测模型在嵌入式设备中实时地检测人脸。其中，mtcnn人脸检测模型为现有技术中的一种人脸检测模型。

步骤四：本实施例使用人脸公开的68个关键点数据集来检测动态人脸图片上的人脸关键点位置。其中，本步骤在现有工艺的MobileNet基础上，设计一个基于MobileNet的轻量级网络结构，并用此轻量级网络结构来训练出包括68个关键点的的Landmark模型，训练完成的Landmark模型则可用于检测动态人脸图片上的人脸关键点位置。本实施例在基于低端嵌入式芯片上设计一个轻量级的Landmark模型的技术，使Landmark模型的大小仅为1兆，运行速度更快，且Landmark模型的精度也更高，从而在手机等移动终端(CPU)中也能实时运行，亦使移动设备也具备AI计算的能力；而传统的Landmark模型的大小较大于本发明基于MobileNet轻量级网络结构所训练的Landmark模型，因此只能在高端芯片或高端手机上运行，使得采用Landmark模型所设计的人脸识别***的应用领域遭到限制。

步骤五：采用步骤四中的Landmark模型检测到的68个人脸关键点来估算出人脸姿态，其中，人脸姿态可由姿态角来表述，姿态角包括pitch(围绕X轴旋转，亦称作俯仰角)，yaw(围绕Y轴旋转，亦称作偏航角)和roll(围绕Z轴旋转，亦称作翻滚角)。由于本实施例已通过步骤三中的mtcnn人脸检测模型检测到人脸，且又因为人头部在颈肩的运动局限性，本步骤只需考虑yaw角度符合识别要求即可，而无需考虑pitch和roll的角度。故在本步骤中，选择符合正脸人脸姿态要求的动态人脸图片，即yaw角度在-10°～10°范围内的动态人脸图片，来进行下一步的人脸识别环节，并将此动态人脸图片上传至阿里云OSS，再通过阿里云OSS获得该动态人脸图片的图片链接(URL)，最后向服务端发送此图片链接(URL)的人脸识别请求。

步骤六：服务端在接收到人脸识别请求时，会先计算图片链接(URL)所包含的动态人脸图片的512维embedding，再根据此动态人脸图片的embedding而从人脸特征库中进行搜索；对比人脸特征库中基础人脸图片的embedding，服务端会选取与动态人脸图片的embedding余弦相似度最高且大于0.5的基础人脸图片，并将此基础人脸图片的faceid作为被识别的动态人脸图片的id。动态人脸图片将获得基础人脸图片的faceid所包含的全部人脸信息，如姓名、年龄、性别和手机号等。在人脸特征库中，与待识别的动态人脸图片对比而余弦相似度最高的基础人脸图片，若余弦相似度不大于0.5，则会视作待识别的动态人脸图片先前没有进行过基础人脸图片的采集与信息注册，即为陌生的新面孔。

步骤七：线下模型训练服务会利用采集到的已完成人脸识别和标记id的动态人脸图片进行训练，训练之后的动态人脸图片则会被更新到线上服务，即首版的人脸识别模型中的基础人脸图片则会被替换成动态人脸图片，同时人脸识别模型也更换为动态人脸图片，人脸特征库中的基础人脸图片的embedding也会被替换成训练过的动态人脸图片的embedding。

当再次进行人脸识别操作时，新版的动态人脸图片再次重复步骤二至步骤七的操作，从而实现在完成首次人脸数据采集、模型构建后进行的人脸识别、模型训练、模型更新、再次新人脸识别的模型服务闭环，从而达到人脸识别模型动态更新的效果。

本发明所公开的人脸识别方法，采用基于轻量级的landmark模型来检测人脸姿态，不但起到筛选正脸图片进行人脸识别请求的设计目的，还可扩大本实施例所公开的人脸识别方法的应用范围，使在手机等移动终端(CPU)中也能实时运行，减少了因为landmark模型较大而只能在高端芯片或高端手机上运行的局限性；此外，本实施例通过在进行人脸识别操作的同时，选择已完成识别并被标记id的动态人脸图片来进行线下的训练，再将训练完成的新人脸识别模型更新到线上，使新的动态人脸图片的embedding替换基础人脸图片的embedding，或替换旧的动态人脸图片的embedding，从而达到人脸识别模型的动态更新，进一步地提高人脸识别模型的精度。由于本实施例训练的动态人脸图片来源于摄像头对人脸的实时采集，基础人脸图片也来源于摄像头的采集，而人脸识别模型又是动态更新的，因此，采用本实施例所公开的人脸识别方法可有效避免采用公开数据集进行训练所带来的因人种比例失衡而标记出错的现象。传统的人脸识别模型训练所采用的公开数据集为包括世界各种人种的，中国人比例不高，极易出现标记错误的问题。且本实施例在采集动态人脸图片时，是为先用mtcnn人脸检测模型确定动态人脸图片中包括人脸，又用landmark模型检测人脸关键点来估测人脸姿态，最后选择符合正脸人脸姿态要求的动态人脸图片方可进入人脸识别的比对环节，可有效提高人脸识别模型对于真实环境的适应力，即本实施例所公开的人脸识别方法，可不局限于在同一个固定的环境背景，而可以服务于所有场景。

实施例二：

本实施例公开一种人脸识别***，按照实施例一所公开的人脸识别方法的步骤流程进行工作。其中，人脸识别***包括图像采集模块，人脸特征库，人脸检测模块，图像数据检测模块，图像识别模块以及图像训练模块。

图像采集模块用于采集人脸图片。其中，人脸图片包括基础人脸图片和动态人脸图片。人脸识别***工作时，例如被应用到企业的人脸打卡的***中时，本实施例所公开的人脸识别***在进行正常人脸识别前，图像采集模块会先采集第一版的人脸图片用作首版的人脸识别模型，即会先采集基础人脸图片，并通过图像数据检测模块计算基础人脸图片的embedding，即获得基础人脸图片512维的特征向量；此后，***将该基础人脸图片的embedding保存至人脸特征库中，并对该基础人脸图片进行注册，输入如姓名、年龄、性别等多项个人信息，根据每一个基础人脸图片的embedding与个人信息的唯一性，为该基础人脸图片的embedding分配唯一的faceid。在后续的识别动态人脸图片的工作中，此基础人脸图片将作为首版的人脸识别模型，用于后续识别动态人脸图片的比对参照物。

人脸检测模块用于检测采集到的人脸图片上是否有完整人脸。在进行人脸识别环节过程时，图像采集模块会实时采集动态人脸图片，并通过人脸检测模块检测是否包含完整人脸。其中，人脸检测模块使用mtcnn人脸检测模型在嵌入式设备中来实时的检测采集到的动态人脸图片上的人脸。

图像数据检测模块用于计算人脸图片的embedding以及人脸关键点。其中，除基础人脸图片在进行注册时会通过图像数据检测模块计算embedding外，动态人脸图片被采集后也需要经过图像数据检测模块来计算计算embedding。在人脸识别过程中，图像数据检测模块会根据人脸公开的68个关键点数据集，基于MobileNet轻量级网络结构来训练包括68个关键点的Lankmark模型，此Lankmark模型将用于检测动态人脸图片的人脸关键点。在检测到动态人脸的68个人脸关键点后，图像数据检测模块还会通过这68个人脸关键点来估算人脸姿态，选择正脸的人脸姿态进入图像识别环节。其中，人脸姿态可由人脸姿态角来显示，人脸姿态角包括roll、pitch和yaw。本实施例只需选取yaw角度在-10°至10°范围内的动态人脸图片作为正脸标准即可。此外，本实施例还包括通过此动态人脸图片上传至阿里云OSS的方式获取图片链接(URL)，最后向图像识别模块发送动态人脸图片图片链接(URL)的图像识别指令，图像识别模块接收识别指令后即可开始进入图像对比识别的环节。

图像识别模块用于比较动态人脸图片的embedding和基础人脸图片的embedding，并通过比较而选取与动态人脸图片相比，两者余弦相似度高且大于0.5的基础人脸图片，将此基础人脸图片的faceid作为动态人脸图片的id。其中，基础人脸图片的faceid所包含的个人信息如姓名、年龄、性别等也将共同归属于动态人脸图片的id名下。

图像训练模块用于训练被已完成识别并被标记id的动态人脸图片，并将训练完成的动态人脸图片上传更新至人脸特征库，用于替代原有的基础人脸图片，即人脸特征库中的人脸图片的embedding得到更新，而成为新的人脸识别模型。

在后续的人脸识别过程中，当图像采集模块再次采集到新的动态人脸图片时，人脸识别***的各个模块经过前面所介绍的工作内容后，人脸特征库中新的动态人脸图片的embedding替代旧的动态人脸图片的embedding，最终实现人脸识别模型的动态更新。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (10)

1.一种人脸识别打卡方法，其特征在于，包括以下步骤：

步骤一：采集基础人脸图片，注册首版的人脸识别模型；

步骤二：实时采集当前待识别用户的动态人脸图片；

步骤三：检测所述动态人脸图片上的人脸；

步骤四：检测所述动态人脸图片的人脸关键点；

步骤五：检测人脸姿态角，估算人脸姿态，发送人脸识别请求；

步骤六：服务端接收所述人脸识别请求后对动态人脸图片进行识别；

步骤七：所述动态人脸图片被识别为正确后，人脸识别打卡成功；

步骤八：将采集到的被识别为正确的所述动态人脸图片进行训练并更新人脸识别模型，所述更新后的人脸识别模型用于后续动态人脸图片进行人脸识别的对比参照物。

2.根据权利要求1所述的一种人脸打卡识别方法，其特征在于，

所述步骤一还包括：

计算基础人脸图片的embedding，并将所述基础人脸图片的embedding保存至人脸特征库，给所述基础人脸图片的embedding分配唯一faceid。

3.根据权利要求2所述的一种人脸打卡识别方法，其特征在于，

所述步骤三还包括：

采用mtcnn人脸检测模型来检测所述动态人脸图片上的人脸。

4.根据权利要求3所述的一种人脸打卡识别方法，其特征在于，

所述步骤四还包括：

使用人脸公开的68个关键点数据集，在基于MobileNet轻量级网络结构条件下训练出包括68个关键点的Landmark模型，所述Landmark模型用于检测所述动态人脸图片的人脸关键点位置。

5.根据权利要求4所述的一种人脸打卡识别方法，其特征在于，

所述步骤五包括：

使用检测出的68个人脸关键点估算出人脸姿态，所述人脸姿态又人脸姿态角表示，所述人脸姿态角包括roll，pitch和yaw；

将yaw角度在-10°至10°范围内的动态人脸图片上传至阿里云OSS并获取URL；

向服务端发送所述URL的人脸识别请求。

6.根据权利要求5所述的一种人脸打卡识别方法，其特征在于，

所述步骤六还包括：

所述服务端在接收到所述人脸识别请求后，先计算所述动态人脸图片512维的embedding，利用所述动态人脸图片的embedding在所述人脸特征库中进行搜索，选取所述人脸特征库中与动态人脸图片的embedding余弦相似度最高且大于0.5的基础人脸图片的embedding的faceid作为所述动态人脸图片的id。

7.根据权利要求6所述的一种人脸打卡识别方法，其特征在于，

所述步骤六还包括：

当人脸特征库中的基础人脸图片的embedding已被替换成旧的动态人脸图片的embedding时，所述服务端在接收到新的人脸识别请求后，先计算新的动态人脸图片512维的embedding，利用所述新的动态人脸图片的embedding在人脸特征库中进行搜索，选取人脸特征库中与新的动态人脸图片的embedding余弦相似度最高且大于0.5的旧的动态人脸图片的embedding的faceid作为所述新的动态人脸图片的id。

8.一种人脸识别打卡***，其特征在于：

所述人脸识别打卡***包括图像采集模块，人脸特征库，人脸检测模块，图像数据检测模块，图像识别模块，图像训练模块；

所述图像采集模块用于采集人脸图片，所述人脸图片包括基础人脸图片和动态人脸图片，所述基础人脸图片被注册并保存于所述人脸特征库；

所述人脸检测模块使用mtcnn人脸检测模型检测人脸图片上的人脸；

所述图像数据检测模块用于计算人脸图片的embedding，以及检测人脸图片的人脸关键点；

所述图像识别模块用于将动态人脸图片的embedding与基础人脸图片embedding进行比较，选取余弦相似度高且大于0.5的人脸图片的embedding的faceid作为该动态人脸图片的id；

所述图像训练模块用于训练已完成识别并被标记id的动态人脸图片，并将所述动态人脸图片更新到基础人脸识别模型。

9.根据权利要求8所述的人脸识别打卡***，其特征在于：

所述图像数据检测模块采用基于MobileNet轻量级网络结构来训练包括68个关键点的Landmark模型，并用所述Landmark模型来检测人脸关键点；

所述图像数据检测模块利用检测出的68个人脸关键点来估算出人脸姿态角，所述人脸姿态角包括roll，pitch，yaw，将yaw角度在-10°至10°范围内的人脸图片上传至阿里云OSS并获取URL，拿所述URL向所述图像识别模块发送图像识别指令。

10.根据权利要求9所述的人脸识别打卡***，其特征在于：

所述图像识别模块用于接收所述图像识请求；

所述图像识别模块通过所述图像数据检测模块计算得到的动态人脸图片的embedding，并利用所述动态人脸图片的embedding在人脸识别库中进行搜索来选取动态人脸图片的id。

Images