CN111695431A - 一种人脸识别方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种人脸识别方法、装置、终端设备及存储介质，包括：获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

Description

一种人脸识别方法、装置、终端设备及存储介质

技术领域

本发明涉及计算机图像识别技术领域，尤其涉及一种人脸识别方法、装置、终端设备及存储介质。

背景技术

在某些容易受环境或病毒影响的环境下，为了防止污染物或病毒的传播，需要佩戴口罩，这样，对人脸识别就会造成一定的限制。

现有技术中对人脸识别所需要的样本为没有任何遮挡的人脸图像，若佩戴口罩的人脸图像，采用原来的人脸识别算法，则识别的准确性不高。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种人脸识别方法、装置、终端设备和存储介质。

第一个方面，本发明实施例提供一种人脸识别方法，包括：

获取待贴图的人脸图像；

计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；

根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图；

根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；

将所述目标口罩贴图贴于所述待贴图的人脸图像上，获得目标人脸图像；

对所述目标人脸图像进行人脸识别。

可选地，所述计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息，包括：

通过预设的检测算法对所述人脸图像进行处理，获得人脸关键点的目标位置信息和人脸目标姿态角信息，其中，所述人脸目标姿态角信息包括姿态角的大小和方向。

可选地，预先建立的口罩贴图库采用如下方式建立：

采集戴不同种类的口罩的人脸图像，所述戴不同种类的口罩的人脸图像是在不同角度不同光照强度下拍摄的；

获取所述戴不同种类的口罩的人脸图像中的口罩轮廓信息和关键点信息；

根据所述口罩轮廓信息，对所述戴不同种类的口罩的人脸图像进行抠图，获得所述口罩贴图库，其中，所述口罩贴图库为RGBA格式。

可选地，所述获取待贴图的人脸图像，包括：

获取多张人脸图像，且所述人脸图像中不包含口罩；

将所述多张人脸图像进行对齐，获得所述待贴图的人脸图像。

可选地，所述根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图，包括：

根据所述人脸目标姿态角信息，在预先建立的口罩贴图库中查找，与所述人脸目标姿态角信息的欧氏距离最相近的口罩贴图。

可选地，所述根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐，包括：

根据所述人脸关键点的目标位置信息，对所述目标口罩贴图的关键点的位置信息进行相似变换；

获取贴图所需要的锚点；

根据所述锚点，将所述目标口罩贴图的关键点与所述人脸关键点对齐。

第二个方面，本发明实施例提供一种人脸识别装置，包括：

获取模块，用于获取待贴图的人脸图像；

计算模块，用于计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；

确定模块，用于根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图；

对齐模块，用于根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；

贴图模块，用于将所述目标口罩贴图贴于所述待贴图的人脸图像上，获得目标人脸图像；

识别模块，用于对所述目标人脸图像进行人脸识别。

可选地，所述计算模块，具体用于：

通过预设的检测算法对所述人脸图像中进行处理，获得人脸关键点的目标位置信息和人脸目标姿态角信息，其中，所述人脸目标姿态角信息包括姿态角的大小和方向。

可选地，所述装置还包括模型建立模块，所述模型建立模块，用于：

采集戴不同种类的口罩的人脸图像，所述戴不同种类的口罩的人脸图像是在不同角度不同光照强度下拍摄的；

获取所述戴不同种类的口罩的人脸图像中的口罩轮廓信息和关键点信息；

根据所述口罩轮廓信息，对所述戴不同种类的口罩的人脸图像进行抠图，获得所述口罩贴图库，其中，所述口罩贴图库为RGBA格式。

可选地，所述获取模块，具体用于：

获取多张人脸图像，且所述人脸图像中不包含口罩；

将所述多张人脸图像进行对齐，获得所述待贴图的人脸图像。

可选地，所述确定模块，用于：

根据所述人脸目标姿态角信息，在预先建立的口罩贴图库中查找，与所述人脸目标姿态角信息的欧氏距离最相近的口罩贴图。

可选地，所述对齐模块，具体用于：

根据所述人脸关键点的目标位置信息，对所述目标口罩贴图的关键点的位置信息进行相似变换；

获取贴图所需要的锚点；

根据所述锚点，将所述目标口罩贴图的关键点与所述人脸关键点对齐。

第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；

所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的人脸识别方法。

第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的人脸识别方法。

本发明实施例包括以下优点：

本发明实施例提供的人脸识别方法、装置、终端设备及存储介质，包括：获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

附图说明

图1是本发明的一种人脸识别方法实施例的步骤流程图；

图2是本发明的人脸图像样本采集的示意图；

图3是本发明的口罩关键点和轮廓标注的示意图；

图4是本发明的口罩贴图库的示意图；

图5是本发明的口罩与人脸对齐进行贴图的示意图；

图6是本发明的又一种人脸识别方法实施例的步骤流程图；

图7是本发明的一种人脸识别装置实施例的结构框图；

图8是本发明的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明的一种人脸识别方法实施例的步骤流程图，具体可以包括如下步骤：

S101、获取待贴图的人脸图像；

具体地，这里的人脸图像集不仅可以是自己采集的，也可以是从网络上爬取的，也可以是开源公布的数据集、比如LFW、MS-Celeb-1M等。

自己采集可以是通过摄像头采集人脸未戴口罩的图像，并通过摄像头将图像上传到服务器上，这样，服务器就获取多张人脸图像，其中，该人脸图像中不包括口罩，并将该多张人脸图像进行对齐，获得待贴图的人脸图像。

S102、计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；

具体地，服务器获取上述人脸图像，并根据所获得人脸图像的像素、肤色等，计算出上述人脸图像的面部特征，确定人脸图像的面部特征可以是，检测出人脸图像所示人脸面部的特征点，通过这些关键点之间的相对距离，得到描述上述人脸图像所示人脸面部的特征向量。例如，根据人脸图像中眼睛、鼻子、嘴巴和眉毛的位置和宽度，眉毛的厚度以及形状等特征关系确定的特征向量。上述确定人脸图像的面部特征还可以是，对人脸图像的面部的RGB像素确定人脸图像的面部特征。

对待贴图的人脸图像，通过预设算法获得人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息，其中，人脸目标姿态角信息包括姿态角的大小和方向，具体地，人脸姿态包括:正面、偏航和俯仰，但是不限制于这些。其中，偏航分为左偏和右偏:俯仰分为上仰和下俯。

人脸姿态用角度来表征，包括三个偏航角，例如，yaw、pitch、roll。

S103、根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图；

具体地，在服务器上预先建立口罩贴图库，包括各不同的口罩，服务器在获取到人脸图像的人脸目标姿态角信息后，在预先建立的口罩贴图库中查找与人脸目标姿态角信息对应的目标口罩贴图。

S104、根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；

S105、将所述目标口罩贴图贴于所述待贴图的人脸图像上，获得目标人脸图像；

S106、对所述目标人脸图像进行人脸识别。

本发明实施例提供的人脸识别方法，通过获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

本发明又一实施例对上述实施例提供的方法做进一步补充说明。

为了方案描述清楚，将在下面实施例中，对预先建立的口罩贴图库的建立过程进行详细阐述，包括：

步骤01、采集戴不同种类的口罩的人脸图像，所述戴不同种类的口罩的人脸图像是在不同角度不同光照强度下拍摄的；

具体地，图2本发明的人脸图像样本采集的示意图，如图2所示，为了让口罩贴合人脸更加紧密，必须对口罩以及人脸的角度做相应的约束。最好的做法就是搭建试验台去采集固定角度的口罩数据。

可以从不同的角度架设相机进行拍摄，在同一个角度拍摄两种类型的照片，一种不戴口罩，另外一种戴不同颜色和款式的口罩。拍摄两类照片的主要目的在于，真实的角度和后面进行人脸姿态检测出来的角度可能是有偏差的，通过同一个姿态估计算法得到的姿态数据是属于近似于同源数据，能更加吻合实际贴图操作。

另外，带上口罩后，人脸被遮挡，人脸的姿态角度检测其实会受到一些影响，如果用那张不带口罩的会让姿态角提取更加准确。

实验台搭建完毕后就可以进行开始采集工作了，准备10种不同颜色与款式的口罩，找5个志愿者，对于相机的每个角度，每个志愿者采集1张不戴口罩的数据，和10张戴不同口罩的数据，因为这个过程是相机在变化位置进行拍摄，因此志愿者不需要移动位置，这也能让实验采集的数据角度更加真实。可以控制相机每次移动的角度，移动的角度越小。那么其对准的精度也就会越高，选择了-45°,-30°,-15°,0°,15°,30°,45°。为了保证数据的复杂性，对光照也进行了控制，通过墙面上的灯带，控制光线的强弱，设置了5个光线强弱等级，模拟日常环境进而保证数据的多样性。最后，采集得到了最终的1925张图像。

步骤02、获取所述戴不同种类的口罩的人脸图像中的口罩轮廓信息和关键点信息；

具体地，图3是本发明的口罩关键点和轮廓标注的示意图，如图3所示，采集完数据后，就需要对采集好的数据进行标注，标注三个类型的信息，已经得到的人脸姿态角信息，人脸中5个关键点的位置信息，以及口罩轮廓的信息。姿态角的信息用于匹配角度最接近的人脸，关键点用于精准贴图，口罩轮廓用于抠出口罩的关键区域。

根据口罩的轮廓信息，获得口罩贴图库，如图4所示，图4是本发明的口罩贴图库的示意图。

具体地，所述计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息，包括：

通过预设的检测算法对所述人脸图像中进行处理，获得人脸关键点的目标位置信息和人脸目标姿态角信息，其中，所述人脸目标姿态角信息包括姿态角的大小和方向。

具体地，预设的检测算法包括ASM算法或姿态和关键点同时回归的算法，采用ASM算法对人脸图像进行处理，获得人脸关键点的目的位置信息和人脸目标姿态角信息，通过关键点solvePnP得到的角度信息，为了获得更加精度高的人脸目标姿态角信息，可采用姿态和关键点同时回归的算法进行处理。

具体地，ASM(Active Shape Model)算法，一种关键点检测方法。ASM是基于特征点分布模型(Point Distribution Model,PDM)提取的一种方法。在PDM中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键特征点(landmarks)的坐标依次串联形成一个形状向量来表示。

ASM跟大多数统计学习方法一样，也包括train和test两部分，也就是形状建模build和形状匹配fit。这个算法其实很简单，可以用来做实时性的检测。

具体实现步骤如下：

人工标定训练集->对齐构建形状模型->搜索匹配；

为了建立ASM，需要一组标有n个特征点的N幅人脸图象(包括多个人的不同表情和姿态)作为训练数据。特征点可以标记在脸的外部轮廓和器官的边缘，需要注意的是各个标定点的顺序在训练集中的各张照片需要一致。

得到特征点集，可以看做一个2n维的向量，n表示特征点数量：

{(x1,y1),(x2,y2),...,(xn,yn)},x＝(x1,...,xn,y1,...,yn)^T

对模型进行训练：首先需要对图像进行对齐：

为了研究训练图像的形状变化，比较不同形状中相对应的点，应先对这些图像进行对齐。

对齐是指以某个形状为基准，对其它形状进行旋转，缩放和平移使其尽可能的与基准形状接近的过程。

首先选择一幅基准图像。训练集中其他图片经过变换尽可能的接近该基准图像，具体的变化过程可以用一个缩放幅度参数s，旋转参数以及平移参数矩阵t表示。

与基准形状尽可能接近，在数学上经常用欧式距离的大小衡量接近的程度。

其次，进行构建局部特征；

具体地，对对齐后的形状特征做PCA处理。接着，为每个关键点构建局部特征。目的是在每次迭代搜索过程中每个关键点可以寻找新的位置。局部特征一般用梯度特征，以防光照变化。有的方法沿着边缘的法线方向提取，有的方法在关键点附近的矩形区域提取。

再次，记性形状搜索，首先：计算眼睛(或者眼睛和嘴巴)的位置，做简单的尺度和旋转变化，对齐人脸；接着，在对齐后的各个点附近搜索，匹配每个局部关键点(常采用马氏距离)，得到初步形状；再用平均人脸(形状模型)修正匹配结果；迭代直到收敛。

采用该算法进行关键定计算，可以得到有序的特征点；能根据训练数据对于参数的调节加以限制，从而将形状的改变限制在一个合理的范围内。

步骤03、根据所述口罩轮廓信息，对所述戴不同种类的口罩的人脸图像进行抠图，获得所述口罩贴图库，其中，所述口罩贴图库为RGBA格式。

具体的，RGBA是代表Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间，也就是透明度/不透明度。虽然它有的时候被描述为一个颜色空间，但是它其实仅仅是RGB模型的附加了额外的信息。

可选地，步骤S102包括：

通过预设的检测算法对所述人脸图像中进行处理，获得人脸关键点的目标位置信息和人脸目标姿态角信息，其中，所述人脸目标姿态角信息包括姿态角的大小和方向。

可选地，步骤S101具体包括：

获取多张人脸图像，且所述人脸图像中不包含口罩；

将所述多张人脸图像进行对齐，获得所述待贴图的人脸图像。

可选地，所述步骤S103包括：

根据所述人脸目标姿态角信息，在预先建立的口罩贴图库中查找，与所述人脸目标姿态角信息的欧氏距离最相近的口罩贴图。

可选地，所述步骤S104包括：

根据所述人脸关键点的目标位置信息，对所述目标口罩贴图的关键点的位置信息进行相似变换；

获取贴图所需要的锚点；

根据所述锚点，将所述目标口罩贴图的关键点与所述人脸关键点对齐。

具体地，根据人脸关键点信息，将筛选出来的RGBA类型的口罩数据相对于人脸进行相似变换。变换后以鼻子为锚点进行贴图，效果如图5所示。主要在贴图的时候也要限定贴图范围，尽量不遮挡到眼睛。否则会对实验造成极大的影响

图6是本发明的又一种人脸识别方法实施例的步骤流程图，如图6所示，具体地：

S601、搭建采集试验环境；

S602、采集不同角度下戴多种口罩的图片；

S603、口罩数据的标注(包括口罩关键点与轮廓)；

S604、根据标注轮廓生成RGBA格式贴图库；

S605、对齐人脸；

S606、人脸关键点检测；

S607、人脸姿态估计；

S608、随机选择口罩库里与人脸姿态最接近的一张图像；

S609、根据人脸关键点与口罩关键点进行对比；

S610、将口罩贴于对齐人脸上；

本发明实施例提供的人脸识别方法，通过获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

本发明另一实施例提供一种人脸识别装置，用于执行上述实施例提供的人脸识别方法。

参照图7，示出了本发明的一种人脸识别装置实施例的结构框图，该装置可以应用于视联网中，具体可以包括如下模块：获取模块701、发送模块702、查询模块703和处理模块704，其中：

获取模块701用于获取待贴图的人脸图像；

计算模块702用于计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；

确定模块703用于根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图；

对齐模块704用于根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；

贴图模块705用于将所述目标口罩贴图贴于所述待贴图的人脸图像上，获得目标人脸图像；

识别模块706用于对所述目标人脸图像进行人脸识别。

本发明实施例提供的人脸识别装置，通过获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

本发明又一实施例对上述实施例提供的人脸识别装置做进一步补充说明。

可选地，所述计算模块，具体用于：

通过预设的检测算法对所述人脸图像中进行处理，获得人脸关键点的目标位置信息和人脸目标姿态角信息，其中，所述人脸目标姿态角信息包括姿态角的大小和方向。

可选地，所述装置还包括模型建立模块，所述模型建立模块，用于：

采集戴不同种类的口罩的人脸图像，所述戴不同种类的口罩的人脸图像是在不同角度不同光照强度下拍摄的；

获取所述戴不同种类的口罩的人脸图像中的口罩轮廓信息和关键点信息；

根据所述口罩轮廓信息，对所述戴不同种类的口罩的人脸图像进行抠图，获得所述口罩贴图库，其中，所述口罩贴图库为RGBA格式。

可选地，所述获取模块，具体用于：

获取多张人脸图像，且所述人脸图像中不包含口罩；

将所述多张人脸图像进行对齐，获得所述待贴图的人脸图像。

可选地，所述确定模块，用于：

根据所述人脸目标姿态角信息，在预先建立的口罩贴图库中查找，与所述人脸目标姿态角信息的欧氏距离最相近的口罩贴图。

可选地，所述对齐模块，具体用于：

根据所述人脸关键点的目标位置信息，对所述目标口罩贴图的关键点的位置信息进行相似变换；

获取贴图所需要的锚点；

根据所述锚点，将所述目标口罩贴图的关键点与所述人脸关键点对齐。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例提供的人脸识别装置，通过获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

本发明再一实施例提供一种终端设备，用于执行上述实施例提供的人脸识别方法。

图8是本发明的一种终端设备的结构示意图，如图8所示，该终端设备包括：至少一个处理器801和存储器802；

所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的人脸识别方法。

本实施例提供的终端设备，通过获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的人脸识别方法。

根据本实施例的计算机可读存储介质，通过获取待贴图的人脸图像；计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；根据人脸目标姿态角信息和预先建立的口罩贴图库，确定与人脸目标姿态角信息对应的目标口罩贴图；根据目标口罩贴图的关键点的位置信息和人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；将目标口罩贴图贴于待贴图的人脸图像上，获得目标人脸图像；对目标人脸图像进行人脸识别。通过将口罩样本迁移到没佩戴口罩的人脸图像的数据库中，可以得到更加具有质感的数据，对该数据进行训练后，可提高人脸识别的性能。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、电子设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者电子设备中还存在另外的相同要素。

以上对本发明所提供的一种人脸识别方法和一种人脸识别装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取待贴图的人脸图像；

计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；

根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图；

根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；

将所述目标口罩贴图贴于所述待贴图的人脸图像上，获得目标人脸图像；

对所述目标人脸图像进行人脸识别。

2.根据权利要求1所述的识别方法，其特征在于，所述计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息，包括：

通过预设的检测算法对所述人脸图像中进行处理，获得人脸关键点的目标位置信息和人脸目标姿态角信息，其中，所述人脸目标姿态角信息包括姿态角的大小和方向。

3.根据权利要求1所述的识别方法，其特征在于，预先建立的口罩贴图库采用如下方式建立：

采集戴不同种类的口罩的人脸图像，所述戴不同种类的口罩的人脸图像是在不同角度不同光照强度下拍摄的；

获取所述戴不同种类的口罩的人脸图像中的口罩轮廓信息和关键点信息；

根据所述口罩轮廓信息，对所述戴不同种类的口罩的人脸图像进行抠图，获得所述口罩贴图库，其中，所述口罩贴图库为RGBA格式。

4.根据权利要求1所述的识别方法，其特征在于，所述获取待贴图的人脸图像，包括：

获取多张人脸图像，且所述人脸图像中不包含口罩；

将所述多张人脸图像进行对齐，获得所述待贴图的人脸图像。

5.根据权利要求1所述的识别方法，其特征在于，所述根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图，包括：

根据所述人脸目标姿态角信息，在预先建立的口罩贴图库中查找，与所述人脸目标姿态角信息的欧氏距离最相近的口罩贴图。

6.根据权利要求1所述的识别方法，其特征在于，所述根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐，包括：

根据所述人脸关键点的目标位置信息，对所述目标口罩贴图的关键点的位置信息进行相似变换；

获取贴图所需要的锚点；

根据所述锚点，将所述目标口罩贴图的关键点与所述人脸关键点对齐。

7.一种人脸识别装置，其特征在于，包括：

获取模块，用于获取待贴图的人脸图像；

计算模块，用于计算人脸图像中的人脸关键点的目标位置信息和人脸目标姿态角信息；

确定模块，用于根据所述人脸目标姿态角信息和预先建立的口罩贴图库，确定与所述人脸目标姿态角信息对应的目标口罩贴图；

对齐模块，用于根据所述目标口罩贴图的关键点的位置信息和所述人脸关键点的目标位置信息，将所述目标口罩贴图的关键点与所述人脸关键点对齐；

贴图模块，用于将所述目标口罩贴图贴于所述待贴图的人脸图像上，获得目标人脸图像；

识别模块，用于对所述目标人脸图像进行人脸识别。

8.根据权利要求7所述的识别装置，其特征在于，所述装置还包括模型建立模块，所述模型建立模块，用于：

采集戴不同种类的口罩的人脸图像，所述戴不同种类的口罩的人脸图像是在不同角度不同光照强度下拍摄的；

获取所述戴不同种类的口罩的人脸图像中的口罩轮廓信息和关键点信息；

根据所述口罩轮廓信息，对所述戴不同种类的口罩的人脸图像进行抠图，获得所述口罩贴图库。

9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-6中任一项所述的人脸识别方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6中任一项所述的人脸识别方法。

Images