CN109614910B - 一种人脸识别方法和装置 - Google Patents
一种人脸识别方法和装置 Download PDFInfo
- Publication number
- CN109614910B CN109614910B CN201811473646.6A CN201811473646A CN109614910B CN 109614910 B CN109614910 B CN 109614910B CN 201811473646 A CN201811473646 A CN 201811473646A CN 109614910 B CN109614910 B CN 109614910B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- target
- smoothing
- face region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000009499 grossing Methods 0.000 claims abstract description 106
- 238000013441 quality evaluation Methods 0.000 claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 19
- 230000003068 static effect Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种人脸识别方法和装置。人脸识别方法包括：获取红外图像；基于红外图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像；利用人脸区域图像包括的面部特征点进行图像质量评估；根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果。本发明能够避免使用对光照敏感的可见光图像进行人脸识别时存在的光照较强或光照较弱情况下无法准确进行人脸识别的问题，并利用平滑处理和通过图像质量评估的人脸区域图像进行身份识别，提高身份识别的准确性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种人脸识别方法和装置。
背景技术
随着计算机技术的发展，图像处理技术应用到了越来越多的领域，通常可以使用机器学习方法训练人脸识别模型，利用人脸识别模型对图像中的人脸进行识别。
现有的人脸检测与识别主要利用可见光图像进行识别，例如使用彩色图像进行人脸检测与识别，但基于彩色图像的人脸检测与识别对光线敏感度较大，对于强光和弱光的环境下的彩色图像，识别效果较差。
发明内容
本发明提供了一种人脸识别方法和装置，以解决现有人脸识别对光照的鲁棒性的问题。
本发明一方面提供了一种人脸识别方法，包括：获取红外图像；基于红外图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像；利用人脸区域图像包括的面部特征点进行图像质量评估；根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果。
本发明一方面提供了一种人脸识别装置，包括：图像获取单元，用于获取红外图像；平滑处理单元，用于基于红外图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像；质量评估单元，用于利用人脸区域图像包括的面部特征点进行图像质量评估；身份识别单元，用于根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果。
本发明基于IR图像对光照的不敏感性，利用IR图像进行人脸身份识别，避免使用对光照敏感的可见光图像进行人脸识别时存在的光照较强或光照较弱情况下无法准确进行人脸识别的问题；以及通过在利用IR图像进行人脸身份识别之前，对IR图像的人脸目标进行平滑处理获得稳定连续的人脸区域图像，再对平滑处理后的人脸区域图像进行关于图像有效性的图像质量评估，利用通过图像质量评估的人脸区域图像进行身份识别，提高身份识别的准确性。
附图说明
图1为本发明实施例示出的人脸识别方法的流程图；
图2为本发明实施例示出的利用面部关键点计算图像俯仰角度示意图；
图3为本发明实施例示出的利用面部关键点计算图像偏航角度示意图；
图4为本发明实施例示出的人脸识别装置的结构框图；
图5为本发明实施例示出的人脸识别装置的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明实施例提供一种人脸识别方法。
图1为本发明实施例示出的人脸识别方法的流程图，如图1所示，本实施例的方法包括：
S110，获取红外(Infrared Radiation，IR)图像。
本实施例可以利用红外摄像头采集IR图像。
S120，基于IR图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像。
S130，利用人脸区域图像包括的面部特征点进行图像质量评估。
本实施例对检测到的人脸区域图像进行图像质量评估以识别图像有效性，在通过图像质量评估时，表明检测到的人脸区域图像为有效的人脸图像，可以基于检测到的人脸区域图像进行身份识别，在没有通过图像质量评估时，表明检测到的人脸区域图像为无效的人脸图像，放弃该人脸区域图像。
S140，根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果。
本实施例基于IR图像对光照的不敏感性，利用IR图像进行人脸身份识别，避免使用对光照敏感的可见光图像进行人脸识别时存在的光照较强或光照较弱情况下无法准确进行人脸识别的问题；本实施例还通过在利用IR图像进行人脸身份识别之前，对IR图像的人脸目标进行平滑处理获得稳定连续的人脸区域图像，再对平滑处理后的人脸区域图像进行关于图像有效性的图像质量评估，利用通过图像质量评估的人脸区域图像进行身份识别，提高身份识别的准确性。
下面对上述步骤S110-S140进行详细说明，本实施例步骤S110-S140的执行主体可以为终端设备，例如为智能手机、PAD、智能音箱等设备。
首先，执行步骤S110，即获取IR图像。
本实施例中的执行主体可以安装有用于采集IR图像到的摄像头，在需要进行身份识别时，可以开启的摄像头进行用户头部或者脸部的拍摄，获得本实施例所需的IR图像。
在获得所需的IR图像之后，可以对IR图像进行必要的去噪滤波等预处理。
在获取IR图像之后，继续执行步骤S120，基于IR图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像。
本实施例可以采用现有方法对IR图像进行人脸目标检测，例如采用决策树的方法，通过窗口缩放与滑动对人脸目标进行多尺度检测。由于人脸目标检测的稳定性会影响后续身份识别的准确性，本实施例对人脸目标检测结果进行平滑处理，保证得到稳定的人脸检测区域。
一个实施例中，通过下述方法获得平滑后的人脸区域图像：首先对当前获取的红外图像进行人脸目标检测，获取目标位置信息；接着对目标位置信息进行卡尔曼初始平滑，获得卡尔曼平滑结果；再基于设定的平滑指数和设定的目标位置平滑误差，对将上一帧红外图像目标位置的平滑结果和卡尔曼平滑结果进行指数平滑，获得指数平滑结果，设定的目标位置平滑误差指示对目标位置的最大平滑程度误差；然后根据指数平滑结果和上一帧红外图像目标位置的平滑结果确定目标位置的抖动信息，并根据抖动信息和设定的静止行为判定误差确定目标位置信息的平滑结果为对应于当前红外图像平滑处理后的人脸区域图像，设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。
在实施例中，目标位置包括目标中心位置pt(i)(x,y)和目标边缘位置s(i)(x,y)，i为当前IR图像的帧号，(x,y)为像素点位置；在获得目标位置信息后，分别对目标中心位置pt(i)(x,y)和目标边缘位置s(i)(x,y)进行卡尔曼初始平滑，获得目标中心位置的卡尔曼平滑结果Kspt(i)和目标边缘位置s(i)(x,y)的卡尔曼平滑结果Kss(i)；以上一帧IR图像中目标中心位置的平滑结果Mpt(i-1)、目标边缘位置的平滑结果Ms(i-1)和当前IR图像的卡尔曼平滑结果Kspt(i)与Kss(i)为基础进行指数平滑，即根据公式
获得目标中心位置pt(i)(x,y)的指数平滑结果Espt(i)，以及根据公式
获得目标边缘位置s(i)(x,y)的指数平滑结果Ess(i)，其中，gpt和gs依次为中心位置平滑误差权重值、目标边缘位置平滑误差权重值，可以根据跟踪数据需求和误差设定gpt和gs的值，MRpt和MRs目标中心位置平滑误差、目标边缘位置平滑误差，MRpt表示目标中心位置的最大平滑程度误差，MRs表示目标边缘位置的最大平滑程度误差；再继续计算目标中心位置的波动Dispt(i)＝|Espt(i)-Mpt(i-1)|和目标边缘位置的波动Diss(i)＝|Ess(i)-Ms(i-1)|，设定目标中心位置对应静止行为判定误差为SRpt，目标边缘位置对应静止行为判定误差为SRs，根据公式
确定当前IR图像目标中心位置的平滑结果Mpt(i)，以及根据公式
确定当前IR图像目标边缘位置的平滑结果Ms(i)，即在目标中心位置的波动Dispt小于SRpt时，说明目标中心位置对应为静止行为，将上一帧IR图像平滑后得到的目标中心位置确定为当前IR图像的目标中心位置，反之，在目标中心位置的波动Dispt不小于SRpt时，说明目标中心位置对应为动态行为，将当前IR图像对应的目标中心位置的指数平滑结果Espt(i)确定为当前IR图像的目标中心位置。同样的，在目标边缘位置的波动Diss小于SRs时，说明目标边缘位置对应为静止行为，将上一帧IR图像平滑后得到的目标边缘位置确定为当前IR图像的目标边缘位置，反之，在目标边缘位置的波动Diss不小于SRs时，说明目标边缘位置对应为动态行为，将当前IR图像对应的目标边缘位置的指数平滑结果Ess(i)确定为当前IR图像的目标边缘位置。
在获得平滑后的人脸区域图像之后，继续执行步骤S130，即利用人脸区域图像包括的面部特征点进行图像质量评估。
在一个实施例中，通过下述方法进行图像质量评估：首先获取人脸区域图像包括的五个面部特征点的位置，第一至第五面部特征点依次对应为左右眼特征点、左右嘴角特征点和鼻子特征点；接着根据第一至第五面部特征点的位置确定人脸区域图像的俯仰角度和偏航角度；以及，将人脸区域图像划分为多个子图像块，对多个子图像块进行能量梯度计算，获得人脸区域图像的梯度值；然后在人脸区域图像的俯仰角度、偏航角度和梯度值满足预设条件时，确定人脸区域图像通过图像质量评估。
由于人脸角度一板通过俯仰角、偏航角、旋转角三种角度进行描述，旋转角通过图片的旋转是可以纠正的，在人脸算法中称为人脸对齐，所以本实施例不讲旋转角度作为图像质量评估的标准，而是利用俯仰角、偏航角作为图像质量评估的标准。
其中，通过下述方法获得俯仰角度和偏航角度：
分别获取第一面部特征点与第五面部特征点形成的第一向量在水平方向和垂直方向上的分量，第二面部特征点与第五面部特征点形成的第二向量在水平方向和垂直方向上的分量，第三面部特征点与第五面部特征点形成的第三向量在水平方向和垂直方向上的分量，和第四面部特征点与第五面部特征点形成的第四向量在水平方向和垂直方向上的分量；获取第一向量与第三向量在垂直方向的分量的距离差，和第二向量与第四向量在垂直方向的分量的距离差中的最大距离差为俯仰角度；获取第一向量与第三向量在水平方向的分量的距离差，和第二向量与第四向量在水平方向的分量的距离差中的最大距离差为偏航角度。
如图2-3所示，假设五个面部关键点为(El，Er，Ml，Mr，N)，左右眼特征点分别为El、Er，左右嘴角特征点分别为Ml、Mr，鼻子特征点为N。左眼特征点与鼻子特征点形成的第一向量为
右眼特征点与鼻子特征点形成的第二向量为
左嘴角特征点与鼻子特征点形成的第三向量为
右嘴角特征点与鼻子特征点形成的第四向量为
如图2所示，第一向量
在垂直方向的分量
的距离与第三向量
在垂直方向的分量
的距离之间的距离差为DHl，第二向量
在垂直方向的分量
与第四向量
在垂直方向的分量
的距离差为DHr，取俯仰角为DH＝max{DHl，DHr}。
如图3所示，第一向量
在水平方向的分量
的距离与第三向量
在水平方向的分量
的距离之间的距离差为DWl，第二向量
在水平方向的分量
与第四向量
在水平方向的分量
的距离差为DWr，取偏航角为DW＝max{DWl，DWr}。
获得人脸区域图像的梯度值的方法包括：将人脸区域图像进行九宫格划分，获得按序排列的九张子图像块；根据公式
对奇数序号的四张子图像块，即第一张子图像块、第三张子图像块、第五张子图像块、第七张子图像块和第九张子图像块进行能量梯度计算，获得人脸区域图像的梯度值FB；其中，H和W依次为人脸区域图像高度和宽度，f(x,y)为子图像块的像素点(x,y)处的像素值。
本实施例在俯仰角度大于俯仰角阈值，偏航角度大于偏航角阈值，梯度值大于梯度阈值时，确定人脸区域图像通过图像质量评估。
在获得通过图像质量评估的人脸区域图像之后，执行步骤S140，即根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果。
本实施例通过下述方法得到身份识别结果：首先将人脸区域图像输入至预先训练好的人脸身份识别模型，人脸身份识别模型包括利用机器学习方和由红外图像所构成的训练样本对卷积神经网络结构进行有监督训练得到的；获取人脸身份识别模型输出的置信值，在置信值大于第一置信度时，识别为用户池用户，在置信值小于第一置信度大于第二置信度时，识别为新用户，将新用户及其属性信息添加至用户池，用户属性信息包括但不局限于身份ID，例如姓名，身份证号码等信息；人脸属性信息，例如性别。年龄等信息；表示人脸被有效跟踪后的***当前时间的初始检测时间信息；持续跟踪的最后时间，该持续跟踪的最后时间在每次跟踪后都会更新，以确保记录目标最后被跟踪的时间，持续跟踪的最后时间与初始检测时间共同完成对目标跟踪时长的计算。
人脸身份识别模型可以对人脸区域图像进行多标签的识别。
一个示例中，人脸身份识别模型包括caffe开源框架，通过修改caffe开源框架中的源码，例如标签数量值label_dim，将Data层的标签读入值int修改为int*，用于接收多属性训练标签；以及将Data层中的多标签数据打包过程中的单标签修改为多标签导入。
制作IR图像的训练样本，对人脸样本图像进行人脸关键点检测，对每张图像进行关键点对齐，整理每个人脸图像的属性值的标签label文件，例如，该label文件的格式为XXX.jpg attr1attr2attr3…，然后设计卷积神经网络结构(例如Xception、VGGNet、ResNet等)进行特征提取，以Xception为例，设计Xception的数据层、卷积层、可分离卷积、激活层、池化层、全连接层、损失层等，利用Xception对训练样本进行模型训练，可以设置迭代次数为预设次数(例如为400000次)，设置初始学习率为预设值(例如为0.0005)。将Xception输出的特征信息输入至人脸身份识别模型的判决器中，本实施例中的判决器可以是各种现有的、可实现分类功能的模型(例如朴素贝叶斯模型(
Bayesian Model，NBM)、支持向量机(Support Vector Machine，SVM)、包含全连接层(fully connected layers，FC)的神经网络或分类函数(例如softmax函数)等)。
本发明实施例还提供一种人脸识别装置。
图4为本发明实施例示出的人脸识别装置的结构框图，如图4所示，本实施例的装置包括：
图像获取单元41，用于获取IR图像；
平滑处理单元42，用于基于IR图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像；
质量评估单元43，用于利用人脸区域图像包括的面部特征点进行图像质量评估；
身份识别单元44，用于根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果。
本实施例基于IR图像对光照的不敏感性，图像获取单元利用获取到的IR图像进行人脸身份识别，避免使用对光照敏感的可见光图像进行人脸识别时存在的光照较强或光照较弱情况下无法准确进行人脸识别的问题，通过在利用IR图像进行人脸身份识别之前，利用平滑处理单元对IR图像的人脸目标进行平滑处理获得稳定连续的人脸区域图像，再利用身份识别单元对平滑处理后的人脸区域图像进行关于图像有效性的图像质量评估，利用身份识别单元通过图像质量评估的人脸区域图像进行身份识别，提高身份识别的准确性。
在一个实施例中，平滑处理单元42用于对当前获取的IR图像进行人脸目标检测，获取目标位置信息；对目标位置信息进行卡尔曼初始平滑，获得卡尔曼平滑结果；基于设定的平滑指数和设定的目标位置平滑误差，对将上一帧红外图像目标位置的平滑结果和卡尔曼平滑结果进行指数平滑，获得指数平滑结果，设定的目标位置平滑误差指示对目标位置的最大平滑程度误差；根据指数平滑结果和上一帧红外图像目标位置的平滑结果确定目标位置的抖动信息，并根据抖动信息和设定的静止行为判定误差确定目标位置信息的平滑结果为对应于当前IR图像平滑处理后的人脸区域图像，设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。
其中，目标位置包括目标中心位置和目标边缘位置，平滑处理单元42具体是根据公式
获得目标中心位置的指数平滑结果Espt(i)，以及根据公式
获得目标边缘位置的指数平滑结果Ess(i)；其中，gpt和gs依次为中心位置平滑误差权重值、目标边缘位置平滑误差权重值，MRpt和MRs目标中心位置平滑误差、目标边缘位置平滑误差，Kspt(i)和Kss(i)依次为目标中心位置卡尔曼平滑结果、目标边缘位置卡尔曼平滑结果，Mpt(i-1)和Ms(i-1)依次为上一帧红外图像中目标中心位置的平滑结果、目标边缘位置的平滑结果，i和i-1依次为当前红外图像的帧号、上一帧红外图像的帧号。
平滑处理单元42还根据公式Dispt(i)＝|Espt(i)-Mpt(i-1)|确定当前红外图像目标中心位置的抖动Dispt(i)，以及根据公式Diss(i)＝|Ess(i)-Ms(i-1)|确定当前IR图像目标边缘位置的抖动Diss(i)；根据公式
确定当前IR图像目标中心位置的平滑结果Mpt(i)，以及根据公式
确定当前IR图像目标边缘位置的平滑结果Ms(i)；其中，SRpt和SRs依次为设定的目标中心位置对应静止行为判定误差、目标边缘位置对应静止行为判定误差。
在一个实施例中，质量评估单元43用于获取人脸区域图像包括的五个面部特征点的位置，第一至第五面部特征点依次对应为左右眼特征点、左右嘴角特征点和鼻子特征点；根据第一至第五面部特征点的位置确定人脸区域图像的俯仰角度和偏航角度；以及，将人脸区域图像划分为多个子图像块，对多个子图像块进行能量梯度计算，获得所述人脸区域图像的梯度值；在人脸区域图像的俯仰角度、偏航角度和梯度值满足预设条件时，确定人脸区域图像通过图像质量评估。
质量评估单元43包括角度计算模块、清晰度计算模块和评估模块；
角度计算模块用于分别获取第一面部特征点与第五面部特征点形成的第一向量在水平方向和垂直方向上的分量，第二面部特征点与第五面部特征点形成的第二向量在水平方向和垂直方向上的分量，第三面部特征点与第五面部特征点形成的第三向量在水平方向和垂直方向上的分量，和第四面部特征点与第五面部特征点形成的第四向量在水平方向和垂直方向上的分量；获取第一向量与第三向量在垂直方向的分量的距离差，和第二向量与第四向量在垂直方向的分量的距离差中的最大距离差为所述俯仰角度；获取第一向量与第三向量在水平方向的分量的距离差，和第二向量与第四向量在水平方向的分量的距离差中的最大距离差为所述偏航角度。
清晰度计算模块用于将人脸区域图像进行九宫格划分，获得按序排列的九张子图像块；根据公式
对奇数序号的四张子图像块进行能量梯度计算，获得人脸区域图像的梯度值FB；其中，H和W依次为人脸区域图像高度和宽度，f(x,y)为子图像块的像素点(x,y)处的像素值。
评估模块用于在俯仰角度大于俯仰角阈值，偏航角度大于偏航角阈值，梯度值大于梯度阈值时，确定人脸区域图像通过图像质量评估。
在一个实施例中，身份识别单元44用于将人脸区域图像输入至预先训练好的人脸身份识别模型，人脸身份识别模型包括利用机器学习方和由红外图像所构成的训练样本对卷积神经网络结构进行有监督训练得到的；获取人脸身份识别模型输出的置信值，在置信值大于第一置信度时，识别为用户池用户，在置信值小于第一置信度大于第二置信度时，识别为新用户，将新用户及其属性信息添加至用户池。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明提供的人脸识别装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，参照图5所示，本发明提供的人脸识别装置可包括处理器501、存储有机器可执行指令的机器可读存储介质502。处理器501与机器可读存储介质502可经由***总线503通信。并且，通过读取并执行机器可读存储介质502中与人脸识别逻辑对应的机器可执行指令，处理器501可执行上文描述的人脸识别方法。
本发明中提到的机器可读存储介质502可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
根据本发明公开的示例，本发明还提供了一种包括机器可执行指令的机器可读存储介质，例如图5中的机器可读存储介质502，机器可执行指令可由视觉导航***的人脸识别装置中的处理器501执行以实现上文描述的人脸识别方法。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种人脸识别方法，其特征在于，所述方法包括：
获取红外图像；
基于红外图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像；
利用所述人脸区域图像包括的面部特征点进行图像质量评估；
根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果，其中所述利用人脸区域图像包括的面部特征点进行图像质量评估，包括：
获取所述人脸区域图像包括的五个面部特征点的位置，第一至第五面部特征点依次对应为左右眼特征点、左右嘴角特征点和鼻子特征点；
根据所述第一至第五面部特征点的位置确定人脸区域图像的俯仰角度和偏航角度；以及，将所述人脸区域图像划分为多个子图像块，对所述多个子图像块进行能量梯度计算，获得所述人脸区域图像的梯度值；
在所述人脸区域图像的俯仰角度、偏航角度和梯度值满足预设条件时，确定所述人脸区域图像通过图像质量评估。
2.根据权利要求1所述的方法，其特征在于，所述对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像，包括：
对当前获取的红外图像进行人脸目标检测，获取目标位置信息；
对所述目标位置信息进行卡尔曼初始平滑，获得卡尔曼平滑结果；
基于设定的平滑指数和设定的目标位置平滑误差，对将上一帧红外图像目标位置的平滑结果和所述卡尔曼平滑结果进行指数平滑，获得指数平滑结果，所述设定的目标位置平滑误差指示对目标位置的最大平滑程度误差；
根据指数平滑结果和上一帧红外图像目标位置的平滑结果确定目标位置的抖动信息，并根据所述抖动信息和设定的静止行为判定误差确定所述目标位置信息的平滑结果为对应于当前红外图像平滑处理后的人脸区域图像，所述设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。
3.根据权利要求2所述的方法，其特征在于，所述目标位置包括目标中心位置和目标边缘位置，所述基于设定的平滑指数和设定的目标位置平滑误差对将上一帧红外图像目标位置的平滑结果和所述卡尔曼平滑结果进行指数平滑，包括：
根据公式
获得目标中心位置的指数平滑结果Espt(i)，以及根据公式
获得目标边缘位置的指数平滑结果Ess(i)；
其中，gpt和gs依次为中心位置平滑误差权重值、目标边缘位置平滑误差权重值，MRpt和MRs目标中心位置平滑误差、目标边缘位置平滑误差，Kspt(i)和Kss(i)依次为目标中心位置卡尔曼平滑结果、目标边缘位置卡尔曼平滑结果，Mpt(i-1)和Ms(i-1)依次为上一帧红外图像中目标中心位置的平滑结果、目标边缘位置的平滑结果，i和i-1依次为当前红外图像的帧号、上一帧红外图像的帧号。
4.根据权利要求3所述的方法，其特征在于，所述根据指数平滑结果和上一帧红外图像目标位置的平滑结果确定目标位置的抖动信息，并根据所述抖动信息和设定的静止行为判定误差确定所述目标位置信息的平滑结果为对应于当前红外图像平滑处理后的人脸区域图像，包括：
根据公式Dispt(i)＝|Espt(i)-Mpt(i-1)|确定当前红外图像目标中心位置的抖动Dispt(i)，以及根据公式Diss(i)＝|Ess(i)-Ms(i-1)|确定当前红外图像目标边缘位置的抖动Diss(i)；
根据公式
确定当前红外图像目标中心位置的平滑结果Mpt(i)，以及根据公式
确定当前红外图像目标边缘位置的平滑结果Ms(i)；
其中，SRpt和SRs依次为设定的目标中心位置对应静止行为判定误差、目标边缘位置对应静止行为判定误差。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一至第五面部特征点的位置确定人脸区域图像的俯仰角度和偏航角度，包括：
分别获取第一面部特征点与第五面部特征点形成的第一向量在水平方向和垂直方向上的分量，第二面部特征点与第五面部特征点形成的第二向量在水平方向和垂直方向上的分量，第三面部特征点与第五面部特征点形成的第三向量在水平方向和垂直方向上的分量，和第四面部特征点与第五面部特征点形成的第四向量在水平方向和垂直方向上的分量；
获取第一向量与第三向量在垂直方向的分量的距离差，和第二向量与第四向量在垂直方向的分量的距离差中的最大距离差为所述俯仰角度；
获取第一向量与第三向量在水平方向的分量的距离差，和第二向量与第四向量在水平方向的分量的距离差中的最大距离差为所述偏航角度。
6.根据权利要求1所述的方法，其特征在于，所述将所述人脸区域图像划分为多个子图像块，对所述多个子图像块进行能量梯度计算，获得所述人脸区域图像的梯度值，包括：
将所述人脸区域图像进行九宫格划分，获得按序排列的九张子图像块；
根据公式
对奇数序号的四张子图像块进行能量梯度计算，获得所述人脸区域图像的梯度值FB；
其中，H和W依次为人脸区域图像高度和宽度，f(x,y)为子图像块的像素点(x,y)处的像素值。
7.根据权利要求1所述的方法，其特征在于，在所述人脸区域图像的俯仰角度、偏航角度和梯度值满足预设条件时，确定所述人脸区域图像通过图像质量评估，包括：
在所述俯仰角度大于俯仰角阈值，所述偏航角度大于偏航角阈值，所述梯度值大于梯度阈值时，确定所述人脸区域图像通过图像质量评估。
8.根据权利要求1所述的方法，其特征在于，所述根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果，包括：
将所述人脸区域图像输入至预先训练好的人脸身份识别模型，人脸身份识别模型包括利用机器学习方法和由红外图像所构成的训练样本对卷积神经网络结构进行有监督训练得到的；
获取所述人脸身份识别模型输出的置信值，在所述置信值大于第一置信度时，识别为用户池用户，在所述置信值小于第一置信度大于第二置信度时，识别为新用户，将新用户及其属性信息添加至所述用户池。
9.一种人脸识别装置，其特征在于，所述装置包括：
图像获取单元，用于获取红外图像；
平滑处理单元，用于基于红外图像进行人脸目标检测，并对检测到的人脸目标进行平滑处理，获得平滑后的人脸区域图像；
质量评估单元，用于利用所述人脸区域图像包括的面部特征点进行图像质量评估；
身份识别单元，用于根据满足质量评估的人脸区域图像进行人脸身份识别，得到身份识别结果，其中所述质量评估单元还用于：
获取所述人脸区域图像包括的五个面部特征点的位置，第一至第五面部特征点依次对应为左右眼特征点、左右嘴角特征点和鼻子特征点；
根据所述第一至第五面部特征点的位置确定人脸区域图像的俯仰角度和偏航角度；以及，将所述人脸区域图像划分为多个子图像块，对所述多个子图像块进行能量梯度计算，获得所述人脸区域图像的梯度值；
在所述人脸区域图像的俯仰角度、偏航角度和梯度值满足预设条件时，确定所述人脸区域图像通过图像质量评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811473646.6A CN109614910B (zh) | 2018-12-04 | 2018-12-04 | 一种人脸识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811473646.6A CN109614910B (zh) | 2018-12-04 | 2018-12-04 | 一种人脸识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109614910A CN109614910A (zh) | 2019-04-12 |
| CN109614910B true CN109614910B (zh) | 2020-11-20 |
Family
ID=66005301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811473646.6A Active CN109614910B (zh) | 2018-12-04 | 2018-12-04 | 一种人脸识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109614910B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110196103A (zh) * | 2019-06-27 | 2019-09-03 | Oppo广东移动通信有限公司 | 温度测量方法及相关设备 |
| CN110728193B (zh) * | 2019-09-16 | 2022-10-04 | 连尚（新昌）网络科技有限公司 | 一种脸部图像丰富度特征的检测方法及设备 |
| CN110751043B (zh) * | 2019-09-19 | 2023-08-22 | 平安科技（深圳）有限公司 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
| CN110765502B (zh) * | 2019-10-30 | 2022-02-18 | Oppo广东移动通信有限公司 | 信息处理方法及相关产品 |
| CN110889355B (zh) * | 2019-11-19 | 2023-09-19 | 深圳市紫金支点技术股份有限公司 | 一种人脸识别校验方法、***及存储介质 |
| CN111462379A (zh) * | 2020-03-17 | 2020-07-28 | 广东网深锐识科技有限公司 | 一种含掌静脉和人脸识别的门禁管理方法、***及介质 |
| CN113449567B (zh) * | 2020-03-27 | 2024-04-02 | 深圳云天励飞技术有限公司 | 一种人脸温度检测方法、装置、电子设备及存储介质 |
| CN112036277B (zh) * | 2020-08-20 | 2023-09-29 | 浙江大华技术股份有限公司 | 一种人脸识别方法、电子设备以及计算机可读存储介质 |
| CN112883925B (zh) * | 2021-03-23 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像处理方法、装置及设备 |
| CN114021100B (zh) * | 2022-01-10 | 2022-03-15 | 广东省出版集团数字出版有限公司 | 一种用于数字教材储备的安全管理*** |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101266603B1 (ko) * | 2011-04-08 | 2013-05-22 | 대구대학교 산학협력단 | 무인접수시스템의 사용자 인증을 위한 얼굴 인식 시스템 |
| CN105975908A (zh) * | 2016-04-26 | 2016-09-28 | 汉柏科技有限公司 | 人脸识别方法及装置 |
| CN107798279B (zh) * | 2016-09-07 | 2022-01-25 | 北京眼神科技有限公司 | 一种人脸活体检测方法及装置 |
| CN106446873B (zh) * | 2016-11-03 | 2021-01-26 | 北京旷视科技有限公司 | 人脸检测方法及装置 |
| CN106778607A (zh) * | 2016-12-15 | 2017-05-31 | 国政通科技股份有限公司 | 一种基于人脸识别的人与身份证同一性认证装置及方法 |
| CN108230293A (zh) * | 2017-05-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 确定人脸图像质量的方法和装置、电子设备和计算机存储介质 |
| CN107437067A (zh) * | 2017-07-11 | 2017-12-05 | 广东欧珀移动通信有限公司 | 人脸活体检测方法及相关产品 |
| CN107273875A (zh) * | 2017-07-18 | 2017-10-20 | 广东欧珀移动通信有限公司 | 人脸活体检测方法及相关产品 |
| CN108228696B (zh) * | 2017-08-31 | 2021-03-23 | 深圳市商汤科技有限公司 | 人脸图像检索方法和***、拍摄装置、计算机存储介质 |
| CN108090428B (zh) * | 2017-12-08 | 2021-05-25 | 成都合盛智联科技有限公司 | 一种人脸识别方法及其*** |
| CN108416326B (zh) * | 2018-03-27 | 2021-07-16 | 百度在线网络技术（北京）有限公司 | 人脸识别方法和装置 |
| CN108564041B (zh) * | 2018-04-17 | 2020-07-24 | 云从科技集团股份有限公司 | 一种基于rgbd相机的人脸检测和修复方法 |
| CN108805024B (zh) * | 2018-04-28 | 2020-11-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
-
2018
- 2018-12-04 CN CN201811473646.6A patent/CN109614910B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109614910A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614910B (zh) | 一种人脸识别方法和装置 | |
| Chen et al. | Video saliency detection via spatial-temporal fusion and low-rank coherency diffusion | |
| Dong et al. | Occlusion-aware real-time object tracking | |
| Ming et al. | A survey on anti-spoofing methods for facial recognition with rgb cameras of generic consumer devices | |
| US11138455B2 (en) | Liveness test method and apparatus | |
| US9830529B2 (en) | End-to-end saliency mapping via probability distribution prediction | |
| Li et al. | Visual tracking via incremental log-euclidean riemannian subspace learning | |
| US9679212B2 (en) | Liveness testing methods and apparatuses and image processing methods and apparatuses | |
| US8593452B2 (en) | Face feature vector construction | |
| WO2020018359A1 (en) | Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses | |
| JP6309549B2 (ja) | 変形可能な表現検出器 | |
| US20160148080A1 (en) | Method and apparatus for recognizing object, and method and apparatus for training recognizer | |
| CN106446768A (zh) | 用于脸部识别的方法和设备 | |
| US9892315B2 (en) | Systems and methods for detection of behavior correlated with outside distractions in examinations | |
| CN110506274B (zh) | 图像中的对象检测和表示 | |
| US11403878B2 (en) | Apparatus and method with user verification | |
| US11720745B2 (en) | Detecting occlusion of digital ink | |
| CN109413510B (zh) | 视频摘要生成方法和装置、电子设备、计算机存储介质 | |
| WO2023109361A1 (zh) | 用于视频处理的方法、***、设备、介质和产品 | |
| Zhang et al. | Classroom student posture recognition based on an improved high-resolution network | |
| Jiang et al. | Application of a fast RCNN based on upper and lower layers in face recognition | |
| Wang et al. | A UAV to UAV tracking benchmark | |
| Hastürk et al. | DUDMap: 3D RGB-D mapping for dense, unstructured, and dynamic environment | |
| Dong et al. | A detection-regression based framework for fish keypoints detection | |
| US20140050404A1 (en) | Combining Multiple Image Detectors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |