CN110705454A - 一种具有活体检测功能的人脸识别方法 - Google Patents

一种具有活体检测功能的人脸识别方法 Download PDF

Info

Publication number
CN110705454A
CN110705454A CN201910930008.0A CN201910930008A CN110705454A CN 110705454 A CN110705454 A CN 110705454A CN 201910930008 A CN201910930008 A CN 201910930008A CN 110705454 A CN110705454 A CN 110705454A
Authority
CN
China
Prior art keywords
face
living body
face recognition
eye region
detection function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910930008.0A
Other languages
English (en)
Inventor
陈付刚
钱素琴
韩潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201910930008.0A priority Critical patent/CN110705454A/zh
Publication of CN110705454A publication Critical patent/CN110705454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种具有活体检测功能的人脸识别方法,包括以下步骤:使用图像获取设备对获取的图像进行人脸检测,当检测到人脸时,在人脸区域进行眨眼检测,判断检测到的人脸是否为活体;当检测到的人脸为活体时,使用人脸识别模型对人脸进行识别。本发明计算简单、容易实现,并且通过增加了一层保护机制的方法,提高了人脸识别的可靠性及安全性。

Description

一种具有活体检测功能的人脸识别方法
技术领域
本发明涉及人脸识别技术领域,特别是涉及一种具有活体检测功能的人脸识别方法。
背景技术
身份认证一直是人类生活各个方面的一个重要环节,尤其在高速发展的现代社会中,“快速、便捷、安全”成为当代社会的代名词。随着计算机视觉技术和人工智能的快速发展,如今的日常通勤的打卡***,门禁***等,身份认证的技术发生了翻天覆地的变化。从指纹识别、虹膜识别、到人脸识别,身份认证的方法精度越来越高,而由于造价及稳定性方面考虑,人脸识别最符合大众的认可。人脸识别具有可远程识别,避免了类似指纹识别的接触识别,而只需摄像头采集数据人图像即可,不会像虹膜识别那样数据集难以采集,并且造价较高。综合以上原因,人脸识别技术得到了广泛的认可和应用,如今人脸识别技术已经广泛运用在移动支付认证、门禁***认证、银行账户认证等方面。
近些年来,随着图像处理、计算机视觉、机器学习等相关学科领域研究的不断发展,人脸识别技术无论是在学术研究还是工程应用中,都得到了巨大的进步,但是其存在的隐患也随之存在,因为人脸识别是针对图像进行识别,这就造成了不可识别人拿着可识别人的图片便可通过认证,因此这种安全隐患亟待解决。
近来,活体检测中眨眼识别技术也逐渐成熟并应用在各个领域,与此相关的学术研究和工程应用也层出不穷。活体检测技术就是为了识别非法用户对基于人脸图像的身份认证***的欺骗而产生的。根据调研发现,较为传统的眨眼检测方法,通常是根据眨眼前后眼白部分与眼睛的占比变化进行检测的,该种方法计算较为复杂,且精确度不高。
发明内容
本发明所要解决的技术问题是提供一种具有活体检测功能的人脸识别方法,计算简单,且容易实现。
本发明解决其技术问题所采用的技术方案是:提供一种具有活体检测功能的人脸识别方法,包括以下步骤:
(1)使用图像获取设备对获取的图像进行人脸检测,当检测到人脸时,在人脸区域进行眨眼检测,判断检测到的人脸是否为活体;
(2)当检测到的人脸为活体时,使用人脸识别模型对人脸进行识别。
所述步骤(1)中在进行眨眼检测时,首先获取人脸的眼睛区域,并以眼睛区域的左角为起点,以顺时针方式在眼镜区域的周围设置6个面部特征点;基于6个面部特征点计算眼睛长宽比,根据眼睛长宽比的变化情况判断是否眨眼。
所述眼睛长宽比计算方式为
Figure BDA0002219975420000021
其中,p1为眼睛区域的左角面部特征点的位置,p2为眼睛区域的左上面部特征点的位置,p3为眼睛区域的右上面部特征点的位置,p4为眼睛区域右角面部特征点的位置,p5为眼睛区域的右下面部特征点的位置,p6为眼睛区域的左下面部特征点的位置。
所述步骤(2)中的人脸识别模型采用MTCNN进行人脸检测和裁切;所述MTCNN为三部分的级联结构,第一部分用于生成可能存在人脸的候选框,第二部分用于将第一部分的结果作为输入,根据非极大值抑制方法去除部分候选框,第三部分是将第二部分的结果作为输入,对候选框进行进一步的筛选得到精准候选框并输出人脸关键点。
所述步骤(2)中的人脸识别模型训练时,将裁剪完成并带有人脸框及人脸关键点的图像送入预训练好的深度Facenet人脸识别神经网络中,并采用预训练模型实现对人脸识别模型的训练。
所述步骤(2)中在进行人脸识别时,使用Annoy索引的方式进行人脸匹配,在人脸匹配中,将得到的人脸特征向量采用Annoy的方式形成多个二叉树结构,当需要对采集到的新特征向量进行人脸识别时,只需要分别遍历这些二叉树,得到离目标最近的特征向量,并设定阈值控制判断即可,进而进行比对和判定身份。
有益效果
由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:本发明在人脸识别前先进行活体检测,只有在检测对象是活体的情况下再进行人脸识别,通过增加了一层保护机制提高了人脸识别的可靠性及安全性。另外,在进行活体检测时,本发明采用人眼部关键点来判断眨眼,该种眨眼检测方法避免使用图像处理技术,只需要计算人眼部关键点的长宽比即可实现。
附图说明
图1是本发明的流程图;
图2是本发明中人眼特征点选取图;
图3是本发明中利用EAR计算公式判断眨眼的原理图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种具有活体检测功能的人脸识别方法,如图1所示,包括以下步骤:使用图像获取设备对获取的图像进行人脸检测,当检测到人脸时,在人脸区域进行眨眼检测,判断检测到的人脸是否为活体;当检测到的人脸为活体时,使用人脸识别模型对人脸进行识别。具体步骤如下:
步骤1:首先要训练出一个人脸识别的模型。具体为:数据集准备,如果需要训练出一个可用的人脸识别模型,首先应该准备一个好用来训练模型的数据集,并进行一系列预处理,包括将人脸照片进行多尺度变化、旋转、亮暗,以达到数据增强的效果,提升模型训练的泛化能力,为人脸检测部分做好准备。
步骤2:人脸裁剪,将处理好的数据集,首先对大量的人脸数据集进行人脸检测,即采用MTCNN进行人脸裁切,MTCNN为三部分的级联结构,第一部分是生成可能存在人脸的候选框,第一层框的数量非常大并且精度在这一层并不是很高,所以接入第二层级联,第二部分是将第一部分的结果作为输入,根据非极大值抑制等方法去除一些冗余的精度并不是很高的候选框,这一层可以大大减少框的数量;最后一部分是将第二部分的结果作为输入,对候选框做进行进一步的筛选得到更加精准的候选框并输出人脸关键点。
步骤3:模型训练,将裁剪完成并带有人脸框及人脸关键点的图像送入预训练好的深度Facenet人脸识别神经网络中,并迁移比较成熟的预训练模型,这样做的好处可以减少训练次数,训练的时间缩短并提高了准确性,最后得到人脸识别模型的训练。
步骤4:活体检测,首先调取个人电脑的摄像头,使用opencv中的cv2.VideoCapture函数即可调取前置摄像头,除此之外opencv自带人脸检测模型,直接调用即可进行人脸检测,当检测到人脸时,即可在人脸区域进行眨眼检测,首先检测人脸的好处是,在眨眼检测之前提供了一个保障,双重固定使得效果更加准确。
步骤5:眨眼检测,如图2所示,选取眼睛图像A~E六个特征点。在人眨眼动作发生时,A、B间的距离基本维持不变,而C、D与E、F之间的距离会迅速下降至很小的值,并且此时A、E间的距离加上E、B间的距离基本等于A、B间的距离。本实施方式便以此为基础,跟据六个特征点之间的距离变化值即可检测出是否有眨眼动作发生。
对于眨眼检测而言,本实施方式只关心人脸的两只眼睛区域。每个眼睛区域表示为6个坐标,即以眼睛区域的左角为起点,以顺时针方式在眼镜区域的周围设置6个面部特征点基于这6个面部特征点通过
Figure BDA0002219975420000041
计算眼睛长宽比,其中,p1为眼睛区域的左角面部特征点的位置,p2为眼睛区域的左上面部特征点的位置,p3为眼睛区域的右上面部特征点的位置,p4为眼睛区域右角面部特征点的位置,p5为眼睛区域的右下面部特征点的位置,p6为眼睛区域的左下面部特征点的位置。如图3所示,该EAR计算公式的分子是计算垂直眼睛标志之间的距离,分母是计算水平眼睛标志之间的距离,因为水平点只有一组,但垂直点有两组,所以分母进行了加权。EAR计算公式在眼睛张开时大致是保持恒定不变的,但在眨眼时却会发生迅速降到零的变化。因此利用该EAR计算公式,可以避免使用图像处理技术,只需要计算眼睛特征关键点的长宽比,就可以判断一个人是否眨眼。
在进行判断时,根据EAR计算公式首先计算两组垂直眼睛标志之间的距离,再计算水平眼睛标志之间的距离。最后,将分子和分母相结合,得出最终的眼睛纵横比。然后根据实际情况为眼睛纵横比设置一个阈值,正常眨眼的情况下眼睛长宽比开始低于设定的阈值,然后超过设定的阈值,那么将记录一次“眨眼”。
步骤6:若活体检测到眨眼动作,即默认采集到的是活体,之后进行调用训练好的人脸识别模型,进行人脸识别。若无眨眼动作即未检测到活体,则保护机制未通过不进行后续的人脸识别操作,默认识别不通过。
步骤7:在活体检测识别结束并判定为活体时,再使用Annoy索引的方式进行人脸匹配,进而进行比对和判定身份。具体为:使用Annoy索引的方式进行人脸匹配,在人脸匹配中,将得到的人脸特征向量采用Annoy的方式形成多个二叉树结构,当需要对采集到的新特征向量进行人脸识别时,只需要分别遍历这些二叉树,得到离目标最近的特征向量,并设定阈值控制判断即可,进而进行比对和判定身份。如此便能完成人脸识别的任务。
不难发现,本发明在人脸识别前先进行活体检测,只有在检测对象是活体的情况下再进行人脸识别,通过增加了一层保护机制提高了人脸识别的可靠性及安全性。另外,在进行活体检测时,本发明采用人眼部关键点来判断眨眼,该种眨眼检测方法避免使用图像处理技术,只需要计算人眼部关键点的长宽比即可实现。

Claims (6)

1.一种具有活体检测功能的人脸识别方法,其特征在于,包括以下步骤:
(1)使用图像获取设备对获取的图像进行人脸检测,当检测到人脸时,在人脸区域进行眨眼检测,判断检测到的人脸是否为活体;
(2)当检测到的人脸为活体时,使用人脸识别模型对人脸进行识别。
2.根据权利要求1所述的具有活体检测功能的人脸识别方法,其特征在于,所述步骤(1)中在进行眨眼检测时,首先获取人脸的眼睛区域,并以眼睛区域的左角为起点,以顺时针方式在眼镜区域的周围设置6个面部特征点;基于6个面部特征点计算眼睛长宽比,根据眼睛长宽比的变化情况判断是否眨眼。
3.根据权利要求2所述的具有活体检测功能的人脸识别方法,其特征在于,所述眼睛长宽比计算方式为其中,p1为眼睛区域的左角面部特征点的位置,p2为眼睛区域的左上面部特征点的位置,p3为眼睛区域的右上面部特征点的位置,p4为眼睛区域右角面部特征点的位置,p5为眼睛区域的右下面部特征点的位置,p6为眼睛区域的左下面部特征点的位置。
4.根据权利要求1所述的具有活体检测功能的人脸识别方法,其特征在于,所述步骤(2)中的人脸识别模型采用MTCNN进行人脸检测和裁切;所述MTCNN为三部分的级联结构,第一部分用于生成可能存在人脸的候选框,第二部分用于将第一部分的结果作为输入,根据非极大值抑制方法去除部分候选框,第三部分是将第二部分的结果作为输入,对候选框进行进一步的筛选得到精准候选框并输出人脸关键点。
5.根据权利要求1所述的具有活体检测功能的人脸识别方法,其特征在于,所述步骤(2)中的人脸识别模型训练时,将裁剪完成并带有人脸框及人脸关键点的图像送入预训练好的深度Facenet人脸识别神经网络中,并采用预训练模型实现对人脸识别模型的训练。
6.根据权利要求1所述的具有活体检测功能的人脸识别方法,其特征在于,所述步骤(2)中在进行人脸识别时,使用Annoy索引的方式进行人脸匹配,在人脸匹配中,将得到的人脸特征向量采用Annoy的方式形成多个二叉树结构,当需要对采集到的新特征向量进行人脸识别时,只需要分别遍历这些二叉树,得到离目标最近的特征向量,并设定阈值控制判断即可,进而进行比对和判定身份。
CN201910930008.0A 2019-09-29 2019-09-29 一种具有活体检测功能的人脸识别方法 Pending CN110705454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910930008.0A CN110705454A (zh) 2019-09-29 2019-09-29 一种具有活体检测功能的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910930008.0A CN110705454A (zh) 2019-09-29 2019-09-29 一种具有活体检测功能的人脸识别方法

Publications (1)

Publication Number Publication Date
CN110705454A true CN110705454A (zh) 2020-01-17

Family

ID=69196448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910930008.0A Pending CN110705454A (zh) 2019-09-29 2019-09-29 一种具有活体检测功能的人脸识别方法

Country Status (1)

Country Link
CN (1) CN110705454A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325185A (zh) * 2020-03-20 2020-06-23 上海看看智能科技有限公司 人脸防欺诈方法及***
CN113052087A (zh) * 2021-03-29 2021-06-29 杭州京威盛智能科技有限公司 基于yolov5模型的人脸识别方法
CN113345177A (zh) * 2021-05-11 2021-09-03 深圳市海恒智能科技有限公司 一种基于人脸识别的图书自助借还***
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质
WO2024045350A1 (zh) * 2022-08-29 2024-03-07 天翼数字生活科技有限公司 一种基于深度学习的眼动活体检测方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346422A (zh) * 2017-06-30 2017-11-14 成都大学 一种基于眨眼检测的活体人脸识别方法
CN109003346A (zh) * 2018-07-13 2018-12-14 河海大学 一种基于人脸识别技术的校园考勤方法及其***
CN109784313A (zh) * 2019-02-18 2019-05-21 上海骏聿数码科技有限公司 一种眨眼检测方法及装置
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109948568A (zh) * 2019-03-26 2019-06-28 东华大学 基于arm微处理器和深度学习的嵌入式人脸识别***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346422A (zh) * 2017-06-30 2017-11-14 成都大学 一种基于眨眼检测的活体人脸识别方法
CN109003346A (zh) * 2018-07-13 2018-12-14 河海大学 一种基于人脸识别技术的校园考勤方法及其***
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109784313A (zh) * 2019-02-18 2019-05-21 上海骏聿数码科技有限公司 一种眨眼检测方法及装置
CN109948568A (zh) * 2019-03-26 2019-06-28 东华大学 基于arm微处理器和深度学习的嵌入式人脸识别***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄骏: "基于文本特征提取的相似科研项目文档检索***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325185A (zh) * 2020-03-20 2020-06-23 上海看看智能科技有限公司 人脸防欺诈方法及***
CN111325185B (zh) * 2020-03-20 2023-06-23 上海看看智能科技有限公司 人脸防欺诈方法及***
CN113052087A (zh) * 2021-03-29 2021-06-29 杭州京威盛智能科技有限公司 基于yolov5模型的人脸识别方法
CN113345177A (zh) * 2021-05-11 2021-09-03 深圳市海恒智能科技有限公司 一种基于人脸识别的图书自助借还***
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质
WO2024045350A1 (zh) * 2022-08-29 2024-03-07 天翼数字生活科技有限公司 一种基于深度学习的眼动活体检测方法和***

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN110705454A (zh) 一种具有活体检测功能的人脸识别方法
Ko et al. A novel and efficient feature extraction method for iris recognition
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
US10922399B2 (en) Authentication verification using soft biometric traits
KR20190016733A (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN108537131B (zh) 一种基于人脸特征点和光流场的人脸识别活体检测方法
CN103902958A (zh) 人脸识别的方法
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及***
Paul et al. Extraction of facial feature points using cumulative histogram
CN111862413A (zh) 实现抗疫情非接触多维身份快速识别的方法及其***
WO2023279557A1 (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及***
Das et al. Multi-angle based lively sclera biometrics at a distance
CN109003367A (zh) 门禁的控制方法及装置、存储介质、终端
RU2316051C2 (ru) Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности
Mohamed et al. Automated face recogntion system: Multi-input databases
Chu et al. Study of eye blinking to improve face recognition for screen unlock on mobile devices
CN107977622A (zh) 基于瞳孔特征的眼睛状态检测方法
CN110135362A (zh) 一种基于红外摄像头下的人脸快速识别方法
JP2022141940A (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
CN114299569A (zh) 一种基于眼球运动的安全人脸认证方法
CN113553890A (zh) 多模态生物特征融合方法、装置、存储介质及设备
Abboud et al. Quality based approach for adaptive face recognition
Srivastava et al. Face Verification System with Liveness Detection
Beigzadeh et al. Detection of face and facial features in digital images and video frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117