CN107358153A - 一种嘴部运动检测方法和装置及活体识别方法和*** - Google Patents
一种嘴部运动检测方法和装置及活体识别方法和*** Download PDFInfo
- Publication number
- CN107358153A CN107358153A CN201710406493.2A CN201710406493A CN107358153A CN 107358153 A CN107358153 A CN 107358153A CN 201710406493 A CN201710406493 A CN 201710406493A CN 107358153 A CN107358153 A CN 107358153A
- Authority
- CN
- China
- Prior art keywords
- mouth
- video
- motion
- face
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 357
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims description 48
- 238000000605 extraction Methods 0.000 claims description 54
- 239000000284 extract Substances 0.000 claims description 16
- 239000013589 supplement Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000004886 head movement Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000000205 computational method Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种嘴部运动检测方法,包括:从待测人脸视频中抽取若干视频帧;获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置;通过所述嘴部的若干关键点位置获取每一抽取的所述视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算所述嘴部长度和所述嘴部宽度的比值获取对应的所述视频帧的嘴部数值;基于每一抽取的所述视频帧的所述嘴部数值判断所述待测人脸视频的嘴部运动的情况。相应的,本发明还公开了一种嘴部运动检测装置。本发明计算简单,且效率高。
Description
技术领域
本发明涉及人脸识别领域,尤其涉及一种嘴部运动检测方法和装置及活体识别方法和***。
背景技术
随着人脸识别技术的发展,越来越多的场景需要用到人脸检测去快速的识别一个人的身份。但是有不法份子会利用图片或者视频代替真人去进行人脸识别,这样整个人脸识别***的安全性就得不到保证。而人脸活体识别可以检测出当前进行人脸识别的人是活体人脸而非照片或者视频中的人脸,从而保证了人脸识别***的安全性。在进行人脸识别时,通过对待测人脸的嘴部运动的检测有助于识别人脸是否为活体。为实现在人体识别时,能实现高效简单地识别人脸是否活体,因而需要一种高效简单的嘴部运动检测方案。
发明内容
本发明实施例的目的是提供一种嘴部运动检测方法和装置,计算简单,效率高。
为实现上述目的,本发明实施例提供了一种嘴部运动检测方法,包括步骤:
从待测人脸视频中抽取若干视频帧;
获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置;
通过所述嘴部的若干关键点位置获取每一抽取的所述视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算所述嘴部长度和嘴部宽度的比值获取对应的所述视频帧的嘴部数值;
基于每一抽取的所述视频帧的所述嘴部数值判断所述待测人脸视频的嘴部运动的情况。
与现有技术相比,本发明实施例公开的一种嘴部运动检测方法通过从所述待测人脸视频中获取若干视频帧,然后根据从抽取的每一视频帧中确定待测人脸的嘴部的若干关键点位置,接着根据嘴部的若干关键点位置获取嘴部长度和嘴部宽度,并通过嘴部长度和嘴部宽度的比值获取对应的视频帧的嘴部数值,最后通过嘴部数值判断对应的视频帧的嘴部运动的技术方案;通过获取抽取的视频帧的嘴部关键点位置来计算嘴部数值,根据抽取的不同视频帧中所获取的嘴部数值来确定待测人脸视频的嘴部运动的情况的计算简单高效,任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件,对设备硬件要求简单。
进一步的,所述基于每一抽取的所述视频帧的所述嘴部数值判断所述待测人脸视频的嘴部运动包括:
当所述嘴部数值小于第一嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部张开,当所述嘴部数值大于第二嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部闭合;
若从所述待测人脸视频抽取的若干所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和所述嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸视频的嘴部有运动,且为张嘴运动。
进一步的,所述获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置包括:
对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
从每一抽取的所述视频帧的若干所述人脸关键点中获取嘴部的若干关键点位置。
进一步的,所述嘴部的若干关键点位置包括内嘴唇的若干关键点位置;所述嘴部运动检测方法还包括:
若所述待测人脸视频抽取的若干所述视频帧中不同时包括所述嘴部状态为所述嘴部张开的视频帧和所述嘴部状态为嘴部闭合的视频帧,则
获取所述内嘴唇的若干关键点位置所确定的嘴部区域的平均灰度值;
当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部闭合,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部张开;
若所述待测人脸视频抽取的所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸视频的嘴部有运动,且所述嘴部运动为张嘴运动。
相应的,本发明实施例提供一种嘴部运动检测装置,包括:
视频帧抽取单元,用于从待测人脸视频中抽取若干视频帧;
嘴部关键点位置获取单元,用于获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置;
嘴部数值获取单元,用于通过所述嘴部的若干关键点位置获取每一抽取的所述视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算所述嘴部长度和嘴部宽度的比值获取对应的所述视频帧的嘴部数值;
嘴部运动判断单元,用于基于每一抽取的所述视频帧的所述嘴部数值判定所述待测人脸视频的嘴部运动的情况。
与现有技术相比,本发明公开的一种嘴部运动检测装置,首先通过视频帧抽取单元从待测人脸视频中抽取若干视频帧,然后通过嘴部关键点位置获取单元获取抽取的每一视频帧的嘴部的若干关键点位置,并通过嘴部数值获取单元获取每一抽取的视频帧的嘴部的嘴部长度和嘴部宽度,以及计算对应嘴部数值;最后通过嘴部运动判断单元基于嘴部数值判断待测人脸视频的嘴部运动的技术方案;实现通过检测嘴部的关键点位置来实现对嘴部运动的判断;该方案获取的嘴部的关键点位置、获取嘴部长度和嘴部宽度,以及计算嘴部数值的计算过程简单高效,任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件,设备硬件要求简单。
进一步的,所述嘴部运动判断单元包括:
第一嘴部状态判断模块,用于当所述嘴部数值小于第一嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部张开,当所述嘴部数值大于第二嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部闭合;
第一嘴部运动判断模块,用于若所述待测人脸视频抽取的所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸的嘴部有运动,且所述嘴部运动为张嘴运动。
进一步的,所述嘴部关键点位置获取单元包括:
人脸关键点检测模块,用于对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
嘴部关键点位置获取模块,用于从每一抽取的所述视频帧的若干所述人脸关键点中获取嘴部的若干关键点位置。
进一步的,所述嘴部的若干关键点位置包括内嘴唇的若干关键点位置;
所述一种嘴部运动检测装置还包括嘴部运动补充判断单元,用于若所述待测人脸视频抽取的若干所述视频帧中不同时包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则重新判断所述待测人脸视频的嘴部运动;
所述嘴部运动补充判断单元包括:
平均灰度值获取模块,用于获取所述内嘴唇的关键点位置所确定的嘴部区域的平均灰度值;
第二嘴部状态判断模块,用于当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部闭合,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部张开;
第二嘴部状态判断模块,用于若所述待测人脸视频抽取的所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸的嘴部有运动,且所述嘴部运动为张嘴运动。
相应地,本发明实施例还提供一种活体识别方法,其特征在于,所述活体识别方法包括步骤:
检测待测人脸视频中的待测人脸的嘴部运动的情况和其它至少一个部位运动的情况,其中,采用本发明公开的一种嘴部运动检测方法检测待测人脸视频中的待测人脸的嘴部运动的情况;
基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值;
计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,每一所述部位运动已预设相应的权值;
判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
与现有技术相比,本发明实施例公开的一种活体识别方法,采用本发明公开的嘴部运动检测方法检测待测人脸视频的待测人脸的嘴部运动的情况,以及通过检测待测人脸的其他部位的运动情况,获取对应的部位运动的运动分值,对部位运动分值进行加权后求和作为活体识别分值,利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案;其中,嘴部运动检测方法计算过程简单高效,设备硬件要求简单;采用检测嘴部和其他至少一个部位运动解决了现有技术中算法单一,安全性不高的问题,可扩展性强,且基于人脸部位运动的检测可以通过二维图像实现,对硬件要求不高;另外,采用对不同部位运动加权再进行分数融合,活体识别准确度高,本活体识别方法准确率高、硬件要求低和安全性高。
相应地,本发明实施例还提供一种活体识别***,包括:
至少2个人脸部位运动检测装置,每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况,其中一人脸部位运动检测装置为本发明提供的一种嘴部运动检测装置;
部位运动分值获取装置,用于基于每一所述部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值;
活体识别分值计算装置,用于计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值;
活体判断装置,用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
与现有技术相比,本发明实施例公开的一种活体识别***通过至少2个人脸部位运动检测装置获取所述待测人脸上的至少两个部位的运动分值,其中,一人脸部位运动检测装置采用嘴部运动检测装置;通过活体识别分值计算装置对部位运动分值进行加权后求和作为活体识别分值,通过活体判断装置利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案;嘴部运功检测装置计算简单高效,设备硬件要求简单;采用检测至少2个部位运动装置检测至少两种部位的运动情况解决了现有技术中算法单一,安全性不高的问题,可扩展性强,且基于人脸部位运动的检测可以通过二维图像实现,对硬件要求不高,另外,通过活体识别分值计算装置对不同部位运动加权再进行分数融合,活体识别准确度高,获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
附图说明
图1是本发明实施例1提供的一种嘴部运动检测方法的流程示意图;
图2是本发明实施例1提供的一种嘴部运动检测方法的步骤S14的流程示意图;
图3是本发明实施例1提供的一种嘴部运动检测方法的步骤S12的流程示意图;
图4是待测人脸的68个关键点的模型示意图;
图5是本发明实施例2提供的一种嘴部运动检测方法的流程示意图;
图6是本发明实施例2提供的一种嘴部运动检测方法的步骤S15的流程示意图;
图7是本发明实施例3提供的一种嘴部运动检测装置的结构示意图;
图8是本发明实施例4提供的一种嘴部运动检测装置的结构示意图;
图9是本发明实施例5提供的一种活体识别方法的流程示意图;
图10是本发明实施例5提供的一种活体识别方法的步骤S24流程示意图;
图11是本发明实施例6提供的一种活体识别***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例1提供的一种嘴部运动检测方法,参见图1,图1是本实施例1的流程示意图,包括步骤:
S11、从待测人脸视频中抽取若干视频帧;
S12、获取从待测人脸视频中抽取的每一视频帧的嘴部的若干关键点位置;
S13、通过嘴部的若干关键点位置获取每一抽取的视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算嘴部长度和嘴部宽度的比值获取对应的视频帧的嘴部数值;
S14、基于每一抽取的视频帧的嘴部数值判断待测人脸视频的嘴部运动的情况。
参见图2,图2是本实施例步骤S14具体的流程示意图,进一步的,步骤S14具体包括步骤:
S141、当嘴部数值小于第一嘴部预设数值时,判定对应的视频帧的嘴部状态为嘴部张开,当嘴部数值大于第二嘴部预设数值时,判定对应的视频帧的嘴部状态为嘴部闭合;
S142、若从待测人脸视频抽取的若干视频帧中包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定待测人脸视频的嘴部有运动,且嘴部运动为张嘴运动。
在步骤S11中的从待测人脸视频中抽取若干视频帧,优选采用从待测人脸视频中获取连续帧的视频帧,或者,优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。
参见图3,图3是本实施例步骤S12具体的流程示意图,步骤S12具体包括步骤:
S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
dlib库指的是一个使用C++技术编写的跨平台的通用库。
参见图4,图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图;步骤S121中获取的若干人脸关键点位置即为图4中关键点1~关键点68所示的关键点位置;
S122、从每一抽取的视频帧的若干人脸关键点中获取嘴部的若干关键点位置。
参见图4,步骤S122获取的嘴部的若干关键点位置即为图4中关键点49~关键点68这20个关键点所示的关键点位置。具体的,在表示嘴部的若干关键点位置的关键点49~关键点68中,关键点61~关键点68这8个关键点位置为内嘴唇的若干关键点位置;
由于待测人脸的嘴部做张闭运动时,嘴部的内嘴唇唇形变化程度较为明显,通过内嘴唇的状态来确定每一抽取视频帧的嘴部状态从而确定待测人脸视频中待测人脸的嘴部运动的计算方法简单高效,所以,本实施例步骤S13中优选通过计算内嘴唇的长度来表示嘴部长度,以及通过计算内嘴唇的宽度来表示嘴部宽度,详细的计算过程如下:
计算关键点61~关键点68这8个关键点中的x坐标的最大值减去x坐标的最小值为内嘴唇的长度,即嘴部长度;计算关键点61~关键点68这8个关键点中的y坐标的最大值减去y坐标的最小值为内嘴唇的宽度,即嘴部宽度;此处,默认在抽取的每一视频帧中建立水平方向为x轴,竖直方向为y轴的xy坐标轴体系,从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。
然后,通过计算内嘴唇的长度于内嘴唇的宽度的比值来获取嘴部数值;计算所得的嘴部数值用于步骤S141中判断嘴部状态。
除此之外,除了本实施例优选通过内嘴唇的长度和内嘴唇的宽度的比值来确定嘴部状态进而确定嘴部运动,类似的,还可以通过外嘴唇的长度和外嘴唇的宽度来确定嘴部状态进而确定嘴部运动;或者,结合内嘴唇的长度和外嘴唇的长度的平均值,以及内嘴唇的宽度和外嘴唇的宽度的平均值来确定嘴部状态进而确定嘴部运动,都在本实施例的保护范围内。
具体实施时,本实施例从待测人脸视频中获取若干视频帧,然后根据从抽取的每一视频帧中确定待测人脸的嘴部的若干关键点位置,具体的,嘴部的若干关键点位置包括内嘴唇的若干关键点位置;接着根据内嘴唇的若干关键点位置计算获取内嘴唇的长度和内嘴唇的宽度,即,对应获取嘴部长度和嘴部宽度;并通过嘴部长度和嘴部宽度的比值获取对应的视频帧的嘴部数值;最后,对于嘴部数值小于第一嘴部预设数值的视频帧的嘴部状态判定为嘴部张开,对于嘴部数值大于第二嘴部预设数值的视频帧的嘴部状态判定为嘴部闭合;根据从待测人脸视频抽取的若干视频帧中既有嘴部张开的视频帧,又有嘴部闭合的视频帧,则判定待测人脸视频的嘴部有运动,且嘴部运动为张嘴运动。
与现有技术相比,获取抽取的视频帧的嘴部关键点位置来计算嘴部数值,然后根据抽取的不同视频帧中所获取的嘴部数值来确定待测人脸视频的嘴部运动;本实施例计算简单高效,任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件,对设备硬件要求简单。
本发明实施例2提供的一种嘴部运动检测方法,参见图5,图5是本实施例2的流程示意图,包括步骤:
S11、从待测人脸视频中抽取若干视频帧;
S12、获取从待测人脸视频中抽取的每一视频帧的嘴部的若干关键点位置;
S13、通过嘴部的若干关键点位置获取每一抽取的视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算嘴部长度和嘴部宽度的比值获取对应的视频帧的嘴部数值;
S14、基于每一抽取的视频帧的嘴部数值判断待测人脸视频的嘴部运动的情况。
本实施例步骤S14的具体步骤与实施例1中的步骤S14相同,可参见图2,步骤S14具体包括步骤:
S141、当嘴部数值小于第一嘴部预设数值时,判定对应的视频帧的嘴部状态为嘴部张开,当嘴部数值大于第二嘴部预设数值时,判定对应的视频帧的嘴部状态为嘴部闭合;
S142、若从待测人脸视频抽取的若干视频帧中包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定待测人脸视频的嘴部有运动,且嘴部运动为张嘴运动。
在步骤S11中的从待测人脸视频中抽取若干视频帧,优选采用从待测人脸视频中获取连续帧的视频帧,或者,优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。
本实施例步骤S12的具体步骤与实施例1中的步骤S12相同,可参见图3,步骤S12具体包括步骤:
S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测,获取若干人脸关键点位置;
参见图4,图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68个关键点的模型示意图;步骤S121中获取的若干人脸关键点位置即为图4中关键点1~关键点68所示的关键点位置;
S122、从每一抽取的视频帧的若干人脸关键点中获取嘴部的若干关键点位置。
参见图4,步骤S122获取的嘴部的若干关键点位置即为图4中关键点49~关键点68这20个关键点所示的关键点位置。具体的,在表示嘴部的若干关键点位置的关键点49~关键点68中,关键点61~关键点68这8个关键点位置为内嘴唇的若干关键点位置。
由于待测人脸的嘴部做张闭运动时,嘴部的内嘴唇唇形变化程度较为明显,通过内嘴唇的状态来确定每一抽取视频帧的嘴部状态从而确定待测人脸视频中待测人脸的嘴部运动的计算方法简单高效,所以,本实施例步骤S13中优选通过计算内嘴唇的长度来表示嘴部长度,以及通过计算内嘴唇的宽度来表示嘴部宽度,详细的计算过程如下:
计算关键点61~关键点68这8个关键点中的x坐标的最大值减去x坐标的最小值为内嘴唇的长度,即嘴部长度;计算关键点61~关键点68这8个关键点中的y坐标的最大值减去y坐标的最小值为内嘴唇的宽度,即嘴部宽度;此处,默认在抽取的每一视频帧中建立水平方向为x轴,竖直方向为y轴的xy坐标轴体系,从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。
然后,通过计算内嘴唇的长度于内嘴唇的宽度的比值来获取嘴部数值;计算所得的嘴部数值用于步骤S141中判断嘴部状态。
除此之外,除了本实施例优选通过内嘴唇的长度和内嘴唇的宽度的比值来确定嘴部状态进而确定嘴部运动,类似的,还可以通过外嘴唇的长度和外嘴唇的宽度来确定嘴部状态进而确定嘴部运动;或者,结合内嘴唇的长度和外嘴唇的长度的平均值,以及内嘴唇的宽度和外嘴唇的宽度的平均值来确定嘴部状态进而确定嘴部运动,都在本实施例的保护范围内。
参见图5,本实施例嘴部运动检测方法还包括步骤S15:若待测人脸视频抽取的若干视频帧中不同时包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则对待测人脸视频的嘴部运动进行补充判断;具体的,作为步骤S14的补充判断步骤的步骤S15能够提高本实施例对嘴部运动判断的准确率,参见图6,图6为步骤S15的流程示意图,具体包括:
S151、若待测人脸视频抽取的若干视频帧中不同时包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则获取内嘴唇的若干关键点位置所确定的嘴部区域的平均灰度值;
S152、当平均灰度值小于第一灰度预设值时,重新判定对应的视频帧的嘴部状态为嘴部闭合,当平均灰度值大于第二灰度预设值时,重新判定对应的视频帧的嘴部状态为嘴部张开;
S153、若待测人脸视频抽取的视频帧中包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定待测人脸的嘴部有运动,且嘴部运动为张嘴运动。
通常,当待测人脸的嘴部张开时,嘴部的牙齿会露出来,牙齿只要偏白色,此时嘴部的灰度值较大;当待测人脸的嘴部闭合时,牙齿会被遮挡,此时嘴部的灰度值较小;步骤S15基于这一原理,通过获取抽取的每一视频帧的嘴部的平均灰度值,来判定每一视频帧的嘴部状态,从而进一步确定待测人脸视频的待测人脸的嘴部运动。
具体实施时,本实施例从待测人脸视频中获取若干视频帧,然后根据从抽取的每一视频帧中确定待测人脸的嘴部的若干关键点位置,具体的,嘴部的若干关键点位置包括内嘴唇的若干关键点位置;接着根据内嘴唇的若干关键点位置计算获取内嘴唇的长度和内嘴唇的宽度,即,对应获取嘴部长度和嘴部宽度;并通过嘴部长度和嘴部宽度的比值获取对应的视频帧的嘴部数值;最后,对于嘴部数值小于第一嘴部预设数值的视频帧的嘴部状态判定为嘴部张开,对于嘴部数值大于第二嘴部预设数值的视频帧的嘴部状态判定为嘴部闭合,若从待测人脸视频抽取的若干视频帧中既有嘴部张开的视频帧,又有嘴部闭合的视频帧,则判定待测人脸视频的嘴部有运动,且嘴部运动为张嘴运动;否则,继续获取抽取的每一视频帧的内嘴唇的若干关键点位置所确定的嘴部区域的平均灰度值,对于平均灰度值小于第一灰度预设值的视频帧的嘴部状态判定为嘴部闭合,对于平均灰度值大于第二灰度预设值的视频帧的嘴部状态判定为嘴部张开,若从待测人脸视频抽取的若干视频帧中既有嘴部张开的视频帧,又有嘴部闭合的视频帧,则判定待测人脸视频的嘴部有运动,且嘴部运动为张嘴运动。
与现有技术相比,获取抽取的视频帧的嘴部关键点位置来计算嘴部数值,然后根据抽取的不同视频帧中所获取的嘴部数值来确定待测人脸视频的嘴部运动;除此之外,本实施例还增加了根据嘴部灰度值对嘴部运动的补充判断;本实施例计算简单高效,且能保证准确率;任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件;对设备硬件要求简单。
本发明实施例3提供的一种嘴部运动检测装置,参见图7,图7本实施例3的结构示意图;本实施例具体包括:
视频帧抽取单元11,用于从待测人脸视频中抽取若干视频帧;
嘴部关键点位置获取单元12,用于获取从待测人脸视频中抽取的每一视频帧的嘴部的若干关键点位置;
嘴部数值获取单元13,用于通过嘴部的若干关键点位置获取每一抽取的视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算嘴部长度和嘴部宽度的比值获取对应的视频帧的嘴部数值;
嘴部运动判断单元14,用于基于每一抽取的视频帧的嘴部数值判断待测人脸视频的嘴部运动的情况。
进一步的,嘴部运动判断单元14具体包括以下模块:
第一嘴部状态判断模块141,用于当嘴部数值小于第一嘴部预设数值时,判定对应的视频帧的嘴部状态为嘴部张开,当嘴部数值大于第二嘴部预设数值时,判定对应的视频帧的嘴部状态为嘴部闭合;
第一嘴部运动判断模块142,用于若待测人脸视频抽取的视频帧中包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定待测人脸的嘴部有运动,且为张嘴运动。
通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧时,优选为从待测人脸视频中获取连续帧的视频帧,或者,优选为从待测人脸视频中按照一定的时间频率对应抽取视频帧。
嘴部关键点位置获取单元12具体包括:
人脸关键点检测模块121,用于对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测,获取若干人脸关键点位置;
参见图4,图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68个关键点的模型示意图;通过人脸关键点检测模块121获取的若干人脸关键点位置即为图4中关键点1~关键点68所示的关键点位置;
嘴部关键点位置获取模块122,用于从每一抽取的视频帧的若干人脸关键点中获取嘴部的若干关键点位置。
参见图4,通过嘴部关键点位置获取模块122获取的嘴部的若干关键点位置即为图4中关键点49~关键点68这20个关键点所示的关键点位置。具体的,在表示嘴部的若干关键点位置的关键点49~关键点68中,关键点61~关键点68这8个关键点位置为内嘴唇的若干关键点位置。
由于待测人脸的嘴部做张闭运动时,嘴部的内嘴唇唇形变化程度较为明显,通过内嘴唇的状态来确定每一抽取视频帧的嘴部状态从而确定待测人脸视频中待测人脸的嘴部运动的计算方法简单高效,所以,本实施例的嘴部数值获取单元13优选用于计算内嘴唇的长度来表示嘴部长度,以及计算内嘴唇的宽度来表示嘴部宽度,详细的计算过程如下:
计算关键点61~关键点68这8个关键点中的x坐标的最大值减去x坐标的最小值为内嘴唇的长度,即嘴部长度;计算关键点61~关键点68这8个关键点中的y坐标的最大值减去y坐标的最小值为内嘴唇的宽度,即嘴部宽度;此处,默认在抽取的每一视频帧中建立水平方向为x轴,竖直方向为y轴的xy坐标轴体系,从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。
然后,通过计算内嘴唇的长度于内嘴唇的宽度的比值来获取嘴部数值;计算所得的嘴部数值用于判断嘴部状态。
除此之外,除了本实施例的嘴部数值获取单元13优选用于计算内嘴唇的长度和内嘴唇的宽度的比值来确定嘴部状态进而确定嘴部运动;类似的,嘴部数值获取单元13还可以用于计算外嘴唇的长度和外嘴唇的宽度来获取嘴部数值,或者,嘴部数值获取单元13用于计算内嘴唇的长度和外嘴唇的长度的平均值,以及内嘴唇的宽度和外嘴唇的宽度的平均值来获取嘴部数值,上述都在本实施例的保护范围内。
具体实施时,本实施例首先通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧,然后通过嘴部关键点位置获取单元12的人脸关键点检测模块121获取抽取的每一视频帧的待测人脸的关键点位置,以及通过嘴部关键点位置获取模块122从待测人脸的若干关键点位置中获取嘴部的若干关键点位置,接着通过嘴部数值获取单元13根据嘴部的若干关键点位置计算每一抽取的视频帧的嘴部的嘴部长度和嘴部宽度,以及计算对应的嘴部数值;最后通过嘴部运动判断单元14的第一嘴部状态判断模块141对嘴部数值小于第一嘴部预设数值的视频帧的嘴部状态判定为嘴部张开,对于嘴部数值大于第二嘴部预设数值的视频帧的嘴部状态判定为嘴部闭合,并通过第一嘴部运动判断模块142对于若待测人脸视频同时包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合时,则判定待测人脸视频中的嘴部有运动,且为张嘴运动。
与现有技术相比,本实施例计算过程简单高效;任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件;设备硬件要求简单。
本发明实施例4提供的一种嘴部运动检测装置,参见图8,图8本实施例4的结构示意图;本实施例与本发明实施例3所提供的一种嘴部运动检测装置同样包括视频帧抽取单元11、嘴部关键点位置获取单元12、嘴部数值获取单元13和嘴部运动判断单元14,上述单元的具体结构功能描述可以参见实施例3的内容,此处不做赘述。
不同的是,本实施例4还包括嘴部运动补充判断单元15,用于若待测人脸视频抽取的若干视频帧中不同时包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则重新判断待测人脸视频的嘴部运动;嘴部运动补充判断单元15作为嘴部运动检测装置的补充判断单元,能够提高本实施例对嘴部运动判断的准确率。
具体,嘴部运动补充判断单元15包括:
平均灰度值获取模块151,用于获取内嘴唇的关键点位置所确定的嘴部区域的平均灰度值;
第二嘴部状态判断模块152,用于当平均灰度值小于第一灰度预设值时,重新判定对应的视频帧的嘴部状态为嘴部闭合,当平均灰度值大于第二灰度预设值时,重新判定对应的视频帧的嘴部状态为嘴部张开;
第二嘴部状态运动模块153,用于若待测人脸视频抽取的视频帧中包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定待测人脸的嘴部有运动,且嘴部运动为张嘴运动。
通常,当待测人脸的嘴部张开时,嘴部的牙齿会露出来,牙齿只要偏白色,此时嘴部的灰度值较大;当待测人脸的嘴部闭合时,牙齿会被遮挡,此时嘴部的灰度值较小;基于这一原理,通过获取抽取的每一视频帧的嘴部的平均灰度值,来判定每一视频帧的嘴部状态,从而进一步确定待测人脸视频的待测人脸的嘴部运动。
具体实施时,本实施例首先通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧,然后通过嘴部关键点位置获取单元12的人脸关键点检测模块121获取抽取的每一视频帧的待测人脸的关键点位置,以及通过嘴部关键点位置获取模块122从待测人脸的若干关键点位置中获取嘴部的若干关键点位置,接着通过嘴部数值获取单元13根据嘴部的若干关键点位置计算每一抽取的视频帧的嘴部的嘴部长度和嘴部宽度,以及计算对应的嘴部数值;最后通过嘴部运动判断单元14的第一嘴部状态判断模块141对嘴部数值小于第一嘴部预设数值的视频帧的嘴部状态判定为嘴部张开,对于嘴部数值大于第二嘴部预设数值的视频帧的嘴部状态判定为嘴部闭合,并通过第一嘴部运动判断模块142对于若待测人脸视频同时包括嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合时,则判定待测人脸视频中的嘴部有运动,且为张嘴运动;否则,继续通过嘴部运动补充判断单元15的平均灰度值获取模块151获取抽取的每一视频帧的内嘴唇的若干关键点位置所确定的嘴部区域的平均灰度值,通过第二嘴部状态判断模块152对于平均灰度值小于第一灰度预设值的视频帧的嘴部状态判定为嘴部闭合,对于平均灰度值大于第二灰度预设值的视频帧的嘴部状态判定为嘴部张开,通过第二嘴部状态判断模块153对于既有嘴部张开的视频帧,又有嘴部闭合的视频帧待测人脸视频,判定嘴部有运动,且嘴部运动为张嘴运动。
本实施例计算过程简单高效;任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件;设备硬件要求简单。
本发明实施例5提供的一种活体识别方法,参见图9,图9是本实施例的流程示意图,其中,本实施例具体包括步骤:
S21、检测待测人脸视频中的待测人脸的嘴部运动的情况和其它至少一个部位运动的情况,其中,采用本发明实施例1或实施例2所提供的一种嘴部运动检测方法来检测待测人脸视频中的待测人脸的嘴部运动的情况;检测嘴部运动的具体过程可以参见实施例1或实施例2的具体说明,此处不做赘述;
S22、基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值;
S23、计算每一部位运动对应的运动分值加权后的总和,并将计算得到的总和作为活体识别分值;其中,每一部位运动已预设相应的权值;
S24、判定活体识别分值不小于预设阈值的待测人脸为活体。
本实施例步骤S21中的检测待测人脸的其它至少一个部位运动为眼部运动、头部运动、面部运动、眉毛运动和额头运动中的至少一种;通常来说,眼部运动和头部运动运动程度比较明显,有利于进行检测,可以优选选择检测眼部运动和头部运动中的至少一种。
类似本发明实施例1和实施例2提供的一种嘴部运动检测方法,步骤S21中检测待测人脸的其它至少一个部位运动具体包括:检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置,通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况;或者,检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征,通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况。上述实施方法仅为检测其它至少一个部位运动的示例;基于本实施例的活体识别方法的原理基础上,通过其它具体的实施方式实现对另外至少一部位运动的运动检测,也在本实施例的保护范围之内。
本实施例的步骤S23中设定每一部位运动相对应的权值的优选实施方式为根据每一部位运动的明显度设定。例如,当步骤S21检测待测人脸视频中的待测人脸的部位运动为嘴部运动、眼部运动和头部运动;通常,嘴部运动比较明显,故权重最大,头部运动模拟精度最低,故权重最小,对应设置部位运动的权重策略为:嘴部运动>眼部运动>头部运动;
或,步骤S23中设定每一部位运动相对应的权值的另一优选实施方式为根据不同应用场景自动进行部位运动的权值调整而设定的,具体做法:在某一种场景下,收集待测人脸的各种部位运动的正常输入视频作为正样本,攻击视频作为负样本,取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率,然后把每一部位运动的准确率按照从大到小的顺序进行排序,每一部位运动的权重也按照此顺序从大到小,重新调整每一部位运动的权重。重新调整后的权重用以计算活体识别分值,该识别结果可以自适应不同场景下的部位运动检测的准确率,增加本实施例的活体识别结果的准确率。
上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。
具体地,参见图10,图10是步骤S24的流程示意图,包括步骤:
S241、通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度;
S242、当活体识别置信度不小于预设值时,确定活体识别分值不小于预设阈值;
S243、判定活体识别分值不小于预设阈值的待测人脸为活体。
具体地,在步骤S241中,活体识别总分即为本实施例对待测人脸进行识别后能获得的最大值,待测人脸的活体识别置信度通过下述公式计算:
f=(s/s_max)*100%
其中,s_max表示活体识别总分,f表示活体识别置信度,且0<f<1;
用e表示预设值,当f≥e,即活体识别置信度不小于预设值时,则确定活体识别分值不小于预设阈值,判定活体识别分值不小于预设阈值的待测人脸为活体;当f<e,即活体识别置信度小于预设值时,则确定活体识别分值小于预设阈值,判定活体识别分值小于预设阈值的待测人脸为非活体。
利用活体识别分值所获得的活体识别置信度,还可以进一步扩展,用于本实施例建立分级制度进行活体判断和活体分级,以获得丰富的活体识别结果。
步骤S22基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值包括:
基于嘴部运动的运动情况获取对应的运动分值:当步骤S21中的检测待测人脸的嘴部运动的运动情况为待测人脸嘴部有运动,则获取的嘴部运动的运动分值为1分;否则获取的嘴部运动的运动分值为0分。
类似的,基于其它至少一个部位运动的运动情况获取对应的运动分值:当步骤S21中的检测待测人脸的对应运动情况为待测人脸的对应部位有运动,则获取的对应部位运动的运动分值为1分;否则获取的运动分值为0分。
除了通过有无运动的判断获取对应的运动分值,若在步骤S21中所获取的部位运动的运动情况为部位运动的运动程度,还可以根据其运动程度在分值区间中获取对应的运动分值,如设定分数分为10级,取值在0到1之间。
具体实施时,先从待测人脸视频中抽取若干视频帧,并对所抽取的每一视频帧检测部位运动从而获得对应的部位的运动情况,其中,包括检测待测人脸的嘴部运动:先获取待测人脸的68点关键点,然后从中获取嘴部的若干关键点位置,并根据嘴部的若干关键点位置确定对应的视频帧的嘴部数值,进而判定待测人脸视频中的嘴部的运动情况;根据每一部位运动的情况获取对应的运动分值,具体为该部位有运动,则获取的运动分值为1分,否则获取的运动分值为0分;接着计算上述得到每一部位运动分值进行加权后的总和,该总和表示活体识别分值;最后用该活体识别分值占活体识别总分的比值计算活体识别置信度,其中,当活体识别置信度不小于预设值时,确定活体识别分值不小于预设阈值,从而判定待测人脸为活体;否则,判定待测人脸为非活体。
本实施例可运用于多种设备端,此处以运用于移动手机端的实施场景为例进行说明:在手机端活体识别时,随机出现一种活体动作要求顺序,例如为要求待测人脸分别进行头部左转、眨眼和张嘴的活体动作;此时若预设的部位运动的权重为张嘴对应的嘴部运动的权重w1=3,眨眼对应的眼部运动的权重w2=2,头部左转对应的头部运动的权重w3=1;计算活体识别总分,即活体识别最高分s_max为3*1+2*1+1*1=6分。假设检测出张嘴得分为1分,眨眼得分为1分,头部左转得分为0分,活体识别分值s为每一部位运动加权后的总和,代入上述部位运动的运动分值,计算活体识别分值s=3*1+2*1+1*0=5分;最后,计算活体识别置信度f=s/s_max=5/6=83.33%。若设定此时设定值e为80%,则判定该待测人脸为活体,且活体置信度为83.33%。
本实施例解决了现有技术中算法单一,安全性不高的问题,可扩展性强;对于待测人脸的嘴部运动的方法计算简单高效,对设备的硬件要求不高;另外,在本实施例中采用对多个部位运动的检测来进行活体识别,并对不同部位运动加权再进行分数融合,活体识别准确度高,且有利于提高安全性。
本发明实施例6提供的一种活体识别***,参见图11,图11为本实施例的结构示意图,本实施例包括:
至少2个人脸部位运动检测装置1,每一人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况;图11中的人脸部位运动检测装置1a和人脸部位运动检测装置1b表示检测两不同部位运动的2个人脸部位运动检测装置1;其中,一人脸部位运动检测装置1采用本发明实施例3或实施例4提供的一种嘴部运动检测装置,具体结构可以参见实施例3或实施例4的说明,此处不做赘述。
部位运动分值获取装置2,用于基于每一部位运动的情况获取待测人脸的每一部位运动对应的运动分值;
活体识别分值计算装置3,用于计算每一部位运动对应的运动分值加权后的总和,并将计算得到的总和作为活体识别分值;其中,活体识别分值计算装置3已预设与每一部位运动相对应的权值;
活体判断装置4,用于判定活体识别分值不小于预设阈值的待测人脸为活体。
其中,除嘴部运动检测装置1外的至少一部位运动检测单元1对应检测的至少一部位运动包括眼部运动、头部运动、眉毛运动、额头运动和面部运动中的至少一部位运动。由于眼部运动和头部运动的运动明显,可以优选采用检测眼部运动和头部运动中的至少一种。
类似嘴部运动检测装置1,另外至少一人脸部位运动检测装置1具体用于检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置,通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况;或者,人脸部位运动检测装置1还可以具体用于检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征,通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况,该实施方式通常适用于人脸部位运动检测装置1检测的部位运动为眼部运动或额头运动。上述实施方法仅为另外至少一人脸部位运动检测装置1检测部位运动的示例,当人脸部位运动检测装置1通过其他实施方式实现对另外至少一部位运动的运动检测,也在本实施例的保护范围之内。
部位运动分值获取装置2具体用于基于嘴部运动的运动情况获取对应的运动分值:待测人脸的嘴部运动的运动情况为待测人脸嘴部有运动,则获取的嘴部运动的运动分值为1分;否则获取的嘴部运动的运动分值为0分。部位运动分值获取装置2具体还用于基于其它至少一个部位运动的运动情况获取对应的运动分值:当待测人脸的对应的部位运动情况为有运动,则获取的对应部位运动的运动分值为1分;否则获取的运动分值为0分。
除上述部位运动分值获取装置2用于基于每一部位运动的是否有运动的情况而直接获得一个是否有运动的运动分值的实施方式,当通过人脸部位运动检测装置1中获取的部位运动的运动情况包括部位运动的运动程度,还可以通过部位运动分值获取装置2基于运动程度而获取一个在0到1之间的运动分值,如设定运动分值分为10级,取值在0到1之间,该替代实施方式不仅能表示是否有运动,还能体现运动的程度。
活体识别分值计算装置3中与每一部位运动相对应的权值为根据每一部位运动的明显度设定;如检测的部位运动为嘴部运动、眼部运动和头部运动时,此时,嘴部运动比较明显,故权重最大,头部运动模拟精度最低,故权重最小,部位运动的权重策略对应为:嘴部运动>眼部运动>头部运动。
或,活体识别分值计算装置3中与每一部位运动相对应的权值为根据不同应用场景自动进行部位运动的权值调整而设定的,具体做法:在某一种场景下,收集待测人脸的各种部位运动的正常输入视频作为正样本,攻击视频作为负样本,取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率,然后把每一部位运动的准确率按照从大到小的顺序进行排序,每一部位运动的权重也按照此顺序从大到小,重新调整每一部位运动的权重。
上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。
活体判断装置4包括:
活体识别置信度计算单元41,用于通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度;
其中,活体识别总分即为通过活体识别分值计算装置3所有部位运动对应的运动分值加权后的总和的最大值,活体识别总分用s_max表示;f表示活体识别置信度,且0<f<1;活体识别置信度计算单元41通过下述公式计算待测人脸的活体识别置信度:
f=(s/s_max)*100%
活体判断单元42,用于当活体识别置信度不小于预设值时,确定活体识别分值不小于预设阈值,判定活体识别分值不小于预设阈值的待测人脸为活体。
其中,用e表示预设值,通过活体判断单元42判断:当f≥e,即活体识别置信度不小于预设值时,则确定活体识别分值不小于预设阈值,判定活体识别分值不小于预设阈值的待测人脸为活体;当f<e,即活体识别置信度小于预设值时,则确定活体识别分值小于预设阈值,判定活体识别分值小于预设阈值的待测人脸为非活体。
通过活体识别置信度计算单元41所获得的活体识别置信度,还可以进一步扩展,用于本实施例活体识别***建立分级制度进行活体判断和活体分级,以获得丰富的活体识别结果。
具体实施时,首先,通过每一人脸部位运动检测装置1获取对应的部位运动的运动情况,其中,一人脸部位运动检测装置1为本发明实施例3或实施例4提供的一种嘴部运动检测装置;并通过部位运动分值获取装置2基于部位运动的运动情况获取对应的运动分值;然后,通过活体识别分值计算装置3对获取的每一部位运动的运动分值进行加权后求和作为活体识别分值,最后,通过活体判断装置4的活体识别置信度计算单元41利用活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度,并通过活体判断单元42判定当计算所得的活体识别置信度不小于预设阈值的待测人脸为活体。
本实施例采用检测至少2个人脸部位运动检测装置解决了现有技术中算法单一,安全性不高的问题,可扩展性强,且嘴部运动检测装置对硬件要求不高;另外,通过活体识别分值计算装置对不同部位运动加权再进行分数融合,活体识别准确度高,获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种嘴部运动检测方法,其特征在于,所述嘴部运动检测方法包括步骤:
从待测人脸视频中抽取若干视频帧;
获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置;
通过所述嘴部的若干关键点位置获取每一抽取的所述视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算所述嘴部长度和所述嘴部宽度的比值获取对应的所述视频帧的嘴部数值;
基于每一抽取的所述视频帧的所述嘴部数值判断所述待测人脸视频的嘴部运动的情况。
2.如权利要求1所述的一种嘴部运动检测方法,其特征在于,所述基于每一抽取的所述视频帧的所述嘴部数值判断所述待测人脸视频的嘴部运动的情况包括:
当所述嘴部数值小于第一嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部张开,当所述嘴部数值大于第二嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部闭合;
若从所述待测人脸视频抽取的若干所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和所述嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸视频的嘴部有运动,且所述嘴部运动为张嘴运动。
3.如权利要求2所述的一种嘴部运动检测方法,其特征在于,所述获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置包括:
对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取嘴部的若干关键点位置。
4.如权利要求2所述的一种嘴部运动检测方法,其特征在于,所述嘴部的若干关键点位置包括内嘴唇的若干关键点位置;所述嘴部运动检测方法还包括:
若所述待测人脸视频抽取的若干所述视频帧中不同时包括所述嘴部状态为所述嘴部张开的视频帧和所述嘴部状态为嘴部闭合的视频帧,则
获取所述内嘴唇的若干关键点位置所确定的嘴部区域的平均灰度值;
当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部闭合,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部张开;
若所述待测人脸视频抽取的所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸的嘴部有运动,且所述嘴部运动为张嘴运动。
5.一种嘴部运动检测装置,其特征在于,包括:
视频帧抽取单元,用于从待测人脸视频中抽取若干视频帧;
嘴部关键点位置获取单元,用于获取从所述待测人脸视频中抽取的每一所述视频帧的嘴部的若干关键点位置;
嘴部数值获取单元,用于通过所述嘴部的若干关键点位置获取每一抽取的所述视频帧的嘴部的嘴部长度和嘴部宽度,并通过计算所述嘴部长度和所述嘴部宽度的比值获取对应的所述视频帧的嘴部数值;
嘴部运动判断单元,用于基于每一抽取的所述视频帧的所述嘴部数值判断所述待测人脸视频的嘴部运动的情况。
6.如权利要求5所述的一种嘴部运动检测装置,其特征在于,所述嘴部运动判断单元包括:
第一嘴部状态判断模块,用于当所述嘴部数值小于第一嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部张开,当所述嘴部数值大于第二嘴部预设数值时,判定对应的所述视频帧的嘴部状态为嘴部闭合;
第一嘴部运动判断模块,用于若所述待测人脸视频抽取的所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定嘴部有运动,且所述嘴部运动为张嘴运动。
7.如权利要求6所述的一种嘴部运动检测装置,其特征在于,所述嘴部关键点位置获取单元包括:
人脸关键点检测模块,用于对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
嘴部关键点位置获取模块,用于从每一抽取的所述视频帧的若干所述人脸关键点中获取嘴部的若干关键点位置。
8.如权利要求6所述的一种嘴部运动检测单元,其特征在于,所述嘴部的若干关键点位置包括内嘴唇的若干关键点位置;
所述一种嘴部运动检测装置还包括嘴部运动补充判断单元,用于若所述待测人脸视频抽取的若干所述视频帧中不同时包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则重新判定所述待测人脸视频的嘴部运动;
所述嘴部运动补充判断单元包括:
平均灰度值获取模块,用于获取所述内嘴唇的关键点位置所确定的嘴部区域的平均灰度值;
第二嘴部状态判断模块,用于当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部闭合,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的嘴部状态为嘴部张开;
第二嘴部状态判断模块,用于若所述待测人脸视频抽取的所述视频帧中包括所述嘴部状态为嘴部张开的视频帧和嘴部状态为嘴部闭合的视频帧,则判定所述待测人脸视频的嘴部有运动,且所述嘴部运动为张嘴运动。
9.一种活体识别方法,其特征在于,所述活体识别方法包括步骤:
检测待测人脸视频中的待测人脸的嘴部运动的情况和其它至少一个部位运动的情况,其中,采用如权利要求1~4任一项所述的嘴部运动检测方法检测待测人脸视频中的待测人脸的嘴部运动的情况;
基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值;
计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,每一所述部位运动已预设相应的权值;
判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
10.一种活体识别***,其特征在于,所述活体识别***包括:
至少2个人脸部位运动检测装置,每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况,其中一人脸部位运动检测装置为如权利要求5~8任一项所述的一种嘴部运动检测装置;
部位运动分值获取装置,用于基于每一所述部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值;
活体识别分值计算装置,用于计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值;
活体判断装置,用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710406493.2A CN107358153A (zh) | 2017-06-02 | 2017-06-02 | 一种嘴部运动检测方法和装置及活体识别方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710406493.2A CN107358153A (zh) | 2017-06-02 | 2017-06-02 | 一种嘴部运动检测方法和装置及活体识别方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107358153A true CN107358153A (zh) | 2017-11-17 |
Family
ID=60271655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710406493.2A Pending CN107358153A (zh) | 2017-06-02 | 2017-06-02 | 一种嘴部运动检测方法和装置及活体识别方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107358153A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271929A (zh) * | 2018-09-14 | 2019-01-25 | 北京字节跳动网络技术有限公司 | 检测方法和装置 |
CN109697416A (zh) * | 2018-12-14 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN111259857A (zh) * | 2020-02-13 | 2020-06-09 | 星宏集群有限公司 | 一种人脸笑容评分方法及人脸情绪分类方法 |
CN111860057A (zh) * | 2019-04-29 | 2020-10-30 | 北京眼神智能科技有限公司 | 人脸图像模糊和活体检测方法、装置、存储介质及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366153A (zh) * | 2012-06-06 | 2013-10-23 | 北京科技大学 | 一种面部语义认知特征识别方法 |
EP2713307A1 (en) * | 2012-09-28 | 2014-04-02 | Accenture Global Services Limited | Liveness detection |
CN104616438A (zh) * | 2015-03-02 | 2015-05-13 | 重庆市科学技术研究院 | 一种用于疲劳驾驶检测的打哈欠动作检测方法 |
CN104951730A (zh) * | 2014-03-26 | 2015-09-30 | 联想(北京)有限公司 | 一种唇动检测方法、装置及电子设备 |
-
2017
- 2017-06-02 CN CN201710406493.2A patent/CN107358153A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366153A (zh) * | 2012-06-06 | 2013-10-23 | 北京科技大学 | 一种面部语义认知特征识别方法 |
EP2713307A1 (en) * | 2012-09-28 | 2014-04-02 | Accenture Global Services Limited | Liveness detection |
CN104951730A (zh) * | 2014-03-26 | 2015-09-30 | 联想(北京)有限公司 | 一种唇动检测方法、装置及电子设备 |
CN104616438A (zh) * | 2015-03-02 | 2015-05-13 | 重庆市科学技术研究院 | 一种用于疲劳驾驶检测的打哈欠动作检测方法 |
Non-Patent Citations (3)
Title |
---|
(株)日立制作所: "声音识别方法", 《专利文献通报 教育广告器乐音响》 * |
AVINASH KUMAR SINGH 等: "Face Recognition with Liveness Detection using Eye and Mouth Movement", 《IEEE》 * |
中国地球物理学会编: "《中国地球物理2011》", 31 October 2011, 中国科学技术大学出版社 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271929A (zh) * | 2018-09-14 | 2019-01-25 | 北京字节跳动网络技术有限公司 | 检测方法和装置 |
WO2020052062A1 (zh) * | 2018-09-14 | 2020-03-19 | 北京字节跳动网络技术有限公司 | 检测方法和装置 |
CN109697416A (zh) * | 2018-12-14 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN109697416B (zh) * | 2018-12-14 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN111860057A (zh) * | 2019-04-29 | 2020-10-30 | 北京眼神智能科技有限公司 | 人脸图像模糊和活体检测方法、装置、存储介质及设备 |
CN111259857A (zh) * | 2020-02-13 | 2020-06-09 | 星宏集群有限公司 | 一种人脸笑容评分方法及人脸情绪分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107527009B (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
CN107358153A (zh) | 一种嘴部运动检测方法和装置及活体识别方法和*** | |
US9754160B2 (en) | Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium | |
CN107330914A (zh) | 人脸部位运动检测方法和装置及活体识别方法和*** | |
CN107358155A (zh) | 一种鬼脸动作检测方法和装置及活体识别方法和*** | |
CN109670396A (zh) | 一种室内老人跌倒检测方法 | |
CN107358154A (zh) | 一种头部运动检测方法和装置及活体识别方法和*** | |
Salimi et al. | Visual-based trash detection and classification system for smart trash bin robot | |
CN101867699B (zh) | 基于分块的非特定目标实时跟踪方法 | |
CN107392089A (zh) | 一种眉毛运动检测方法和装置及活体识别方法和*** | |
CN107330370A (zh) | 一种额头皱纹动作检测方法和装置及活体识别方法和*** | |
CN107909027A (zh) | 一种具有遮挡处理的快速人体目标检测方法 | |
CN106886216A (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和*** | |
CN109389185B (zh) | 使用三维卷积神经网络的视频烟雾识别方法 | |
CN107358151A (zh) | 一种眼部运动检测方法和装置及活体识别方法和*** | |
CN108564069A (zh) | 一种工业佩戴安全帽视频检测方法 | |
CN102332094B (zh) | 半监督在线学习人脸检测方法 | |
CN107368777A (zh) | 一种微笑动作检测方法和装置及活体识别方法和*** | |
CN109460704A (zh) | 一种基于深度学习的疲劳检测方法、***和计算机设备 | |
CN105868734A (zh) | 基于bow图像表征模型的输电线路大型施工车辆识别方法 | |
CN103105924A (zh) | 人机交互方法和装置 | |
CN103324951A (zh) | 一种多元异构水环境监测数据评价与预警方法 | |
CN106940791A (zh) | 一种基于低维方向梯度直方图的行人检测方法 | |
CN103049748B (zh) | 行为监测方法及装置 | |
CN104077591A (zh) | 电脑智能自动监控*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171117 |