CN113486829A - 人脸活体检测方法、装置、电子设备及存储介质 - Google Patents
人脸活体检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113486829A CN113486829A CN202110793445.XA CN202110793445A CN113486829A CN 113486829 A CN113486829 A CN 113486829A CN 202110793445 A CN202110793445 A CN 202110793445A CN 113486829 A CN113486829 A CN 113486829A
- Authority
- CN
- China
- Prior art keywords
- face
- living body
- image sequences
- module
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 176
- 230000001815 facial effect Effects 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000001727 in vivo Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000005215 recombination Methods 0.000 claims description 9
- 230000006798 recombination Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 8
- 230000003252 repetitive effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸活体检测方法、装置、电子设备及存储介质。具体的方案包括：获取人脸视频中的M帧人脸图像，并将所述M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数；将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列；其中，每组所述人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M；将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果；根据所述多个检测结果，确定所述人脸的活体检测结果。本申请不仅可以避免模型的重复性训练，降低模型训练的成本，也可以提高检测结果的准确性，降低模型的抖动影响。
Description
技术领域
本申请涉及图像处理领域，具体涉及深度学习及计算机视觉领域，尤其涉及一种人脸活体检测方法、装置、电子设备及存储介质。
背景技术
活体检测技术常被应用于人脸识别***。该技术可辨别摄像头采集的人脸图像是否来自一个真实的人脸，避免人脸识别***遭受恶意攻击而导致一系列的损失。近年来，由于深度学习技术的飞速发展，活体检测技术取得了显著的进步，并且成功应用于很多人脸识别***场景中，例如人脸支付、人脸安检、视频监控等。但是目前活体检测的模型的泛化性较低，不断的模型更新会使成本较高。
发明内容
本申请提供了一种用于人脸活体检测的方法、装置、电子设备及存储介质。
根据本申请的第一方面，提供了一种人脸活体检测方法，包括：
获取人脸视频中的M帧人脸图像，并将所述M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数；
将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列；其中，每组所述人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M；
将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果；
根据所述多个检测结果，确定所述人脸的活体检测结果。
在本申请的一些实施例中，所述将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列，包括：
将所述M帧人脸面部图像进行时序组合，得到
种组合；
将所述
种组合中的人脸面部图像分别进行排序，得到
组所述人脸面部图像序列。
在本申请实施例中，所述人脸活体检测模型包括特征提取模块、下采样模块和归一化模块；其中，所述将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果，包括：
将每组所述人脸面部图像序列输入至所述特征提取模块进行特征提取，得到每组所述人脸面部图像序列的时空特征；
将每组所述人脸面部图像序列的时空特征输入至所述下采样模块进行下采样操作，得到每组所述人脸面部图像序列的第一特征信息；
将每组所述人脸面部图像序列的第一特征信息输入至所述归一化模块进行归一化处理，得到每组所述人脸面部图像序列的检测结果。
在本申请实施例中，所述根据所述多个检测结果，确定所述人脸的活体检测结果，包括：
将所述多个检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果。
进一步地，在本申请的一些实施例中，所述人脸活体检测方法还包括：根据所述人脸的活体检测结果，识别所述人脸是否为活体。
其中，每个所述检测结果和所述活体检测结果均为二维数组；所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率。
根据本申请的第二方面，提出了一种人脸活体检测装置，包括：
获取模块，用于获取人脸视频中的M帧人脸图像，并将所述M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数；
重组模块，用于将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列；其中，每组所述人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M；
检测模块，用于将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果；
确定模块，用于根据所述多个检测结果，确定所述人脸的活体检测结果。
在本申请的一些实施例中，所述重组模块具体用于：
将所述M帧人脸面部图像进行时序组合，得到
种组合；
将每组所述组合种的人脸面部图像分别进行排序，得到
组所述人脸面部图像序列。
在本申请的一些实施例中，所述人脸活体检测模型包括特征提取模块、下采样模块和归一化模块；其中，所述检测模块具体用于：
将每组所述人脸面部图像序列输入至所述特征提取模块进行特征提取，得到每组所述人脸面部图像序列的时空特征；
将每组所述人脸面部图像序列的时空特征输入至所述下采样模块进行下采样操作，得到每组所述人脸面部图像序列的第一特征信息；
将每组所述人脸面部图像序列的第一特征信息输入至所述归一化模块进行归一化处理，得到每组所述人脸面部图像序列的检测结果。
在本申请的一些实施例中，所述确定模块具体用于：
将所述多个检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果。
可选地，在本申请实施例中，所述人脸活体检测装置还包括：
识别模块，用于根据所述人脸的活体检测结果，识别所述人脸是否为活体。
其中，所述多个检测结果和所述人脸的活体检测结果均为二维数组；所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率。
根据本申请的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能执行上述第一方面所述的方法。
根据本申请的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
根据本申请的技术方案，通过将多帧人脸面部图像进行重组，得到多组固定长度的人脸面部图像序列，并根据固定长度的人脸面部图像序列进行人脸活体检测，也就是说，当人脸图像的帧数发生变化时，输入至模型的图像依然为固定帧数，从而人脸活体检测模型不用重新训练，可以提高模型的适用性，降低了模型训练的成本。此外，根据多组人脸面部图像序列的检测结果来确定人脸的活体检测结果，可以降低模型的抖动影响，提高检测结果的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提出的一种人脸活体检测方法的流程图；
图2为本申请实施例中人脸关键点示意图；
图3为本申请实施例中多帧人脸面部图像重组的流程图；
图4为本申请实施例中多帧人脸面部图像重组的示例图；
图5为本申请实施例中人脸活体检测模型的检测流程图；
图6为本申请实施例中人脸活体检测方法的结构图；
图7为本申请实施例提出的一种人脸活体检测装置的结构框图；
图8为本申请实施例提出的一种电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，人脸活体检测技术常被应用于人脸识别***。该技术可辨别摄像头采集的人脸图像是否来自一个真实的人脸，避免人脸识别***遭受恶意攻击而导致一系列的损失。在现实人脸识别***场景中，基于物理介质的攻击是最为普遍的。此类攻击一般为攻击者通过纸张、屏幕等介质呈现的人脸攻击。例如，攻击者利用合法用户的打印照片或者利用电子设备屏幕展示合法用户电子照片，以对人脸识别***进行攻击。还有一些攻击者通过利用合法用户长相制作逼真的三维头模假体来对人脸识别***进行攻击。
对于以上这些基于物理介质的攻击手法，目前较为常见的区分依据为：1)利用不同物理介质反射光线的特征区别；2)利用攻击介质中人脸颜色域的畸变特征。对于依据1)，由于基于物理介质的攻击手法会经历二次成像，二次成像的人脸中则会带有攻击介质特有的特征。例如，纸张攻击的二次成像人脸中会带有一些纸质纤维纹理，利用电子屏幕呈现攻击的二次成像人脸中可能会带有摩尔纹等。对于依据2)，在将人脸照片打印或者电子屏幕展示的过程中，打印照片与电子照片的色彩空间和真人的色彩空间有一定区别，该特点也可作为真伪人脸区分的依据。
随着技术的不断发展，基于以上物理介质的攻击手法及依据，现有的解决方案中包括视频的多帧人脸活体检测方案，这种方案不仅对单帧人脸特征进行了建模，更进一步地抽取了多帧人脸之间的时序特征关系，包含的信息量更多，检测效果也更好。但是现有的多帧人脸活体检测方案一般需要输入图像帧数固定，当输入帧长度变化时，则需要重新更新模型，成本较大。此外目前基于视频的多帧人脸活体检测方案一般使用3D卷积神经网络模型，该模型参数较多，容易在训练中造成过拟合，同时对于数据量较少的情况训练的模型抖动性较大，性能上不够鲁棒。
基于上述问题，本申请提出了一种人脸活体检测方法、装置、电子设备及存储介质。
图1为本申请实施例提出的一种人脸活体检测方法的流程图。需要说明的是，本申请实施例的人脸活体检测方法可应用与本申请实施例的人脸活体检测装置，该人脸活体检测装置可被配置与电子设备。如图1所示，该人脸活体检测方法包括以下步骤：
步骤101，获取人脸视频中的M帧人脸图像，并将M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数。
需要说明的是，该人脸活体检测方法可应用于人脸识别***。其中，获取人脸视频中的M帧人脸图像，可以是，在人脸识别***在录制人脸视频的过程中，按照一定帧率获取的一系列人脸图像，也可以采用其他方式获取人脸视频中的人脸图像，本申请对此不作限定。
为了定位到人脸的每个部件，提取相应的面部特征，同时提高模型输出结果的准确性，在进行活体检测前，需要将获取到的M帧人脸图像分别进行人脸对齐处理。其中人脸对齐处理可以使用目前现有的技术实现，在本申请实施例中以使用RetinaFace人脸关键点检测算法为例进行说明，如下：将获取到的M帧人脸图像通过RetinaFace算法得到每张人脸图像对应的五个人脸关键点，如图2所示，分别为左眼、右眼、鼻子、左嘴角和右嘴角，然后根据每张图片得到的五个关键点对人脸进行对齐，得到M帧人脸面部图像。其中人脸对齐的主要原理如下：假设对齐前的五个关键点矩阵为A，对齐后五个关键点矩阵为B，目的是要找到一个变换矩阵Ω，使得A经过Ω变换后，最接近B。这个过程可以表示为求R＝argminΩ‖ΩA-B‖F，其中Ω满足条件ΩTΩ＝，‖·‖F是弗罗贝尼乌斯范数(Frobenius norm)。关于R的求解如下，R＝UVT，M＝U∑VT，M＝BAT，即通过对BAT进行奇异值分解，获得酉矩阵U、V，最终通过UVT获得仿射变换矩阵。
步骤102，将M帧人脸面部图像进行重组，获得多组人脸面部图像序列。
需要说明的是，每组人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M。也就是说，经过重组后得到的人脸面部图像序列的长度是固定的，且重组后的人脸面部图像序列中人脸面部图像的张数小于等于原人脸面部图像的张数。
可以理解，将多帧人脸面部图像重组为固定长度的人脸面部图像序列，相当于将多帧人脸面部图像均统一为固定帧数的人脸面部图像，这样可以使人脸活体检测不受图像帧数的影响。此外，将M帧人脸面部图像重组为多组人脸面部图像序列，且其中每组人脸面部图像序列互不相同，若将多组人脸面部图像序列均进行人脸活体检测，可以使模型学习到更多的信息，从而可以增加人脸活体检测的准确性。
在本申请实施例中，每组人脸面部图像序列中包含N张人脸面部图像，其中N的数值与人脸活体检测模型训练时使用的人脸面部图像帧数一致，从而使待检测的人脸图像帧数与模型检测对应的图像帧数一致。也就是说，人脸活体检测模型不用随着人脸图像帧数的变化而不断更新，进而也可以降低模型训练的成本，提高模型的适用性。需要说明的是，N对应数值可以根据实际情况进行设定，本申请对此不作限定。
在本申请实施例中，M帧人脸面部图像进行重组方式可以采用排列组合的方式，也可以为随机组合的方式，也可以为能得到多组人脸面部图像序列的其他重组方式，且得到的多组人脸面部图像序列互不相同。
需要说明的是，若因为传输失败或其中其他异常情况造成获取的人脸图像的帧数少于N时，可以在已处理过的人脸图像中随机选取对应的张数来补齐，避免由于异常情况造成人脸活体检测失败的情况的发生。
步骤103，将多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果。
也就是说，每组人脸面部图像序列输入到预设的人脸活体检测模型后，均得到一个检测结果，相当于，人脸活体检测模型可以根据输入的多组人脸面部图像序列学习到更多的信息，从而使原M帧人脸面部图像得到了多个检测结果。
在本申请实施例中，预设的人脸活体检测模型可以根据输入的人脸面部图像序列通过卷积操作进行特征提取，并根据提取的特征信息进行学习，输出对应的检测结果。该预设的人脸活体检测模型是预先训练好的。
步骤104，根据多个检测结果，确定人脸的活体检测结果。
可以理解，由于多组人脸面部图像序列相比原M帧人脸面部图像能携带更多的信息，可以使模型能提取到更多的特征并输出多个检测结果，所以根据得到的多个检测结果来确定人脸的活体检测结果会更准确。
需要说明的是，根据多个检测结果来确定人脸的活体检测结果的方式可以为将多个检测结果进行融合处理，比如：求平均的方式，加权平均的方式，或者为其他的方式，本申请实施例以求平均的方式为例进行说明，包括：将多个检测结果进行求平均计算，并将计算结果作为人脸活体检测结果。
在本申请实施例中，每个检测结果和最终的人脸活体检测结果可以是二维数组的形式，该二维数组的其中一维代表人脸为活体的概率，另一维代表人脸不是活体的概率。从而可以根据人脸的活体检测结果，来识别该人脸是否为活体，比如，可以通过设定阈值的方式，若代表人脸为活体的概率超过该阈值，说明该人脸为活体，否则该人脸不是活体。
根据本申请实施例提出的人脸活体检测方法，通过将多帧人脸面部图像进行重组，得到多组固定长度的人脸面部图像序列，并根据固定长度的人脸面部图像序列进行人脸活体检测，也就是说，当人脸图像的帧数发生变化时，输入至模型的图像依然为固定帧数，从而人脸活体检测模型不用重新训练，可以提高模型的适用性，降低了模型训练的成本。此外，根据多组人脸面部图像序列的检测结果来确定人脸的活体检测结果，可以降低模型的抖动影响，提高检测结果的准确性。
基于上述实施例，为了使多帧人脸面部图像重组得到的人脸面部图像序列尽可能多，进而使人脸活体检测模型能够提取到更多的特征，本申请针对多帧人脸面部图像的重组提出了另一个实施例。
图3为本申请实施例提出的一种多帧人脸面部图像重组的流程图。如图3所示，将M帧人脸面部图像进行重组，获得多组人脸面部图像序列的实现方式可以为：
步骤301，将M帧人脸面部图像进行时序组合，得到
种组合。
也就是说，在M张人脸面部图像中取出N张人脸面部图像并组成一组，可以得到
种不同的组合，每个组合中包括N张人脸面部图像。
作为一种示例，若M＝4，N＝3，且M张人脸面部图像x0＝(f1,f2,f3,f4)，其中f1,f2,f3,f4分别为4张人脸面部图像，则可以得(f1,f2,f3)、(f2,f3,f4)、(f1,f2,f4)、(f1,f3,f4)种组合，也就是
种组合。其中每个组合不考虑各图像之间的顺序。
步骤302，将
种组合中的人脸面部图像分别进行排序，得到
组人脸面部图像序列。
可以理解，由不同顺序的人脸面部图像组成的人脸面部图像序列所携带的信息不同，则通过人脸活体检测模型提取到的特征信息也会不同，所以为了使人脸活体检测模型能学习到更多的信息，提升模型的鲁棒性，可以将每个组合中的人脸面部图像分别进行排序，已得到尽可能多的人脸面部图像序列。
在本申请实施例中，每种组合中由N张人脸面部图像，将每种组合中的人脸面部图像分别进行排序，可以得到
组不同的人脸面部图像序列，从而
种组合可以得到
组不同的人脸面部图像序列。基于上述示例，如图4所示，将(f1,f2,f3)、(f2,f3,f4)、(f1,f2,f4)、(f1,f3,f4)四种组合中的人脸面部图像分别进行排序，其中每种组合中的人脸面部图像可以有
种排序，则一共有
组人脸面部图像序列。
根据本申请实施例提出的人脸活体检测方法，通过将多帧人脸面部图像先进行时序组合，再将各组合中的人脸面部图像分别进行排序，相当于将多帧人脸面部图像进行排列组合，以得到尽可能多的固定长度的人脸面部图像序列，从而可以使人脸活体检测模型能提取到更多的特征信息，进一步地提高模型检测的准确性。
为了进一步对上述实施例中的人脸活体检测模型检测流程进行详细说明，本申请针对人脸活体检测模型的检测流程提出了另一实施例。
图5为本申请实施例提出的一种人脸活体检测模型的检测流程图。如图6所示的网络结构，该人脸活体检测模型包括特征提取模块、下采样模块和归一化模块，其中特征提取模块可以是基于R2puls1d模型的一种轻量级模型。如图5所示，将多组人脸面部图像序列分别输入值至人脸活体检测模型，获得多个检测结果的步骤可以包括：
步骤501，将每组人脸面部图像序列输入至特征提取模块进行特征提取，得到每组人脸面部图像序列的时空特征。
可以理解，由于每组人脸面部图像序列有N帧人脸面部图像，所以将人脸面部图像序列输入至特征提取模块后，该特征提取模块可以通过卷积操作来提取对应的N帧人脸面部图像的时空特征，从而得到每组人脸面部图像序列的时空特征。
步骤502，将每组人脸面部图像序列的时空特征输入至下采样模块进行下采样操作，得到每组人脸面部图像序列的第一特征信息。
由于下采样操作可以降低特征信息维度，减少网络学习的参数数量，避免过拟合的发生，还可以扩大感知野，提高网络学习的效果，所以可以在卷积操作后将特征信息进行下采样操作。
在本申请实施例中，将时空特征进行时空维度的下采样操作，可以检测模型参数的数量，避免过拟合的发生，减少网络学习的计算量。从而得到每组人脸面部图像序列的第一特征信息，该第一特征信息为2维特征。
步骤503，将每组人脸面部图像序列的第一特征信息输入至归一化模块进行归一化处理，得到每组人脸面部图像序列的检测结果。
可以理解，将每组人脸面部图像序列的第一特征信息进行归一化处理，相当于将神经网络的输出映射到(0，1)的值域内，这样，输出的结果可以相当于概率，用于指示人脸检测结果是活体或者不是活体的概率。
在本申请实施例中，归一化模块可以使用softmax函数，由于该函数引入了指数，可以使原本大的值更大，使原本小的值更小，增加了特征区分对比度，从而可以更高效地得到每组人脸面部图像序列的检测结果。其中，归一化模块也可以根据实际情况使用其他现有的函数，本申请对此不作限定。
根据本申请实施例提出的人脸活体检测方法，将人脸活体检测模型分为特征提取模块、下采样模块和归一化模块，不仅可以有效地减少模型参数和网络模型的计算量，也可以减少模型计算出现过拟合的风险，同时可以提高模型计算的效率，从而提升了人脸活体检测的效率及准确性。
为了实现上述实施例，本申请提出了一种人脸活体检测装置。
图7为本申请实施例提出的一种人脸活体检测装置的结构框图。如图7所示，该人脸活体检测装置包括：
获取模块701，用于获取人脸视频中的M帧人脸图像，并将M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数；
重组模块702，用于将M帧人脸面部图像进行重组，获得多组人脸面部图像序列；其中，每组人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M；
检测模块703，用于将多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果；
确定模块704，用于根据多个检测结果，确定人脸的活体检测结果。
在本申请的一些实施例中，重组模块702具体用于：
将M帧人脸面部图像进行时序组合，得到
种组合；
将每组组合种的人脸面部图像分别进行排序，得到
组人脸面部图像序列。
在本申请的一些实施例中，人脸活体检测模型包括特征提取模块、下采样模块和归一化模块；其中，检测模块703具体用于：
将每组人脸面部图像序列输入至特征提取模块进行特征提取，得到每组人脸面部图像序列的时空特征；
将每组人脸面部图像序列的时空特征输入至下采样模块进行下采样操作，得到每组人脸面部图像序列的第一特征信息；
将每组人脸面部图像序列的第一特征信息输入至归一化模块进行归一化处理，得到每组人脸面部图像序列的检测结果。
在本申请的一些实施例中，确定模块704具体用于：
将多个检测结果进行求平均计算，并将计算结果作为人脸的活体检测结果。
可选地，在本申请实施例中，人脸活体检测装置还包括：
识别模块705，用于根据人脸的活体检测结果，识别人脸是否为活体。
其中，多个检测结果和人脸的活体检测结果均为二维数组；二维数组的其中一维代表人脸为活体的概率，另一维代表人脸不是活体的概率。
根据本申请实施例提出的人脸活体检测装置，通过将多帧人脸面部图像进行重组，得到多组固定长度的人脸面部图像序列，并根据固定长度的人脸面部图像序列进行人脸活体检测，也就是说，当人脸图像的帧数发生变化时，输入至模型的图像依然为固定帧数，从而人脸活体检测模型不用重新训练，可以提高模型的适用性，降低了模型训练的成本。此外，根据多组人脸面部图像序列的检测结果来确定人脸的活体检测结果，可以降低模型的抖动影响，提高检测结果的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图8是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件88，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述人脸活体检测方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备800的处理器执行时，使得电子设备800能够执行上述人脸活体检测方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种人脸活体检测方法，其特征在于，包括：
获取人脸视频中的M帧人脸图像，并将所述M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数；
将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列；其中，每组所述人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M；
将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果；
根据所述多个检测结果，确定所述人脸的活体检测结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列，包括：
将所述M帧人脸面部图像进行时序组合，得到
种组合；
将所述
种组合中的人脸面部图像分别进行排序，得到
组所述人脸面部图像序列。
3.根据权利要求1所述的方法，其特征在于，所述人脸活体检测模型包括特征提取模块、下采样模块和归一化模块；其中，所述将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果，包括：
将每组所述人脸面部图像序列输入至所述特征提取模块进行特征提取，得到每组所述人脸面部图像序列的时空特征；
将每组所述人脸面部图像序列的时空特征输入至所述下采样模块进行下采样操作，得到每组所述人脸面部图像序列的第一特征信息；
将每组所述人脸面部图像序列的第一特征信息输入至所述归一化模块进行归一化处理，得到每组所述人脸面部图像序列的检测结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多个检测结果，确定所述人脸的活体检测结果，包括：
将所述多个检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
根据所述人脸的活体检测结果，识别所述人脸是否为活体。
6.根据权利要求1所述的方法，其特征在于，每个所述检测结果和所述活体检测结果均为二维数组；所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率。
7.一种人脸活体检测装置，其特征在于，包括：
获取模块，用于获取人脸视频中的M帧人脸图像，并将所述M帧人脸图像分别进行人脸对齐，得到M帧人脸面部图像；M为大于1的正整数；
重组模块，用于将所述M帧人脸面部图像进行重组，获得多组人脸面部图像序列；其中，每组所述人脸面部图像序列中包含N张人脸面部图像，N为大于1的正整数，N小于或等于M；
检测模块，用于将所述多组人脸面部图像序列分别输入至预设的人脸活体检测模型，获得多个检测结果；
确定模块，用于根据所述多个检测结果，确定所述人脸的活体检测结果。
8.根据权利要求7所述的装置，其特征在于，所述重组模块具体用于：
将所述M帧人脸面部图像进行时序组合，得到
种组合；
将每组所述组合种的人脸面部图像分别进行排序，得到
组所述人脸面部图像序列。
9.根据权利要求7所述的装置，其特征在于，所述人脸活体检测模型包括特征提取模块、下采样模块和归一化模块；其中，所述检测模块具体用于：
将每组所述人脸面部图像序列输入至所述特征提取模块进行特征提取，得到每组所述人脸面部图像序列的时空特征；
将每组所述人脸面部图像序列的时空特征输入至所述下采样模块进行下采样操作，得到每组所述人脸面部图像序列的第一特征信息；
将每组所述人脸面部图像序列的第一特征信息输入至所述归一化模块进行归一化处理，得到每组所述人脸面部图像序列的检测结果。
10.根据权利要求7所述的装置，其特征在于，所述确定模块具体用于：
将所述多个检测结果进行求平均计算，并将计算结果作为所述人脸的活体检测结果。
11.根据权利要求7所述的装置，其特征在于，还包括：
识别模块，用于根据所述人脸的活体检测结果，识别所述人脸是否为活体。
12.根据权利要求7所述的装置，其特征在于，所述多个检测结果和所述人脸的活体检测结果均为二维数组；所述二维数组的其中一维代表所述人脸为活体的概率，另一维代表所述人脸不是活体的概率。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110793445.XA CN113486829B (zh) | 2021-07-15 | 2021-07-15 | 人脸活体检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110793445.XA CN113486829B (zh) | 2021-07-15 | 2021-07-15 | 人脸活体检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486829A true CN113486829A (zh) | 2021-10-08 |
| CN113486829B CN113486829B (zh) | 2023-11-07 |
Family
ID=77938549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110793445.XA Active CN113486829B (zh) | 2021-07-15 | 2021-07-15 | 人脸活体检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486829B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273794A (zh) * | 2017-04-28 | 2017-10-20 | 北京建筑大学 | 一种人脸识别过程中的活体鉴别方法及装置 |
| CN109886080A (zh) * | 2018-12-29 | 2019-06-14 | 深圳云天励飞技术有限公司 | 人脸活体检测方法、装置、电子设备及可读存储介质 |
| CN110276277A (zh) * | 2019-06-03 | 2019-09-24 | 罗普特科技集团股份有限公司 | 用于检测人脸图像的方法和装置 |
| WO2019214201A1 (zh) * | 2018-05-10 | 2019-11-14 | 北京市商汤科技开发有限公司 | 活体检测方法及装置、***、电子设备、存储介质 |
| CN110598580A (zh) * | 2019-08-25 | 2019-12-20 | 南京理工大学 | 一种人脸活体检测方法 |
| WO2020151489A1 (zh) * | 2019-01-25 | 2020-07-30 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
| CN111814567A (zh) * | 2020-06-11 | 2020-10-23 | 上海果通通信科技股份有限公司 | 人脸活体检测的方法、装置、设备和存储介质 |
| CN112016437A (zh) * | 2020-08-26 | 2020-12-01 | 中国科学院重庆绿色智能技术研究院 | 一种基于人脸视频关键帧的活体检测方法 |
| CN112528872A (zh) * | 2020-12-15 | 2021-03-19 | 中化资本数字科技有限公司 | 基于视频流的人脸检测模型的训练方法、装置及计算设备 |
| US20210110185A1 (en) * | 2019-10-15 | 2021-04-15 | Assa Abloy Ab | Systems and methods for using focal stacks for image-based spoof detection |
-
2021
- 2021-07-15 CN CN202110793445.XA patent/CN113486829B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273794A (zh) * | 2017-04-28 | 2017-10-20 | 北京建筑大学 | 一种人脸识别过程中的活体鉴别方法及装置 |
| WO2019214201A1 (zh) * | 2018-05-10 | 2019-11-14 | 北京市商汤科技开发有限公司 | 活体检测方法及装置、***、电子设备、存储介质 |
| CN109886080A (zh) * | 2018-12-29 | 2019-06-14 | 深圳云天励飞技术有限公司 | 人脸活体检测方法、装置、电子设备及可读存储介质 |
| WO2020151489A1 (zh) * | 2019-01-25 | 2020-07-30 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
| CN110276277A (zh) * | 2019-06-03 | 2019-09-24 | 罗普特科技集团股份有限公司 | 用于检测人脸图像的方法和装置 |
| CN110598580A (zh) * | 2019-08-25 | 2019-12-20 | 南京理工大学 | 一种人脸活体检测方法 |
| US20210110185A1 (en) * | 2019-10-15 | 2021-04-15 | Assa Abloy Ab | Systems and methods for using focal stacks for image-based spoof detection |
| CN111814567A (zh) * | 2020-06-11 | 2020-10-23 | 上海果通通信科技股份有限公司 | 人脸活体检测的方法、装置、设备和存储介质 |
| CN112016437A (zh) * | 2020-08-26 | 2020-12-01 | 中国科学院重庆绿色智能技术研究院 | 一种基于人脸视频关键帧的活体检测方法 |
| CN112528872A (zh) * | 2020-12-15 | 2021-03-19 | 中化资本数字科技有限公司 | 基于视频流的人脸检测模型的训练方法、装置及计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 张高铭;冯瑞;: "基于人脸的活体检测***", 计算机***应用, no. 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486829B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110688951B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111310616B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US11321575B2 (en) | Method, apparatus and system for liveness detection, electronic device, and storage medium | |
| CN109815845B (zh) | 人脸识别的方法和装置、存储介质 | |
| US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
| CN109934275B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111553864B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| CN111062237A (zh) | 识别图像中的序列的方法及装置、电子设备和存储介质 | |
| CN110287671B (zh) | 验证方法及装置、电子设备和存储介质 | |
| CN110633700B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| CN109145150B (zh) | 目标匹配方法及装置、电子设备和存储介质 | |
| CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN107220614B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN111242188B (zh) | 入侵检测方法、装置及存储介质 | |
| CN104867112B (zh) | 照片处理方法及装置 | |
| CN109101542B (zh) | 图像识别结果输出方法及装置、电子设备和存储介质 | |
| CN107977636B (zh) | 人脸检测方法及装置、终端、存储介质 | |
| CN111310664B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| CN110363111B (zh) | 基于镜头失真原理的人脸活体检测方法、装置及存储介质 | |
| CN111062401A (zh) | 堆叠物体的识别方法及装置、电子设备和存储介质 | |
| CN109145878B (zh) | 图像提取方法及装置 | |
| CN111553865B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| CN111797746B (zh) | 人脸识别方法、装置及计算机可读存储介质 | |
| CN111582381B (zh) | 确定性能参数的方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |