CN112580615B - 一种活体的认证方法、认证装置及电子设备 - Google Patents

一种活体的认证方法、认证装置及电子设备 Download PDF

Info

Publication number
CN112580615B
CN112580615B CN202110213304.6A CN202110213304A CN112580615B CN 112580615 B CN112580615 B CN 112580615B CN 202110213304 A CN202110213304 A CN 202110213304A CN 112580615 B CN112580615 B CN 112580615B
Authority
CN
China
Prior art keywords
living body
optical flow
authentication data
authentication
characteristic matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110213304.6A
Other languages
English (en)
Other versions
CN112580615A (zh
Inventor
白世杰
吴富章
赵宇航
王秋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanjian Information Technology Co Ltd
Original Assignee
Beijing Yuanjian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanjian Information Technology Co Ltd filed Critical Beijing Yuanjian Information Technology Co Ltd
Priority to CN202110213304.6A priority Critical patent/CN112580615B/zh
Publication of CN112580615A publication Critical patent/CN112580615A/zh
Application granted granted Critical
Publication of CN112580615B publication Critical patent/CN112580615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种活体的认证方法、认证装置及电子设备，获取待认证对象的认证数据，判断认证数据中是否包含图像认证数据及音频认证数据；若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个视频帧，确定反映活体下半面部肌肉变化特征的光流图；根据确定出的图像认证数据对应的多张光流图，确定图像认证数据对应的光流特征矩阵；将光流特征矩阵输入至基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的活体认证模型中，输出待认证对象是否为活体的分类结果。这样，可以有效防止利用照片来通过认证的问题，可以提升活体识别能力及识别准确率。

Description

一种活体的认证方法、认证装置及电子设备
技术领域
本申请涉及安全验证技术领域，尤其是涉及一种活体的认证方法、认证装置及电子设备。
背景技术
在手机解锁，移动支付，远程身份验证等关键登录***场景中，面部识别验证操作成为了最便捷的验证方式之一，相比于密码验证以及利用人身份信息进行验证的方式，更加安全且更能代表本人操作，是防止黑客攻击的一种有效手段。但是目前面部识别验证方式存在利用用户人脸照片代替用户进行照片攻击的风险，其安全性有待加强。为有效地甄别用户展示的是真实本人人脸还是照片，防照片攻击身份认证技术应用而生。
目前，现有的技术大多采用增加红外传感器或深度传感器等硬件，利用深度图像判断人脸的三维性，这种方式可以直接防御二维照片攻击，如手机、电脑等不可弯折的显示屏，但对可弯折的打印照片效果不佳。同时也存在依据摄像头采集到的图像的纹理、颜色、质感、质量等特征，判别肉皮与屏幕或纸张的区别，进而判断是否为真实用户本人的验证方法。但这些方法存仍在照片攻击的可能性，并且对活体的识别能力及识别准确率较低。
发明内容
有鉴于此，本申请的目的在于提供一种活体的认证方法、认证装置及电子设备，通过采集待认证对象的图像认证数据及音频认证数据，确定图像认证数据中的视频帧对应的反映了与图像认证数据中活体下半面部肌肉变化特征的光流图，并根据光流图确定对应的特征矩阵，将特征矩阵输入至基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据之间的映射关系训练好的活体认证模型中，利用深度学习技术对活体下半面部肌肉变化特征及音频认证数据之间的匹配度进行识别并输出活体的分类结果，由于照片攻击无法模拟出与音频认证数据相对应的下半面部肌肉变化特征，因此可以防止照片攻击，同时提升活体的识别能力及识别准确率。
本申请实施例提供了一种活体的认证方法，所述方法包括：
获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据；
若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征；
根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵；
将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的。
进一步的，根据以下方法确定所述光流特征矩阵：
针对每一个视频帧对应的光流图，将该光流图缩放至预设尺寸，得到该光流图对应的第一光流图矩阵；
将该光流图在相互垂直的两个方向上对应的光流图矩阵进行拼接，得到该光流图对应的第二光流图矩阵；
根据所述图像认证数据对应的每张光流图对应的第二光流图矩阵，确定所述图像认证数据对应的光流特征矩阵。
进一步的，根据以下方法输出所述待认证对象是否为活体的分类结果：
将所述光流特征矩阵输入至训练好的活体认证模型中，对所述光流特征矩阵进行时空特征提取，确定所述光流特征矩阵对应的时空特征矩阵；
对所述时空特征矩阵进行空间特征提取，确定所述时空特征矩阵对应的空间特征矩阵；
对所述空间特征矩阵进行时间特征提取，确定所述空间特征矩阵对应的时间特征矩阵；
对所述时间特征矩阵进行归一化指数函数及全连接映射分类处理，输出所述待认证对象是否为活体的分类结果。
进一步的，在所述将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中样本图像认证数据及样本音频认证数据的映射关系训练得到的之后，所述认证方法包括：
若输出的活体认证结果为活体，则提示认证通过；
若输出的活体认证结果为非活体，则此次认证失败，提示重新进行验证。
进一步的，针对每一个所述视频帧，根据以下步骤确定所述视频帧对应的光流图：
从所述图像认证数据中确定出所述待认证对象对应的认证区域；
确定所述认证区域对应的特征点坐标；
利用光流法处理所述特征点坐标，确定所述视频帧对应的光流图。
本申请实施例还提供了一种活体的认证装置，所述认证装置包括：
判断模块，用于获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据；
第一确定模块，用于若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征；
第二确定模块，用于根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵；
输出模块，用于将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的。
进一步的，所述第二确定模块还用于：
针对每一个视频帧对应的光流图，将该光流图缩放至预设尺寸，得到该光流图对应的第一光流图矩阵；
将该光流图在相互垂直的两个方向上对应的光流图矩阵进行拼接，得到该光流图对应的第二光流图矩阵；
根据所述图像认证数据对应的每张光流图对应的第二光流图矩阵，确定所述图像认证数据对应的光流特征矩阵。
进一步的，所述认证装置还包括提示模块，所述提示模块用于：
若输出的活体认证结果为活体，则提示认证通过；
若输出的活体认证结果为非活体，则此次认证失败，提示重新进行验证。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的活体的认证方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的活体的认证方法的步骤。
本申请提供的一种活体的认证方法、认证装置及电子设备，通过采集待认证对象的图像认证数据及音频认证数据，确定图像认证数据中的视频帧对应的反映了与图像认证数据中活体下半面部肌肉变化特征的光流图，并根据光流图确定对应的特征矩阵，将特征矩阵输入至基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据之间的映射关系训练好的活体认证模型中，利用深度学习技术对活体下半面部肌肉变化特征及音频认证数据之间的匹配度进行识别并输出活体的分类结果，由于照片攻击无法模拟出与音频认证数据相对应的下半面部肌肉变化特征，因此可以防止照片攻击，同时提升活体的识别能力及识别准确率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种活体的认证方法的流程图；
图2示出了本申请实施例所提供的另一种活体的认证方法的流程图；
图3示出了本申请实施例所提供的另一种活体的认证方法的流程图；
图4示出了本申请实施例所提供的一种活体的认证装置的结构示意图之一；
图5示出了本申请实施例所提供的一种活体的认证装置的结构示意图之二；
图6示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于安全验证技术领域。
经研究发现，目前，现有的技术大多采用增加红外传感器或深度传感器等硬件，利用深度图像判断人脸的三维性，这种方式可以直接防御二维照片攻击，如手机、电脑等不可弯折的显示屏，但对可弯折的打印照片效果不佳。同时也存在依据摄像头采集到的图像的纹理、颜色、质感、质量等特征，判别肉皮与屏幕或纸张的区别，进而判断是否为真实用户本人的验证方法。但这些方法存仍在照片攻击的可能性，对活体的识别能力及识别准确率较低。
基于此，本申请实施例提供了一种活体的认证方法，在防止照片攻击的同时，提升活体的识别能力及识别准确率。
请参阅图1，图1示出了本申请实施例所提供的一种活体的认证方法的流程图。如图1中所示，本申请实施例提供的活体的认证方法，包括：
S101、获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据。
该步骤中，获取待认证对象的认证数据，判断认证数据中是否包含图像认证数据及音频认证数据，若认证数据中包含图像认证数据及音频认证数据，则继续进行后续的活体认证过程；若认证数据中只包含图像认证数据与音频认证数据之一，则不进行后续的认证，直接确定所述待认证对象为非活体。
其中，待认证对象可以为用户本身或用户的人脸照片。
在一种可能的实施方式中，认证数据包括活体数据及攻击数据；所述活体数据，包括真实用户在认证场景中，面对屏幕、摄像头以及麦克风按照屏幕显示的随机位数***数字进行朗读，拍摄到的真人面部视频画面以及录制到的用户本人的读数声音，是采集到的活体用户的相关认证数据；而所述攻击数据，包括将用户人脸照片放置于屏幕、摄像头以及麦克风前，随机静止或晃动用户人脸照片模拟真实用户，由他人在一旁朗读屏幕上显示的数字，拍摄到的由用户照片模拟真实用户的视频画面以及录制到的非用户本人的读数声音，是采集到的非活体用户的相关认证数据。
其中，用户朗读的***数字位数可以根据实际需要进行选择，在此不做具体限制。
S102、若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征。
该步骤中，对经过S101筛选后的包含有图像认证数据以及音频认证数据的认证数据进行进一步的活体认证，针对采集到的图像认证数据，获取该视频中包含的全部视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图。
这里，用户在朗读随机的数字序列时，在读每一个数字的过程中，对应的下半部面部肌肉动作不同，更具体地说，是用户嘴部到下巴之间的活体下半部面部肌肉运动特征不同。光流图可以反映用户下半部面部肌肉的变化特征，这样，通过分析在认证过程中，用户面部光流图的变化情况与朗读数字的过程中，用户下半部面部肌肉的变化的匹配度，即可判断用户是否在朗读显示于屏幕上的随机数字序列。
在一种可能的实施方式中，根据以下步骤确定所述视频帧对应的光流图：
（1）从所述图像认证数据中确定出所述待认证对象对应的认证区域。
该步骤中，可选的利用开源计算机视觉库，读取图像认证数据中的每一帧，在所述图像认证数据的每一帧中，利用人脸检测器对待认证对象进行检测，确认待检测物体中的人脸部分。
其中，所述认证区域为图像认证数据的每一帧画面中用户的脸部区域。
当待认证对象为真实的用户时，则在图像认证数据的每一帧画面中确认真实用户的脸部区域；当待认证对象为非真实用户，如用户的照片，则在图像认证数据的每一帧画面中确定用户照片中的脸部区域。
（2）确定所述认证区域对应的特征点坐标。
该步骤中，在确认了在每一帧画面中用户脸部的区域范围后，利用人脸检测器对用户脸部进行特征点提取，由于用户在朗读数字过程中用户面部的主要运动部位集中在下半脸区域，优选的将认证区域确定为用户脸部下半部分区域。
这里，由于用户在朗读显示于显示器上的随机数字序列时，主要运动的下半面部肌肉为嘴部及下巴处的肌肉，同时也包含部分脸部肌肉，因此特征点优选于在用户下脸部的相关位置采集。
在一种可能的实施方式中，确定的认证区域对应的特征点坐标包括：用户脸部位置框的左上角顶点坐标(x1，y1)和右下角顶点坐标(x2，y2 )，截取用户脸部的下半部分区域，得到下半部分区域的左上角顶点坐标(x1，y1/2)和右下角顶点坐标(x2，y2 )。
其中，特征点的选择位置为可以反映用户下半面部肌肉位置的相关特征点位置，特征点的数量可以根据需要具体确定，在此不做具体限制。
（3）利用光流法处理所述特征点坐标，确定所述视频帧对应的光流图。
该步骤中，利用开源计算机视觉库中的光流法，确定与视频帧中用户脸部下半部分区域的x方向与y方向对应的光流图。
S103、根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵。
在一种可能的实施方式中，根据以下方法确定所述光流特征矩阵：
（1）针对每一个视频帧对应的光流图，将该光流图缩放至预设尺寸，得到该光流图对应的第一光流图矩阵。
在一种可能的实施方式中，将该光流图缩放至预设尺寸，得到每张光流图的大小为[3×64×64]维度的第一光流图矩阵。
（2）将该光流图在相互垂直的两个方向上对应的光流图矩阵进行拼接，得到该光流图对应的第二光流图矩阵。
该步骤中，将x方向和y方向，维度为[3×64×64]的光流图矩阵拼接后得到维度为[6×64×64]的第二光流图矩阵。
（3）根据所述图像认证数据对应的每张光流图对应的第二光流图矩阵，确定所述图像认证数据对应的光流特征矩阵。
在一种可能的实施方式中，确定在整个朗读数字过程中采集到的视频的总帧数m，将一个图像认证数据对应的所有视频帧进行同上步骤的处理，得到m个维度为[6×64×64]的光流特征矩阵，其维度为[m×6×64×64]。
S104、将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的。
该步骤中，将得出的光流特征矩阵输入至基于历史活体样本中的活体面部变化特征及样本音频认证数据的映射关系训练得到的活体认证模型中，该模型自动输出待认证对象是否为活体的分类结果。
在具体实施过程中，通过让用户面对摄像头和麦克风，说出屏幕上产生的随机数字序列，获取视频每一帧中用户脸部下半部分图像，并计算x方向和y方向两个相互垂直的方向上的光流图，确定与光流图对应的光流特征矩阵，并将其输入至已经训练好的深度学习模型，对光流特征矩阵在时域和空域上进行分析，学习在朗读数字序列时的人脸下半部分肌肉运动特征变化，从而输出活体与非活体识别结果，并不断更新自身学习模型的识别精度。
作为一种可能的实施方式，在所述光流特征矩阵输入至训练好的活体认证模型中之前，所述认证方法还包括对活体认证模型进行训练，通过以下步骤对所述活体认证模型进行训练：
（1）将输入数据分批输入至活体认证模型；
（2）调整所述活体认证模型对应的批量大小、学习率、损失函数、优选器等训练参数；
（3）开始模型训练。
可选的，所述活体认证模型对应的批量大小设置为64、学习率设置为0.0001、损失函数设置为交叉熵损失函数、优选器设置为随机梯度下降（Stochastic GradientDescent，SDG）。
本申请提供的一种活体的认证方法，通过采集待认证对象的图像认证数据及音频认证数据，确定图像认证数据中的视频帧对应的反映了与图像认证数据中活体下半面部肌肉变化特征的光流图，并根据光流图确定对应的特征矩阵，将特征矩阵输入至基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据之间的映射关系训练好的活体认证模型中，利用深度学习技术对活体下半面部肌肉变化特征及音频认证数据之间的匹配度进行识别并输出活体的分类结果，由于照片攻击无法模拟出与音频认证数据相对应的下半面部肌肉变化特征，因此可以防止照片攻击，同时提升活体的识别能力及识别准确率。
请参阅图2，图2示出了本申请实施例所提供的另一种活体的认证方法的流程图。如图2中所示，本申请实施例所提供的活体的认证方法，包括：
S201、将所述光流特征矩阵输入至训练好的活体认证模型中，对所述光流特征矩阵进行时空特征提取，确定所述光流特征矩阵对应的时空特征矩阵。
该步骤中，建立深度学习模型，对光流特征矩阵进行卷积操作，获取光流特征矩阵的时空特征，确定所述光流特征矩阵对应的时空特征矩阵。
其中，可选的卷积操作通过三维卷积模块操作完成，包括：线性整流函数操作以及三维最大值池化操作。
S202、对所述时空特征矩阵进行空间特征提取，确定所述时空特征矩阵对应的空间特征矩阵；
该步骤中，根据步骤S201中确定的所述光流特征矩阵对应的时空特征矩阵进行空间特征的提取，确定与时空特征矩阵对应的空间特征矩阵。
其中，可选的利用残差网络提取时空特征矩阵对应的空间特征。
S203、对所述空间特征矩阵进行时间特征提取，确定所述空间特征矩阵对应的时间特征矩阵。
该步骤中，对步骤S202中确定的空间特征矩阵进行时序变化特征的提取，确定所述空间特征矩阵对应的时间特征矩阵。
其中，可选的将空间特征矩阵输入至两层双向门控循环单元（Gated RecurrentUnit，GRU）提取空间特征矩阵在时序上的变化特征，并将双向GRU的输出特征进行拼接，得到空间特征矩阵对应的时间特征矩阵。
S204、对所述时间特征矩阵进行归一化指数函数及全连接映射分类处理，输出所述待认证对象是否为活体的分类结果。
该步骤中，将时间特征矩阵经过三层全连接层以及归一化指数函数的处理，输出的分类结果为待认证对象为活体或非活体两类。
请参阅图3，图3示出了本申请实施例所提供的另一种活体的认证方法的流程图。如图3中所示，本申请实施例所提供的活体的认证方法，包括：
S301、获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据。
S302、若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征。
S303、根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵。
S304、将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的。
S305、若输出的活体认证结果为活体，则提示认证通过；若输出的活体认证结果为非活体，则此次认证失败，提示重新进行验证。
该步骤中，将光流特征矩阵输入至训练好的模型，进行活体计算分类，若得出的分类结果为待认证对象为活体，则可以进行后续的操作，若得出的分类结果是非活体，则此次认证失败，需要重新进行认证。
其中，若得出的分类结果为待认证对象为活体，则认为识别认证成功，整个认证过程完成，并且提示用户认证过程已经通过，可进行后续的如拥有登录权限或拥有支付权限。
其中，S301至S304的描述可以参照S101至S104的描述，并且能达到相同的技术效果，对此不做赘述。
本申请提供的一种活体的认证方法，通过采集待认证对象的图像认证数据及音频认证数据，确定图像认证数据中的视频帧对应的反映了与图像认证数据中活体下半面部肌肉变化特征的光流图，并根据光流图确定对应的特征矩阵，将特征矩阵输入至基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据之间的映射关系训练好的活体认证模型中，利用深度学习技术对活体下半面部肌肉变化特征及音频认证数据之间的匹配度进行识别并输出活体的分类结果，由于照片攻击无法模拟出与音频认证数据相对应的下半面部肌肉变化特征，因此可以防止照片攻击，同时提升活体的识别能力及识别准确率。
请参阅图4、图5，图4示出了本申请实施例所提供的一种活体的认证装置的结构示意图之一，图5示出了本申请实施例所提供的一种活体的认证装置的结构示意图之二。如图4中所示，所述认证装置400包括：
判断模块410，用于获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据；
第一确定模块420，用于若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征；
第二确定模块430，用于根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵；
输出模块440，用于将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的。
进一步的，所述第二确定模块430还用于：
针对每一个视频帧对应的光流图，将该光流图缩放至预设尺寸，得到该光流图对应的第一光流图矩阵；
将该光流图在相互垂直的两个方向上对应的光流图矩阵进行拼接，得到该光流图对应的第二光流图矩阵；
根据所述图像认证数据对应的每张光流图对应的第二光流图矩阵，确定所述图像认证数据对应的光流特征矩阵。
进一步的，所述输出模块440还用于：
将所述光流特征矩阵输入至训练好的活体认证模型中，对所述光流特征矩阵进行时空特征提取，确定所述光流特征矩阵对应的时空特征矩阵；
对所述时空特征矩阵进行空间特征提取，确定所述时空特征矩阵对应的空间特征矩阵；
对所述空间特征矩阵进行时间特征提取，确定所述空间特征矩阵对应的时间特征矩阵；
对所述时间特征矩阵进行归一化指数函数及全连接映射分类处理，输出所述待认证对象是否为活体的分类结果。
进一步的，所述第二确定模块430还用于：
从所述图像认证数据中确定出所述待认证对象对应的认证区域；
确定所述认证区域对应的特征点坐标；
利用光流法处理所述特征点坐标，确定所述视频帧对应的光流图。
进一步的，如图5所示，所述认证装置400还包括：提示模块450，所述提示模块450用于：
若输出的活体认证结果为活体，则提示认证通过；
若输出的活体认证结果为非活体，则此次认证失败，提示重新进行验证。
本申请提供的一种活体的认证装置，通过采集待认证对象的图像认证数据及音频认证数据，确定图像认证数据中的视频帧对应的反映了与图像认证数据中活体下半面部肌肉变化特征的光流图，并根据光流图确定对应的特征矩阵，将特征矩阵输入至基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据之间的映射关系训练好的活体认证模型中，利用深度学习技术对活体下半面部肌肉变化特征及音频认证数据之间的匹配度进行识别并输出活体的分类结果，由于照片攻击无法模拟出与音频认证数据相对应的下半面部肌肉变化特征，因此可以防止照片攻击，同时提升活体的识别能力及识别准确率。
请参阅图6，图6示出了本申请实施例所提供的一种电子设备的结构示意图。如图6中所示，所述电子设备600包括处理器610、存储器620和总线630。
所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过总线630通信，所述机器可读指令被所述处理器610执行时，可以执行如上述图1以至图3所示方法实施例中的活体的认证方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1至图3所示方法实施例中的活体的认证方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种活体的认证方法，其特征在于，所述认证方法包括：
获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据；
若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征；
根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵；
将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的；
根据以下方法输出所述待认证对象是否为活体的分类结果：
将所述光流特征矩阵输入至训练好的活体认证模型中，对所述光流特征矩阵进行时空特征提取，确定所述光流特征矩阵对应的时空特征矩阵；
对所述时空特征矩阵进行空间特征提取，确定所述时空特征矩阵对应的空间特征矩阵；
对所述空间特征矩阵进行时间特征提取，确定所述空间特征矩阵对应的时间特征矩阵；
对所述时间特征矩阵进行归一化指数函数及全连接映射分类处理，输出所述待认证对象是否为活体的分类结果；
根据以下方法确定所述空间特征矩阵对应的时间特征矩阵：
将空间特征矩阵输入至两层双向门控循环单元提取空间特征矩阵在时序上的变化特征，并将双向门控循环单元的输出特征进行拼接，得到空间特征矩阵对应的时间特征矩阵。
2.根据权利要求1所述的认证方法，其特征在于，根据以下方法确定所述光流特征矩阵：
针对每一个视频帧对应的光流图，将该光流图缩放至预设尺寸，得到该光流图对应的第一光流图矩阵；
将该光流图在相互垂直的两个方向上对应的光流图矩阵进行拼接，得到该光流图对应的第二光流图矩阵；
根据所述图像认证数据对应的每张光流图对应的第二光流图矩阵，确定所述图像认证数据对应的光流特征矩阵。
3.根据权利要求1所述的认证方法，其特征在于，在所述将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果之后，所述认证方法包括：
若输出的活体认证结果为活体，则提示认证通过；
若输出的活体认证结果为非活体，则此次认证失败，提示重新进行验证。
4.根据权利要求1所述的认证方法，其特征在于，针对每一个所述视频帧，根据以下步骤确定所述视频帧对应的光流图：
从所述图像认证数据中确定出所述待认证对象对应的认证区域；
确定所述认证区域对应的特征点坐标；
利用光流法处理所述特征点坐标，确定所述视频帧对应的光流图。
5.一种活体的认证装置，其特征在于，所述认证装置包括：
判断模块，用于获取待认证对象的认证数据，判断所述认证数据中是否包含图像认证数据及音频认证数据；
第一确定模块，用于若包含图像认证数据及音频认证数据，则从图像认证数据中获取多个视频帧，针对每一个所述视频帧，确定该视频帧对应的光流图，其中，所述光流图反映了与图像认证数据对应的活体下半面部肌肉变化特征；
第二确定模块，用于根据确定出的所述图像认证数据对应的多张光流图，确定所述图像认证数据对应的光流特征矩阵；
输出模块，用于将所述光流特征矩阵输入至训练好的活体认证模型中，输出所述待认证对象是否为活体的分类结果，其中，所述活体认证模型是基于历史活体样本中的活体下半面部肌肉变化特征及样本音频认证数据的映射关系训练得到的；
所述输出模块还用于：
将所述光流特征矩阵输入至训练好的活体认证模型中，对所述光流特征矩阵进行时空特征提取，确定所述光流特征矩阵对应的时空特征矩阵；
对所述时空特征矩阵进行空间特征提取，确定所述时空特征矩阵对应的空间特征矩阵；
对所述空间特征矩阵进行时间特征提取，确定所述空间特征矩阵对应的时间特征矩阵；
对所述时间特征矩阵进行归一化指数函数及全连接映射分类处理，输出所述待认证对象是否为活体的分类结果；
根据以下方法确定所述空间特征矩阵对应的时间特征矩阵：
将空间特征矩阵输入至两层双向门控循环单元提取空间特征矩阵在时序上的变化特征，并将双向门控循环单元的输出特征进行拼接，得到空间特征矩阵对应的时间特征矩阵。
6.根据权利要求5所述的认证装置，其特征在于，所述第二确定模块还用于：
针对每一个视频帧对应的光流图，将该光流图缩放至预设尺寸，得到该光流图对应的第一光流图矩阵；
将该光流图在相互垂直的两个方向上对应的光流图矩阵进行拼接，得到该光流图对应的第二光流图矩阵；
根据所述图像认证数据对应的每张光流图对应的第二光流图矩阵，确定所述图像认证数据对应的光流特征矩阵。
7.根据权利要求5所述的认证装置，其特征在于，所述认证装置还包括提示模块，所述提示模块用于：
若输出的活体认证结果为活体，则提示认证通过；
若输出的活体认证结果为非活体，则此次认证失败，提示重新进行验证。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4中任一所述的活体的认证方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4中任一所述的活体的认证方法的步骤。
CN202110213304.6A 2021-02-26 2021-02-26 一种活体的认证方法、认证装置及电子设备 Active CN112580615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213304.6A CN112580615B (zh) 2021-02-26 2021-02-26 一种活体的认证方法、认证装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213304.6A CN112580615B (zh) 2021-02-26 2021-02-26 一种活体的认证方法、认证装置及电子设备

Publications (2)

Publication Number Publication Date
CN112580615A CN112580615A (zh) 2021-03-30
CN112580615B true CN112580615B (zh) 2021-06-18

Family

ID=75114033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213304.6A Active CN112580615B (zh) 2021-02-26 2021-02-26 一种活体的认证方法、认证装置及电子设备

Country Status (1)

Country Link
CN (1) CN112580615B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360073A (zh) * 2022-01-04 2022-04-15 腾讯科技（深圳）有限公司 一种图像识别方法及相关装置
CN114943286B (zh) * 2022-05-20 2023-04-07 电子科技大学 一种基于时域特征与空域特征融合的未知目标判别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605958A (zh) * 2013-11-12 2014-02-26 北京工业大学 一种基于灰度共生矩阵和小波分析的活体人脸检测方法
CN109241834A (zh) * 2018-07-27 2019-01-18 中山大学 一种基于隐变量的嵌入的群体行为识别方法
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN111792034A (zh) * 2015-05-23 2020-10-20 深圳市大疆创新科技有限公司 使用传感器融合估计可移动物体的状态信息的方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352900A (ja) * 2004-06-11 2005-12-22 Canon Inc 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605958A (zh) * 2013-11-12 2014-02-26 北京工业大学 一种基于灰度共生矩阵和小波分析的活体人脸检测方法
CN111792034A (zh) * 2015-05-23 2020-10-20 深圳市大疆创新科技有限公司 使用传感器融合估计可移动物体的状态信息的方法及***
CN109241834A (zh) * 2018-07-27 2019-01-18 中山大学 一种基于隐变量的嵌入的群体行为识别方法
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
微表情识别研究综述;张人，何宁;《计算机工程与应用》;20210101;第57卷(第1期);第39、41-42页 *

Also Published As

Publication number Publication date
CN112580615A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
JP6878572B2 (ja) 顔認識に基づいた認証
CN109948408B (zh) 活性测试方法和设备
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN106599772B (zh) 活体验证方法和装置及身份认证方法和装置
CN108804884B (zh) 身份认证的方法、装置及计算机存储介质
US20200380279A1 (en) Method and apparatus for liveness detection, electronic device, and storage medium
US9652663B2 (en) Using facial data for device authentication or subject identification
EP2580711B1 (en) Distinguishing live faces from flat surfaces
CN110163053B (zh) 生成人脸识别的负样本的方法、装置及计算机设备
CN112580615B (zh) 一种活体的认证方法、认证装置及电子设备
WO2014008399A1 (en) Continuous multi-factor authentication
KR20170002892A (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
CN107609364B (zh) 用户身份确认方法和装置
CN112507889A (zh) 一种校验证件与持证人的方法及***
CN108389053B (zh) 支付方法、装置、电子设备及可读存储介质
US9965612B2 (en) Method and system for visual authentication
CN111091031A (zh) 目标对象选取方法和人脸解锁方法
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
JP7264308B2 (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法
CN110163164B (zh) 一种指纹检测的方法及装置
CN108921080A (zh) 图像识别方法、装置及电子设备
KR20170001934A (ko) 디지털 이미지 판단방법 및 시스템, 이를 위한 애플리케이션 시스템, 및 인증 시스템
WO2022222957A1 (zh) 一种目标识别的方法和***
CN112712073A (zh) 基于眼部变化特征的活体识别方法、识别装置及电子设备
CN111680191A (zh) 信息显示方法、装置、设备以及存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant