CN110032924A - 人脸识别活体检测方法、终端设备、存储介质及电子设备 - Google Patents
人脸识别活体检测方法、终端设备、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110032924A CN110032924A CN201910130729.3A CN201910130729A CN110032924A CN 110032924 A CN110032924 A CN 110032924A CN 201910130729 A CN201910130729 A CN 201910130729A CN 110032924 A CN110032924 A CN 110032924A
- Authority
- CN
- China
- Prior art keywords
- identifying code
- face
- code
- recognition
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001574 biopsy Methods 0.000 title claims abstract description 25
- 238000012795 verification Methods 0.000 claims abstract description 106
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000001727 in vivo Methods 0.000 claims abstract description 48
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 18
- 238000013461 design Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 229910001507 metal halide Inorganic materials 0.000 description 3
- 150000005309 metal halides Chemical class 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005086 pumping Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种人脸识别活体检测方法、终端设备、存储介质及电子设备。本发明提供的人脸识别活体检测方法，包括：在确定所获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码，然后录制目标用户朗读所述目标验证码的视频信息，再根据所述视频信息确定识别验证码，并判断所述识别验证码是否与所述目标验证码相同，若判断结果为是，则确定目标用户的人脸识别活体检测通过。本发明提供的人脸识别活体检测方法，通过朗读目标验证码的方式来进行活体检测，大大优化了用户体验。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种人脸识别活体检测方法、终端设备、存储介质及电子设备。
背景技术
随着生物识别技术和人工智能技术的不断发展，生物特征识别技术已趋于成熟，而为防止恶意者伪造和窃取他人的生物特征用于身份认证，生物识别***通常需具有活体检测功能，即判断提交的生物特征是否来自有生命的个体。
现有技术中，活体检测是在一些身份验证场景中确定对象真实生理特征的方法。在人脸识别应用中，活体检测能通过眨眼、张嘴、摇头、点头等组合动作，通过使用人脸关键点定位和人脸追踪等技术，以确保用户是真实的活体，而不是使用照片或翻拍视频等方式进行恶意攻击。
但是，对于目前的活体检测技术，需要要求用户配合进行一系列指定面部动作，这种不自然的面部行为验证方式会给用户以压迫感，尤其是在公共场合做出这些面部动作，容易给用户造成困扰。
发明内容
本发明提供一种人脸识别活体检测方法、终端设备、存储介质及电子设备，以使得用户在进行活体检测时，不自然的面部行为验证方式给用户所带来的困扰。
第一方面，本发明提供一种人脸识别活体检测方法，包括：
在确定所获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码；
录制目标用户朗读所述目标验证码的视频信息；
根据所述视频信息确定识别验证码，并判断所述识别验证码与所述目标验证码相是否相同；
若判断结果为是，则确定所述目标用户的人脸识别活体检测通过。
在一种可能的设计中，所述根据所述视频信息确定识别验证码，并判断所述识别验证码与所述目标验证码是否相同，包括：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
判断所述第一识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述根据所述视频信息确定识别验证码，并判断所述识别验证码与所述目标验证码是否相同，包括：
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
判断所述第二识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述判断所述识别验证码是否与所述目标验证码相同，并判断所述识别验证码与所述目标验证码是否相同，包括：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
判断所述第一识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第二识别验证码是否与所述目标验证码相同；或者，
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
判断所述第二识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第一识别验证码是否与所述目标验证码相同。
在一种可能的设计中，所述在确定获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码，包括：
获取待检测视频，所述待检测视频包括所述目标用户的完整的面部信息；
随机生成所述目标验证码，并将所述目标验证码同步显示在所述待检测视频上。
在一种可能的设计中，在确定所述目标用户的人脸识别活体检测通过之后，还包括：
抽取所述视频信息中的人脸图像信息，并根据所述人脸图像信息进行人脸识别。
第二方面，本发明还提供一种终端设备，包括：
人脸确定模块，用于确定所获取到的待检测图像中包括有人脸信息；
验证码生成模块，用于生成目标验证码；
验证码显示模块，用于显示所述目标验证码；
视频录制模块，用于录制目标用户朗读所述目标验证码的视频信息；
验证码确定模块，用于根据所述视频信息确定识别验证码；
验证码对比模块，用于判断所述识别验证码与所述目标验证码相是否相同；
结果确定模块，用于当所述识别验证码与所述目标验证码相同时，确定所述目标用户的人脸识别活体检测通过。
在一种可能的设计中，所述验证码确定模块，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
所述验证码对比模块，具体用于：
判断所述第一识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述验证码确定模块，具体用于：
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
所述验证码对比模块，具体用于：
判断所述第二识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述验证码确定模块，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
所述验证码对比模块，具体用于：
判断所述第一识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第二识别验证码与所述目标验证码是否相同；或者
所述验证码确定模块，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
所述验证码对比模块，具体用于：
判断所述第二识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第一识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述人脸确定模块，具体用于：
获取待检测视频，所述待检测视频包括所述目标用户的完整的面部信息；
所述验证码生成模块202，具体用于：
随机生成所述目标验证码，并将所述目标验证码同步显示在所述待检测视频上。
在一种可能的设计中，所述终端设备，还包括：
人脸识别模块208，用于抽取所述视频信息中的人脸图像信息，并根据所述人脸图像信息进行人脸识别。
第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种可能的人脸识别活体检测方法。
第四方面，本发明还提供一种电子设备，包括：
摄像头、处理器、存储器以及显示器；
所述摄像头以及所述显示器分别与所述处理器相连接；
所述摄像头，用于获取目标用户脸部的视频信息；
所述存储器，用于存储所述处理器的可执行指令；
所述显示器，用于显示所述视频信息以及目标验证码；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一种可能的人脸识别活体检测方法。
本发明提供的一种人脸识别活体检测方法、终端设备、存储介质及电子设备，在活体检测被触发时，通过生成并显示目标验证码，并获取目标用户朗读所显示目标验证码的视频信息，在根据获取到的视频信息来确定识别验证码，最后，通过比对目标验证码和识别验证码来确定检测结果是否为活体，从而避免了用户通过挤眉弄眼的不自然方式进行活体检测的尴尬，而采用的是更自然的方式进行活体检测，大大优化了用户体验，有利于人脸识别技术的推广和应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的人脸识别活体检测方法的应用场景图；
图2是根据一示例性实施例示出的人脸识别活体检测方法的流程图；
图3是根据视频信息确定识别验证码的一示例性方法流程图；
图4是根据视频信息确定识别验证码的另一示例性方法流程图；
图5是根据视频信息确定识别验证码的再一示例性方法流程图；
图6是根据一示例性实施例示出的终端设备的结构示意图；
图7是根据另一示例性实施例示出的终端设备的结构示意图；
图8是根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据一示例性实施例示出的人脸识别活体检测方法的应用场景图。如图1所示，本实施例提供的人脸识别活体检测方法可以应用于终端设备，该终端设备可以为智能手机、平板电脑、个人计算机等具有图像获取、数据处理和显示功能的电子设备。
而活体检测在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测用于在进行人脸识别前，验证用户是否为真实活体本人操作。从而可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。例如在银行证券、金融保险、民生社保、在线教育、汽车金融、房屋租住、共享服务、新闻媒体、区块链等场景，有时需要用户进行远程人脸识别以确认身份信息，此时，在进行人脸识别前，进行活体检测则是保障用户账户安全以及提高人脸识别精准度的关键步骤。
继续参照图1，下面以终端设备为智能手机，而应用场景选取为支付场景，进行举例说明：
当用户需要进行人脸识别支付时，智能手机会先调用前置摄像头，此时，用户需要将面部整体移动至前置摄像头的摄像范围内，从而使得智能手机能够获取到用户完整的面部信息。然后利用人脸检测技术，在视频中检测用户的人脸，当成功检测到用户人脸时，即开始录制视频，并生成随机目标验证码，显示在视频上，并要求用户按顺序朗读出目标验证码。当用户读完目标验证码后，视频录制完成。此时，首先利用语音识别技术，对用户朗读的验证码进行识别，其识别结果为识别验证码，然后检验识别验证码是否与目标验证码匹配。并且，利用唇语识别技术，检测用户嘴唇的运动，其识别结果为识别验证码，同样检验识别验证码是否与目标验证码匹配。若上述通过识别验证码是否与目标验证码均匹配，则可以认为活体检测结果为活体。此外，为了能够从多维度进行活体检测，从而进一步地提高检测的准确性，还可以利用视频活体检测技术，对录制的视频进行抽帧，并对视频帧进行活体检测。当语音识别、唇语识别和视频活体检测均通过时，即对用户的活体检测通过，否则，则用户活体检测不通过。
图2是根据一示例性实施例示出的人脸识别活体检测方法的流程图。如图2所示，本实施例提供的人脸识别活体检测方法，包括：
步骤101、在确定所获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码。
具体地，在银行证券、金融保险、民生社保、在线教育、汽车金融、房屋租住、共享服务、新闻媒体、区块链等场景中，用户需要进行人脸识别前，都需要先进行活体检测，因此，在触发进行人脸识别时，就先会触发终端设备中的活体检测触发操作。例如，在支付场景中，当用户确认完支付金额，需要进行人脸识别支付时，就会先触发终端设备中的活体检测相关命令，并在终端设备的显示界面上，提示用户进行相应操作从而来输入活体检测的相关参数。
一旦活体检测触发操作被触发，则终端设备就会响应于活体检测触发操作，当确定所获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码。对于该目标验证码，可以是文字、字母、数字以及常用符号的任意组合，在本实施例中并不对其进行具体限定。而为了进一步提示用户是通过朗读目标验证码的方式进行活体验证，还可以在目标验证码前增加类似于“请朗读”的字样，以进行文字提示。
步骤102、录制目标用户朗读目标验证码的视频信息。
具体地，可以通过智能终端的前置摄像头开始录制目标用户朗读目标验证码的视频信息。其中，值得说明地，在该视频信息中，需要保证能够获取到清晰、完整的目标用户面部信息。对于用户，用户需要平时摄像头，并保证自己的脸全部位于摄像头的摄像范围中。
在一种可能的设计中，为了尽量缩短所录制视频信息的长度，可以通过设置触发录制的开始条件，例如，可以先通过人脸检测技术，判断在摄像头的摄像范围是否有人脸信息，如果存在人脸信息，才开始录制视频，若检测不到人脸信息，则只是停留在摄像头获取图像信息的阶段，从而有效的避免了一直在录制不包含人脸信息的视频数据，从而给后续的分析增加计算量，并且也浪费了存储空间。
此外，还可以设置停止录制的终止条件，例如，可以是通过语音检测技术，判断目标用户已经朗读完该目标验证码时，则可以停止录制，具体地，可以是当所录制的视频中未检测到语音的时间超过一个预设阈值时，则可以认为目标用户已经朗读完了目标验证码。
继续参照图1，在支付场景中，当目标用户确认完支付金额，需要进行人脸识别支付时，目标用户首先可以通过调整面部位置或者是调整终端设备的摄像头位置，从而使得目标用户的脸部位于显示屏幕中所显示的限定框内，此时，通过人脸检测技术，识别到限定框内具有人脸信息，则开始录制视频，并在视频中叠加显示随机产生的目标验证码，例如“123456”，并为了提醒用户需要朗读该目标验证码，则可以进一步显示为“请朗读：123456”。录制完成后，
步骤103、根据视频信息确定识别验证码。
在获取到目标用户朗读目标验证码的视频信息之后，可以根据视频信息确定识别验证码，值得说明地，可以通过提取视频信息中的语音信息，然后通过语音识别的方式识别出用户所朗读的验证码，并将识别出来的验证码作为识别验证码，此外，还可以通过唇语识别技术从视频信息中识别出用户所朗读的验证码，并将识别出来的验证码作为识别验证码。值得说明地，在本实施例中，并不对根据视频信息确定识别验证码的具体方式进行限定，只需保证通过视频信息最终能够识别出目标用户所朗读的验证码即可。
步骤104、判断识别验证码与目标验证码是否相同。若判断结果为是，则执行步骤105，若判断结果为否，则流程结束。
在根据视频信息确定识别验证码之后，通过判断识别验证码是否与目标验证码相同，从而根据判断结果来确定活体识别是否通过。
步骤105、确定检测结果。
具体地，根据对比识别验证码与目标验证码是否相同的判断结果来确定检测结果。
在上述的支付场景中，通过分析用户朗读目标验证码所录制的视频确定识别验证码，值得说明地，此处存在多种情况：
情况一、目标验证码显示正确，而用户朗读错误。例如目标验证码为“123456”，而用户朗读成“123457”，则此时，识别出来的识别验证码即为“123457”，与目标验证码的“123456”不同，则目标用户的人脸识别活体检测失败；
情况二、目标验证码显示正确，而用户朗读正确。例如目标验证码为“123456”，而用户朗读的也是“123456”，则此时，识别出来的识别验证码即为“123456”，与目标验证码的“123456”相同，则目标用户的人脸识别活体检测成功；
情况三、目标验证码显示正确，而用户朗读正确。例如目标验证码为“123456”，而用户朗读的也是“123456”，则此时，识别出来的识别验证码即为“123457”，与目标验证码的“123456”不同，则目标用户的人脸识别活体检测失败。
在本实施例中，在活体检测被触发时，通过生成并显示目标验证码，并获取目标用户朗读所显示目标验证码的视频信息，在根据获取到的视频信息来确定识别验证码，最后，通过比对目标验证码和识别验证码来确定检测结果是否为活体，从而避免了用户通过挤眉弄眼的不自然方式进行活体检测的尴尬，而采用的是更自然的方式进行活体检测，大大优化了用户体验，有利于人脸识别技术的推广和应用。
在活体检测成功之后，继续抽取视频信息中的人脸图像信息，并根据人脸图像信息进行人脸识别，从而完成银行证券、金融保险、民生社保、在线教育、汽车金融、房屋租住、共享服务、新闻媒体、区块链等场景对应的人脸识别操作，若人脸识别通过，则可以进行后续操作。值得说明地，对于具体地人脸识别技术，在本实施例中不进行具体限定。
由于视频信息中，包含了目标用户朗读目标验证码的语音信息，因此，为了能够进一步地提高生物特征识别可靠性，还可以通过声纹识别的方式对语音信息进行声纹识别，并与预设用户的声纹进行对比，从而确认是否通过身份认证，通过多种生物特征识别技术的结合，大大提高了各类应用场景中的身份认证的准确性、安全性以及可靠性。
此外，图3是根据视频信息确定识别验证码的一示例性方法流程图。如图3所示，对于根据视频信息确定识别验证码的具体方式，在一种可能的实施例中，可以包括：
步骤10311、提取视频信息中的语音信息。
步骤10312、对语音信息进行语音识别以确定第一识别验证码，识别验证码包括第一识别验证码。
此外，图4是根据视频信息确定识别验证码的另一示例性方法流程图。如图4所示，对于根据视频信息确定识别验证码的具体方式，在另一种可能的实施例中，可以包括：
步骤10321、提取视频信息中目标用户的唇部运动信息。
具体地，可以先对视频信息先进行分帧处理。然后，通过获得分帧后的每帧图像中的唇部位置，以形成目标用户的唇部运动信息，作为后续唇语识别的输入参数。
步骤10322、对唇部运动信息进行唇语识别以确定第二识别验证码，识别验证码还包括第二识别验证码。
在本实施例中，通过提取视频信息中目标用户的唇部运动信息，结合唇语识别技术确定第二识别验证码，将其与目标验证码对比，确定活体检测结果有效性。此外，还可以利用唇部运动信息结合视频活体检测技术来对唇部动作进行对比，直接也可以实现活体检测。
图5是根据视频信息确定识别验证码的再一示例性方法流程图。如图5所示，在另一种可能实现的方式中，本实施例中的根据视频信息确定识别验证码，可以包括：
步骤10331、提取视频信息中的语音信息。
步骤10332、对语音信息进行语音识别以确定第一识别验证码，识别验证码包括第一识别验证码。
步骤10333、提取视频信息中目标用户的唇部运动信息。
具体地，可以先对视频信息先进行分帧处理。然后，通过获得分帧后的每帧图像中的唇部位置，以形成目标用户的唇部运动信息，作为后续唇语识别的输入参数。
步骤10334、对唇部运动信息进行唇语识别以确定第二识别验证码，识别验证码还包括第二识别验证码。
在本实施例中，通过提取视频信息中目标用户的唇部运动信息，结合唇语识别技术确定第二识别验证码，将其与目标验证码对比，确定活体检测结果有效性。此外，还可以利用唇部运动信息结合视频活体检测技术来对唇部动作进行对比，直接也可以实现活体检测。
在本实施例中，还可以先判断通过语音识别出来的第一识别验证码是否与目标验证码相同，若判断结果为是，则继续判断第二识别验证码是否与目标验证码相同，并且在确定第二识别验证码是否与目标验证码相同之后，还可以继续利用视频活体检测技术，对录制的视频信息进行抽帧，并对视频帧进行活体检测。当语音识别、唇语识别和视频活体检测均通过时，即对用户的活体检测通过，否则，则用户活体检测不通过，从而实现了多维度人脸活体检测，大大提高了各类应用场景中的人脸活体检测的准确性、安全性以及可靠性。
此外，还可以是先判断通过唇语识别出来的第二识别验证码是否与目标验证码相同，若判断结果为是，则继续判断通过语音识别出来的第一识别验证码是否与目标验证码相同，并且在确定第一识别验证码是否与目标验证码相同之后，还可以继续利用视频活体检测技术，对录制的视频信息进行抽帧，并对视频帧进行活体检测。
图6是根据一示例性实施例示出的终端设备的结构示意图。如图6所示，本实施例提供一种终端设备，包括：
人脸确定模块201，用于确定所获取到的待检测图像中包括有人脸信息；
验证码生成模块202，用于生成目标验证码；
验证码显示模块203，用于显示所述目标验证码；
视频录制模块204，用于录制目标用户朗读所述目标验证码的视频信息；
验证码确定模块205，用于根据所述视频信息确定识别验证码；
验证码对比模块206，用于判断所述识别验证码与所述目标验证码相是否相同；
结果确定模块207，用于当所述识别验证码与所述目标验证码相同时，确定所述目标用户的人脸识别活体检测通过。
在一种可能的设计中，所述验证码确定模块205，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
所述验证码对比模块206，具体用于：
判断所述第一识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述验证码确定模块205，具体用于：
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
所述验证码对比模块206，具体用于：
判断所述第二识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述验证码确定模块205，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
所述验证码对比模块206，具体用于：
判断所述第一识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第二识别验证码与所述目标验证码是否相同；或者
所述验证码确定模块205，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
所述验证码对比模块206，具体用于：
判断所述第二识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第一识别验证码与所述目标验证码是否相同。
在一种可能的设计中，所述人脸确定模块201，具体用于：
获取待检测视频，所述待检测视频包括所述目标用户的完整的面部信息；
所述验证码生成模块202，具体用于：
随机生成所述目标验证码，并将所述目标验证码同步显示在所述待检测视频上。
在图6所示实施例的基础上，图7是根据另一示例性实施例示出的终端设备的结构示意图。如图7所示，本实施例提供的终端设备，还包括：
人脸识别模块208，用于抽取所述视频信息中的人脸图像信息，并根据所述人脸图像信息进行人脸识别。
值得说明地，图6和图7所示实施例中的终端设备，可用于执行上述图2-图5所示实施例中的方法，具体实现方式和技术效果类似，这里不再进行赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8是根据一示例性实施例示出的电子设备的结构示意图。如图8示，本实施例提供的电子设备，包括：
摄像头301、处理器302、存储器303以及显示器304；
所述摄像头301以及所述显示器304分别与所述处理器302相连接；
所述摄像头301，用于获取目标用户脸部的视频信息；
所述存储器303，用于存储所述处理器的可执行指令；
所述显示器304，用于显示所述视频信息以及目标验证码；
其中，所述处理器302配置为经由执行所述可执行指令来执行前述任一项方法实施例所述的技术方案，其实现原理和技术效果类似，此处不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种人脸识别活体检测方法，其特征在于，包括：
在确定所获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码；
录制目标用户朗读所述目标验证码的视频信息；
根据所述视频信息确定识别验证码，并判断所述识别验证码与所述目标验证码相是否相同；
若判断结果为是，则确定所述目标用户的人脸识别活体检测通过。
2.根据权利要求1所述的人脸识别活体检测方法，其特征在于，所述根据所述视频信息确定识别验证码，并判断所述识别验证码与所述目标验证码是否相同，包括：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
判断所述第一识别验证码与所述目标验证码是否相同。
3.根据权利要求1所述的人脸识别活体检测方法，其特征在于，所述根据所述视频信息确定识别验证码，并判断所述识别验证码与所述目标验证码是否相同，包括：
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
判断所述第二识别验证码与所述目标验证码是否相同。
4.根据权利要求1所述的人脸识别活体检测方法，其特征在于，所述判断所述识别验证码是否与所述目标验证码相同，并判断所述识别验证码与所述目标验证码是否相同，包括：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
判断所述第一识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第二识别验证码与所述目标验证码是否相同；或者，
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
提取所述视频信息中所述目标用户的唇部运动信息；
对所述唇部运动信息进行唇语识别以确定第二识别验证码；
判断所述第二识别验证码是否与所述目标验证码相同；
若判断结果为是，则判断所述第一识别验证码与所述目标验证码是否相同。
5.根据权利要求1-4中任意一项所述的人脸识别活体检测方法，其特征在于，所述在确定获取到的待检测图像中包括有人脸信息之后，生成并显示目标验证码，包括：
获取待检测视频，所述待检测视频包括所述目标用户的完整的面部信息；
随机生成所述目标验证码，并将所述目标验证码同步显示在所述待检测视频上。
6.根据权利要求5所述的人脸识别活体检测方法，其特征在于，在确定所述目标用户的人脸识别活体检测通过之后，还包括：
抽取所述视频信息中的人脸图像信息，并根据所述人脸图像信息进行人脸识别。
7.一种终端设备，其特征在于，包括：
人脸确定模块，用于确定所获取到的待检测图像中包括有人脸信息；
验证码生成模块，用于生成目标验证码；
验证码显示模块，用于显示所述目标验证码；
视频录制模块，用于录制目标用户朗读所述目标验证码的视频信息；
验证码确定模块，用于根据所述视频信息确定识别验证码；
验证码对比模块，用于判断所述识别验证码与所述目标验证码相是否相同；
结果确定模块，用于当所述识别验证码与所述目标验证码相同时，确定所述目标用户的人脸识别活体检测通过。
8.根据权利要求7所述的终端设备，其特征在于，所述验证码确定模块，具体用于：
提取所述视频信息中的语音信息；
对所述语音信息进行语音识别以确定第一识别验证码；
所述验证码对比模块，具体用于：
判断所述第一识别验证码与所述目标验证码是否相同。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述的人脸识别活体检测方法。
10.一种电子设备，其特征在于，包括：
摄像头、处理器、存储器以及显示器；
所述摄像头以及所述显示器分别与所述处理器相连接；
所述摄像头，用于获取目标用户脸部的视频信息；
所述存储器，用于存储所述处理器的可执行指令；
所述显示器，用于显示所述视频信息以及目标验证码；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的人脸识别活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910130729.3A CN110032924A (zh) | 2019-02-21 | 2019-02-21 | 人脸识别活体检测方法、终端设备、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910130729.3A CN110032924A (zh) | 2019-02-21 | 2019-02-21 | 人脸识别活体检测方法、终端设备、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110032924A true CN110032924A (zh) | 2019-07-19 |
Family
ID=67234968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910130729.3A Pending CN110032924A (zh) | 2019-02-21 | 2019-02-21 | 人脸识别活体检测方法、终端设备、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032924A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738159A (zh) * | 2019-10-11 | 2020-01-31 | 中国建设银行股份有限公司 | 用于实现变更企业实际控制人的在线股东大会方法、装置 |
| CN110991253A (zh) * | 2019-11-08 | 2020-04-10 | 中国联合网络通信集团有限公司 | 一种基于区块链的人脸数字身份识别方法和装置 |
| CN111079791A (zh) * | 2019-11-18 | 2020-04-28 | 京东数字科技控股有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
| CN111402096A (zh) * | 2020-04-03 | 2020-07-10 | 广州云从鼎望科技有限公司 | 一种在线授课质量管理方法、***、设备和介质 |
| CN111667835A (zh) * | 2020-06-01 | 2020-09-15 | 马上消费金融股份有限公司 | 语音识别方法、活体检测方法、模型训练方法及装置 |
| CN111784498A (zh) * | 2020-06-22 | 2020-10-16 | 北京海益同展信息科技有限公司 | 身份认证方法、装置、电子设备及存储介质 |
| CN112215081A (zh) * | 2020-09-16 | 2021-01-12 | 湖南三湘银行股份有限公司 | 一种基于ai算法的视频检核方法及装置 |
| CN112560554A (zh) * | 2019-09-25 | 2021-03-26 | 北京中关村科金技术有限公司 | 基于唇语的活体检测方法、装置以及存储介质 |
| CN112911180A (zh) * | 2021-01-28 | 2021-06-04 | 中国建设银行股份有限公司 | 一种视频录制方法、装置、电子设备及可读存储介质 |
| CN113255529A (zh) * | 2021-05-28 | 2021-08-13 | 支付宝(杭州)信息技术有限公司 | 一种生物特征的识别方法、装置及设备 |
| CN113743160A (zh) * | 2020-05-29 | 2021-12-03 | 北京中关村科金技术有限公司 | 活体检测的方法、装置以及存储介质 |
| CN113781050A (zh) * | 2021-09-03 | 2021-12-10 | 中国银行股份有限公司 | 生物密码校验方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376250A (zh) * | 2014-12-03 | 2015-02-25 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN104834900A (zh) * | 2015-04-15 | 2015-08-12 | 常州飞寻视讯信息科技有限公司 | 一种联合声像信号进行活体检测的方法和*** |
| CN105740682A (zh) * | 2016-01-12 | 2016-07-06 | 黑河学院 | 一种计算机***及其用户的身份识别方法和*** |
| CN106572049A (zh) * | 2015-10-09 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 一种身份验证方法及装置 |
| CN107623660A (zh) * | 2016-07-15 | 2018-01-23 | 上海进欣信息科技有限公司 | 一种手机用户身份识别*** |
| CN109039650A (zh) * | 2018-08-08 | 2018-12-18 | 朱俊 | 一种融合生物特征加密技术在线信息托管的方法及其*** |
-
2019
- 2019-02-21 CN CN201910130729.3A patent/CN110032924A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376250A (zh) * | 2014-12-03 | 2015-02-25 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN104834900A (zh) * | 2015-04-15 | 2015-08-12 | 常州飞寻视讯信息科技有限公司 | 一种联合声像信号进行活体检测的方法和*** |
| CN106572049A (zh) * | 2015-10-09 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 一种身份验证方法及装置 |
| CN105740682A (zh) * | 2016-01-12 | 2016-07-06 | 黑河学院 | 一种计算机***及其用户的身份识别方法和*** |
| CN107623660A (zh) * | 2016-07-15 | 2018-01-23 | 上海进欣信息科技有限公司 | 一种手机用户身份识别*** |
| CN109039650A (zh) * | 2018-08-08 | 2018-12-18 | 朱俊 | 一种融合生物特征加密技术在线信息托管的方法及其*** |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560554A (zh) * | 2019-09-25 | 2021-03-26 | 北京中关村科金技术有限公司 | 基于唇语的活体检测方法、装置以及存储介质 |
| CN110738159A (zh) * | 2019-10-11 | 2020-01-31 | 中国建设银行股份有限公司 | 用于实现变更企业实际控制人的在线股东大会方法、装置 |
| CN110991253A (zh) * | 2019-11-08 | 2020-04-10 | 中国联合网络通信集团有限公司 | 一种基于区块链的人脸数字身份识别方法和装置 |
| CN110991253B (zh) * | 2019-11-08 | 2023-04-28 | 中国联合网络通信集团有限公司 | 一种基于区块链的人脸数字身份识别方法和装置 |
| CN111079791A (zh) * | 2019-11-18 | 2020-04-28 | 京东数字科技控股有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
| CN111402096A (zh) * | 2020-04-03 | 2020-07-10 | 广州云从鼎望科技有限公司 | 一种在线授课质量管理方法、***、设备和介质 |
| CN113743160A (zh) * | 2020-05-29 | 2021-12-03 | 北京中关村科金技术有限公司 | 活体检测的方法、装置以及存储介质 |
| CN111667835A (zh) * | 2020-06-01 | 2020-09-15 | 马上消费金融股份有限公司 | 语音识别方法、活体检测方法、模型训练方法及装置 |
| CN111784498A (zh) * | 2020-06-22 | 2020-10-16 | 北京海益同展信息科技有限公司 | 身份认证方法、装置、电子设备及存储介质 |
| CN112215081A (zh) * | 2020-09-16 | 2021-01-12 | 湖南三湘银行股份有限公司 | 一种基于ai算法的视频检核方法及装置 |
| CN112911180A (zh) * | 2021-01-28 | 2021-06-04 | 中国建设银行股份有限公司 | 一种视频录制方法、装置、电子设备及可读存储介质 |
| CN113255529A (zh) * | 2021-05-28 | 2021-08-13 | 支付宝(杭州)信息技术有限公司 | 一种生物特征的识别方法、装置及设备 |
| CN113781050A (zh) * | 2021-09-03 | 2021-12-10 | 中国银行股份有限公司 | 生物密码校验方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032924A (zh) | 人脸识别活体检测方法、终端设备、存储介质及电子设备 | |
| US11663307B2 (en) | RtCaptcha: a real-time captcha based liveness detection system | |
| CN112328999B (zh) | 双录质检方法、装置、服务器及存储介质 | |
| CN109769099B (zh) | 通话人物异常的检测方法和装置 | |
| EP3807792B1 (en) | Authenticating an identity of a person | |
| CN106850648B (zh) | 身份验证方法、客户端和服务平台 | |
| CN113366487A (zh) | 基于表情组别的操作确定方法、装置及电子设备 | |
| TW201907330A (zh) | 身份認證的方法、裝置、設備及資料處理方法 | |
| US20190026606A1 (en) | To-be-detected information generating method and apparatus, living body detecting method and apparatus, device and storage medium | |
| CN108197586A (zh) | 脸部识别方法和装置 | |
| CN108920640B (zh) | 基于语音交互的上下文获取方法及设备 | |
| JP7412496B2 (ja) | 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法 | |
| CN111240482B (zh) | 一种特效展示方法及装置 | |
| EP3647993A1 (en) | Interactive user verification | |
| CN113780212A (zh) | 用户身份核验方法、装置、设备及存储介质 | |
| CN109005104A (zh) | 一种即时通信方法、装置、服务器及存储介质 | |
| CN111046804A (zh) | 活体检测方法、装置、电子设备及可读存储介质 | |
| CN110516426A (zh) | 身份认证方法、认证终端、装置及可读存储介质 | |
| US11893098B2 (en) | Authenticating a user subvocalizing a displayed text | |
| CN114023331A (zh) | 声纹识别***的性能检测方法、装置、设备和存储介质 | |
| Zolotarev et al. | Liveness detection methods implementation to face identification reinforcement in gaming services | |
| Marutotamtama et al. | Face Recognition and Face Spoofing Detector for Attendance System | |
| KR102579610B1 (ko) | Atm 이상행동감지 장치 및 그 장치의 구동방법 | |
| CN115761857A (zh) | 人脸核验方法及装置 | |
| CN115984927A (zh) | 一种活体检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |