CN116206373A - 活体检测方法、电子设备及存储介质 - Google Patents

活体检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116206373A
CN116206373A CN202310143646.4A CN202310143646A CN116206373A CN 116206373 A CN116206373 A CN 116206373A CN 202310143646 A CN202310143646 A CN 202310143646A CN 116206373 A CN116206373 A CN 116206373A
Authority
CN
China
Prior art keywords
living body
body detection
full
sequence
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310143646.4A
Other languages
English (en)
Inventor
莫原野
金宇林
朱纯博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202310143646.4A priority Critical patent/CN116206373A/zh
Publication of CN116206373A publication Critical patent/CN116206373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种活体检测方法、电子设备及存储介质。该方法获取待测用户读取目标内容的全图图像帧序列与人脸图像帧序列，再将全图图像帧序列输入第一活体检测子模型获得第一活体检测结果，将人脸图像帧序列输入第二活体检测子模型获得第二活体检测结果，并基于第一活体检测结果与第二活体检测结果获得目标检测结果。该方法中活体检测基于全图图像、人脸图像的帧序列实现，对图像全局、人脸局部区域等进行了全面充分地检测，使获得的目标检测结果能够充分表征图像信息，有效提升活体检测的分类精度，在伪造方式不同时结合全局、局部信息进行检测，也保证了活体检测的泛化性和稳定性。

Description

活体检测方法、电子设备及存储介质
技术领域
本公开属于计算机视觉技术领域，具体涉及一种活体检测方法、电子设备及存储介质。
背景技术
活体检测是基于生物特征以验证待测对象是否为活体的检测方法，通过活体检测可以有效防御在面部识别的验证场景中，采用照片、视频、遮挡等攻击手段。唇语活体检测是基于读数的活体检测方法，通过获取用户读出随机示意内容的视频，再提取视频画面中用户的嘴唇动作特征，以根据嘴唇动作特征进行活体检测。
目前，为了提高活体检测的精度，强化活体检测算法性能，可以对视频进行抽帧，并裁剪出人脸局部图像通过人脸检测算法进行真伪分类判断。
可以看出，现有的改进方式简化了信息图像处理方式，采用抽帧、人脸局部图像提取等以提高模型对特征信息的关注。但是，该方法又会影响模型对图像信息的充分学习，使得模型对信息的检测识别能力不足，泛化性较弱，从而对不同伪造方式的检出率不稳定。
发明内容
本公开的目的是提供一种活体检测方法、电子设备及存储介质，能够保证模型对图像信息充分学习，增强活体检测的泛化性，保证对不同伪造方式的检出率。
为了解决上述技术问题，本公开是这样实现的：
第一方面，本公开提供了一种活体检测方法，该方法包括：获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，全图图像帧序列中各全图图像帧包括待测用户读取目标内容时的全局区域，人脸图像帧序列中各人脸图像帧包括待测用户读取目标内容过程中的人脸局部区域；将全图图像帧序列输入第一活体检测子模型，通过第一活体检测子模型基于各全图图像帧中的全局区域对待测用户进行活体检测，得到针对待检测用户的第一活体检测结果；以及，将人脸图像帧序列输入第二活体检测子模型，通过第二活体检测子模型基于各人脸图像帧中的人脸局部区域对待测用户进行活体检测，得到针对待检测用户的第二活体检测结果；基于第一活体检测结果与第二活体检测结果，确定待检测用户的目标检测结果。
可选地，将全图图像帧序列输入第一活体检测子模型之前，还包括：对全图图像帧序列进行帧间差值处理，获得全图图像帧序列中任意相邻两全图图像帧的全图帧差分图像，确定全图帧差分图像序列；相应的，将全图图像帧序列输入第一活体检测子模型，包括：将全图帧差分图像序列输入第一活体检测子模型。
可选地，将人脸图像帧序列输入第二活体检测子模型之前，还包括：对人脸图像帧序列进行帧间差值处理，获得人脸图像帧序列中任意相邻两人脸图像帧的人脸帧差分图像，确定人脸帧差分图像序列；相应的，将人脸图像帧序列输入第二活体检测子模型，包括：将人脸帧差分图像序列输入第二活体检测子模型。
可选地，第一活体检测子模型包括并行设置的第一时序子网络与第一全连接子网络，第一全连接子网络的数量等于全图帧差分图像序列中全图帧差分图像的数量，通过第一活体检测子模型基于各全图图像帧中的全局区域对待测用户进行活体检测，得到针对待检测用户的第一活体检测结果，包括：通过第一时序子网络提取全图帧差分图像序列的第一时序特征，并基于第一时序特征对待测用户进行活体检测，获得第一时序检测结果，第一时序特征表征各全图帧差分图像在时序上的变化；以及，通过每一第一全连接子网络分别提取一个全图帧差分图像的全局图像特征，并基于全局图像特征对待测用户进行活体检测，获得每一全图帧差分图像分别对应的第一全连接检测结果；融合第一时序检测结果和各第一全连接检测结果，获得全图图像帧序列对应的第一活体检测结果。
可选地，第二活体检测子模型包括第二时序子网络与第二全连接子网络，第二全连接子网络的数量等于人脸帧差分图像序列中人脸帧差分图像的数量，通过第二活体检测子模型基于各人脸图像帧中的人脸局部区域对待测用户进行活体检测，得到针对待检测用户的第二活体检测结果，包括：通过第二时序子网络提取人脸帧差分图像序列图的第二时序特征，并基于第二时序特征对待测用户进行活体检测，获得第二时序检测结果，第二时序特征表征各人脸帧差分图像在时序上的变化；以及，通过每一第二全连接子网络分别提取一个人脸帧差分图像的人脸图像特征，并基于人脸图像特征对待测用户进行活体检测，获得每一全图帧差分图像分别对应的第二全连接检测结果；融合第二时序检测结果、第二全连接检测结果，获得人脸图像帧序列对应的第二活体检测结果。
可选地，获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，包括：获取待测用户读取目标内容时的原始视频；对原始视频进行抽帧处理，获得全图图像帧序列；分别确定每一全图图像帧中的人脸关键点；分别对每一全图图像帧的人脸关键点进行均值处理，获得每一全图图像帧的配准关键点；基于配准关键点，对各全图图像帧中的人脸局部区域进行居中处理，获得对应的人脸图像帧，以确定人脸图像帧序列。
可选地，基于第一活体检测结果与第二活体检测结果，确定待检测用户的目标检测结果，包括：对第一活体检测结果以及第二活体检测结果进行融合处理，获得待测用户的目标检测结果；其中，融合处理包括取均值、取最大值，或基于第一活体检测结果与第二活体检测结果进行分类检测。
可选地，第一活体检测子模型与第二活体检测子模型的训练步骤如下所示：获取全图图像帧样本序列与人脸图像帧样本序列；将全图图像帧样本序列输入初始第一活体检测子模型，获取初始第一活体检测子模型输出的第三活体检测结果，并基于第三活体检测结果对初始第一活体检测子模型进行迭代，获得第一活体检测子模型；以及，将人脸图像帧样本序列输入初始第二活体检测子模型，获取初始第二活体检测子模型输出的第四活体检测结果，并基于第四活体检测结果对初始第二活体检测子模型进行迭代，获得第二活体检测子模型。
第二方面，本公开提供了一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该程序或指令被该处理器执行时实现如第一方面的活体检测方法的步骤。
第三方面，本公开提供了一种可读存储介质，可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的活体检测方法的步骤。
第四方面，本公开提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，该处理器用于运行程序或指令，实现如第一方面的活体检测方法的步骤。
第五方面，本公开提供了一种计算机程序产品，该计算机程序产品上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的活体检测方法。
在本公开提供的活体检测方法中，获取了待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，其中，全图图像帧序列中各全图图像帧包括待测用户读取目标内容时的全局区域，人脸图像帧序列中各人脸图像帧包括待测用户读取目标内容过程中的人脸局部区域；再将全图图像帧序列输入第一活体检测子模型，以及将人脸图像帧序列输入第二活体检测子模型，分别获得输出第一活体检测结果与第二活体检测结果，并基于第一活体检测结果与第二活体检测结果，获得待测用户的目标检测结果。本公开实施例中，活体检测基于全图图像、人脸图像的帧序列实现，对图像全局、人脸局部区域等进行了全面充分地检测，使获得的目标检测结果能够充分表征图像信息，有效提升活体检测的分类精度，在伪造方式不同时结合全局、局部信息进行检测，也保证了活体检测的泛化性和稳定性。
附图说明
图1为本公开实施例提供的活体检测方法的步骤流程图之一；
图2为本公开实施例提供的活体检测方法的步骤流程图之二；
图3为本公开实施例提供的活体检测模型的结构示意图；
图4为本公开实施例提供的活体检测模型的训练方法的步骤流程图；
图5为本公开实施例提供的活体检测装置的结构框图；
图6为本公开实施例提供的活体检测模型的训练装置的结构框图；
图7为本公开实施例提供的一种电子设备的结构示意图；
图8为本公开实施例提供的一种电子设备的硬件示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
需要说明的是，本公开获取的数据，包括全图图像帧、人脸图像帧、用户身份信息等相关数据，均在明确告知用户或相关数据所属方对数据的采集内容、数据用途、处理方式等信息后，在用户或相关数据所属方同意、授权的情况下访问、采集、存储并应用于后续分析处理，且可以向用户或相关数据所属方提供访问、更正、删除该数据的途径，以及撤销同意、授权的方法。
下面结合附图，通过具体的实施例及其应用场景对本公开实施例提供的活体检测进行详细地说明。
图1为本公开实施例提供的活体检测方法的步骤流程图之一。该方法可以包括如下步骤101至步骤103。
步骤101、获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，全图图像帧序列中各全图图像帧包括待测用户读取目标内容时的全局区域，人脸图像帧序列中各人脸图像帧包括待测用户读取目标内容过程中的人脸局部区域。
其中，待测用户指活体检测场景中等待进行活体检测的用户，活体检测场景可以是对用户进行身份验证的场景，如人脸支付场景、门禁验证场景、线上登录场景、语言类测试场景等。其中，可以采用唇语活体检测实现，即通过获取待测用户读取目标内容时的图像帧，对待测用户进行活体检测，目标内容可以是数字、文本，或者也可以是问题提示，以便待测用户基于问题提示进行口语回答。在此基础上，可以通过待测用户在读取目标内容的过程中，面部动作在时序上的变化特征进行活体检测，从而确定待测用户是否为活体。
本公开实施例中，可以获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，其中，全图图像帧序列包括根据时序排列的全图图像帧，每一全图图像帧可以是对应时序待测用户读取目标内容的全局区域的图像；人脸图像帧序列包括根据时序排列的人脸图像帧，每一人脸图像帧可以是对应时序待测用户读取目标内容的人脸局部区域的图像。
在本公开一可选的实施例中，获取全图图像帧序列、人脸图像帧序列，可以通过配置拍摄模块，在待测用户读取目标内容的过程中进行采集获得，也可以通过与配置有拍摄模块的其他电子设备建立通信连接，从而通过其他电子设备获取待测用户读取目标内容时的全图图像帧序列、人脸图像帧序列。其他电子设备可以是手机、平板、电脑、相机、面板机、监控设备等。
步骤102、将全图图像帧序列输入第一活体检测子模型，通过第一活体检测子模型基于各全图图像帧中的全局区域对待测用户进行活体检测，得到针对待检测用户的第一活体检测结果；以及，将人脸图像帧序列输入第二活体检测子模型，通过第二活体检测子模型基于各人脸图像帧中的人脸局部区域对待测用户进行活体检测，得到针对待检测用户的第二活体检测结果。
本公开实施例中第一活体检测子模型第二活体检测子模型，第一活体检测子模型是基于全图样本训练获得的，可以基于全图图像帧的全局区域进行活体检测的模型；第二活体检测子模型是基于人脸图像样本训练获得的，可以对人脸图像帧的人脸局部区域进行活体检测的模型。在此基础上，第一活体检测子模型更关注图像的整体信息，第二活体检测子模型更关注人脸区域的局部信息。
进一步的，在获取全图图像帧序列与人脸图像帧序列后，可以组合使用第一活体检测子模型与第二活体检测子模型，将全图图像帧序列输入第一活体检测子模型，以使第一活体检测子模型基于各全图图像帧中的全局区域，对图像整体信息进行活体检测，获得待测用户对应的第一活体检测结果；以及，将人脸图像帧序列输入第二活体检测子模型，以使第二活体检测子模型基于各人脸图像帧中的人脸局部区域，对人脸局部信息进行活体检测，获得待测用户对应的第二活体检测结果。
步骤103、基于第一活体检测结果与第二活体检测结果，确定待检测用户的目标检测结果。
本公开实施例中，在分别获得第一活体检测子模型输出的第一活体检测结果，以及第二活体检测子模型输出的第二活体检测结果后，可以进一步基于第一活体检测结果与第一活体检测结果获得目标检测结果。目标检测结果能够综合待测用户读取目标内容过程中的全图结构信息与人脸局部信息，更精准地实现对待测用户的活体检测，避免伪造方式变化可能导致检出率降低的问题，提升活体检测分类的泛化性和鲁棒性。
图2为本公开实施例提供的活体检测方法的步骤流程图之二。该方法可以包括如下步骤201至步骤207。
步骤201、获取待测用户读取目标内容时的原始视频。
本公开实施例中，可以获取待测用户读取目标内容时的原始视频，该原始视频中包括待测用户的面部动作。获取原始视频可以在本地配置拍摄模块，对待测用户读取目标内容时的面部动作进行拍摄，也可以通过与配置有拍摄模块的其他电子设备建立通信连接，并通过其他设备获取待测用户读取目标内容时的原始视频。
步骤202、对原始视频进行抽帧处理，获得全图图像帧序列。
进一步的，还可以对所采集的原始视频进行抽帧处理以获得全图图像帧序列，通过抽帧处理从原始视频中获取部分图像信息以表征整体信息，可以避免对原始视频中所有图像信息进行整体分析并运算处理，在保证检测准确性的基础上，降低计算开销，减少模型运算、部署成本。其中，对原始视频抽帧处理的方式，本领域技术人员可以根据运算条件、分析需求进行选择，如抽帧处理可以是在原始视频中每隔相同时间段平均抽取1帧全图图像帧，或者也可以是在原始视频中每隔相同时间段平均设置切入点，并在每一切入点连续抽取一定帧数的全图图像帧。而且抽帧处理可以在原始视频拍摄完成后进行，也可以在拍摄过程中进行，本公开实施例对获取原始视频、抽帧处理的方式以及抽帧处理的时机不作具体限制。
如，在待测用户读取数字“6、1、9、4、2、9”的原始视频中，每隔时间间隔t1抽取1帧全图图像帧，并对全图图像帧基于时序排列获得全图图像帧序列；
或者，在待测用户读取数字“6、1、9、4、2、9”的原始视频中，每隔时间间隔t2抽取连续n帧全图图像帧，并对全图图像帧基于时序排列获得全图图像帧序列。
步骤203、分别确定每一全图图像帧中的人脸关键点。
本公开实施例中，人脸关键点用于识别、定位人脸面部的不同特征位置，如眼、鼻、口、眉毛、脸部轮廓等位置，根据对识别精度的要求以及实际数据处理条件，可以对人脸关键点标定的位置，以及人脸关键点的数量进行设置，人脸关键点的数量可以是68、49、21或者5个等。在全图图像帧序列中，不同全图图像帧的人脸关键点的数量，以及所标定的特征应相同。其中，人脸关键点可以采用人工标注，也可以采用预先训练的人脸关键点标注模型进行标注，本公开实施例对此不作具体限制。
步骤204、分别对每一全图图像帧的人脸关键点进行均值处理，获得每一全图图像帧的配准关键点。
本公开实施例中，均值处理可以是对全图图像帧中人脸关键点的坐标位置进行均值运算，通过对人脸关键点进行均值处理，可以获得该全图图像帧中配准关键点的坐标位置。配准关键点基于各人脸关键点平均获得，在保留人脸关键点对人脸面部特征的表示的同时，还能够保留待测用户读取目标内容时面部的运动信息，以提高活体检测的准确率和效率。
步骤205、基于配准关键点，对各全图图像帧中的人脸局部区域进行居中处理，获得对应的人脸图像帧，以确定人脸图像帧序列。
本公开实施例中，人脸图像帧序列可以通过对全图图像帧序列进行人脸配准获得。人脸配准，也称人脸对齐，是对图像中人脸进行关键点检测与定位的技术，通过人脸配准处理可以在全图图像帧中确定人脸局部区域，从而在获得的人脸图像帧序列中弱化、减少背景信息对人脸信息的干扰，更突出局部人脸区域的特征。具体的，人脸配准可以是对全图图像帧基于配准关键点进行人脸局部区域居中处理，如基于配准关键点对不同全图图像帧进行仿射变换，以生成相同尺寸且人脸局部区域的处于居中位置的人脸图像帧。在全图图像帧序列中，对各全图图像帧可以基于配准关键点进行对齐、匹配和缩放，获得相同尺寸下人脸居中的人脸图像帧，从而组成人脸图像帧序列。
步骤206、对全图图像帧序列进行帧间差值处理，获得全图图像帧序列中任意相邻两全图图像帧的全图帧差分图像，确定全图帧差分图像序列。
本公开实施例中，帧间差值指对相邻两图像帧进行逐像素差值处理，从而获得相邻两图像帧对应的帧差分图像，通过帧差分图像可以表征相邻两图像帧间在时序上的动态变化特征，从而表示待测用户在读取目标内容过程中的行为特征。而在活体检测过程中，可以关注伪造导致的行为异常进行活体检测，而减少对图像纹理、构造等信息的关注，进而在降低数据量的基础上，保证活体检测精度，以及提升活体检测效率。此时，在全图图像帧序列中，可以根据时序对任意相邻两全图图像帧逐像素作差值处理，从而获得任意相邻两全图图像帧对应的全图帧差分图像，进而可以获得全图图像帧序列对应的全图帧差分图像序列。
步骤207、将全图帧差分图像序列输入第一活体检测子模型，通过第一活体检测子模型基于各全图图像帧中的全局区域对待测用户进行活体检测，得到针对待检测用户的第一活体检测结果。
进一步的，可以将全图帧差分图像序列输入第一活体检测子模型，由于全图帧差分图像序列基于全图图像帧序列对视频的动态变化信息进行了再提取，更减少了第一活体检测子模型所需关注的信息量，从而可以简化第一活体检测子模型的网络结构、降低参数量。在低部署成本的基础上，可以应用第一活体检测子模型对全图帧差分图像序列进行活体检测，获得全图帧差分图像序列对应的活体检测结果。
本公开实施例中，在获得全图帧差分图像序列后，还可以对全图帧差分图像序列进行特征提取，以获得全图帧差分图像序列适应第一活体检测子模型结构的特征表示。其中，特征提取的方式可以根据第一活体检测子模型的任务需求、部署条件进行选择，如可以采用ResNet(Residual Network，残差网络)、MobileNet、ShuffleNet、EffNet、Vit、SwinTransformer等参数量小、轻量化的神经网络对全图帧差分图像序列进行特征提取。在实际应用中，采用CPU进行特征提取模型推理时，可采用运算需求较低的MobileNet、ShuffleNet、EffNet等；采用GPU进行特征提取模型推理时，可以采用运算需求较高的其他网络结构，以在符合部署条件的基础上，提升特征提取的精度。
在本公开一可选的方法实施例中，第一活体检测子模型可以包括并行设置的第一时序子网络与第一全连接子网络，第一全连接子网络的数量等于全图帧差分图像序列中全图帧差分图像的数量。
其中，第一时序子网络可以从时间序列中提取动态行为特征，从而对全图帧差分图像序列整体，基于全图帧差分图像间的动态变化信息进行活体检测，第一时序子网络可以选择RNN(Recurrent Neural Network,循环神经网络)、LSTM(Long Short-Term Memory，长短期记忆网络)、CNN(Convolutional Neural Networks，卷积神经网络)等可用于处理时序信息的神经网络；第一全连接子网络可以对每一全图帧差分图像，基于像素差值所表征的动态变化信息进行活体检测，在此基础上，第一全连接子网络的数量可以等于全图帧差分图像序列中全图帧差分图像的数量。第一活体检测子模型通过并行设置第一时序子网络与第一全连接子网络的结构，可以对全图帧差分图像序列在整体与局部上进行组合式活体检测，进一步提升全图活体检测精度。
则步骤207可以包括如下步骤A1至步骤A2。
步骤A1、通过第一时序子网络提取全图帧差分图像序列的第一时序特征，并基于第一时序特征对待测用户进行活体检测，获得第一时序检测结果，第一时序特征表征各全图帧差分图像在时序上的变化；以及，通过每一第一全连接子网络分别提取一个全图帧差分图像的全局图像特征，并基于全局图像特征对待测用户进行活体检测，获得每一全图帧差分图像分别对应的第一全连接检测结果。
本公开实施例中，将全图帧差分图像序列输入第一活体检测子模型后，第一时序子网络可以对全图帧差分图像序列的整体进行活体检测，通过提取序列间全图帧差分图像的第一时序特征，检测各全图帧差分图像在时序上的变化，以识别待测用户在读取目标内容过程中可能存在的异常行为，输出待测用户对应的第一时序检测结果；同时，第一全连接子网络可以分别对每一全图帧差分图像的整体进行活体检测，通过提取每一全图帧差分图像的全局图像特征，并根据全局图像特征对待测用户进行活体检测，并输出该全图帧差分图像各自对应的第一全连接检测结果。
步骤A2、融合第一时序检测结果和各第一全连接检测结果，获得全图图像帧序列对应的第一活体检测结果。
本公开实施例中，可以对第一时序检测结果、第一全连接检测结果进行融合，从而获得第一活体检测结果，通过融合序列中整体序列与各图像帧的检测结果，能够有效提升活体检测精度，从而面对不同伪造方式也能维持稳定的检出率，提高活体检测的泛用性和鲁棒性。其中，融合第一时序检测结果与第一全连接检测结果的方式可以根据后续任务处理需求、运算条件等选择，如可以对第一时序检测结果与所有第一全连接检测结果取最大值，也可以取均值，或者也可以采用全连接网络基于第一时序检测结果与所有第一全连接检测结果进一步分类，输出单一的第一活体检测结果。
步骤208、对人脸图像帧序列进行帧间差值处理，获得人脸图像帧序列中任意相邻两人脸图像帧的人脸帧差分图像，确定人脸帧差分图像序列。
步骤209、将人脸帧差分图像序列输入第二活体检测子模型，通过第二活体检测子模型基于各人脸图像帧中的人脸局部区域对待测用户进行活体检测，得到针对待检测用户的第二活体检测结果。
本公开实施例中，步骤208至209中对人脸图像帧序列可以对应参照前述步骤206至207中对全图图像帧序列的相关描述，为避免重复，在此不再赘述。
在本公开一可选的方法实施例中，第二活体检测子模型可以包括并行设置的第二时序子网络与第二全连接子网络，第二全连接子网络的数量等于人脸帧差分图像序列中人脸帧差分图像的数量。则步骤209可以包括如下步骤B1至步骤B2。
步骤B1、通过第二时序子网络提取人脸帧差分图像序列图的第二时序特征，并基于第二时序特征对待测用户进行活体检测，获得第二时序检测结果，第二时序特征表征各人脸帧差分图像在时序上的变化；以及，通过每一第二全连接子网络分别提取一个人脸帧差分图像的人脸图像特征，并基于人脸图像特征对待测用户进行活体检测，获得每一全图帧差分图像分别对应的第二全连接检测结果。
本公开实施例中，将人脸帧差分图像序列输入第二活体检测子模型后，第二时序子网络可以对人脸帧差分图像序列的整体进行活体检测，通过提取序列间人脸帧差分图像的第二时序特征，检测各人脸帧差分图像在时序上的变化，以识别待测用户在读取目标内容过程中可能存在的异常行为，输出待测用户对应的第二时序检测结果；同时，第二全连接子网络可以分别对每一人脸帧差分图像的整体进行活体检测，通过提取每一人脸帧差分图像的人脸图像特征，并根据人脸图像特征对待测用户进行活体检测，并输出该人脸帧差分图像各自对应的第二全连接检测结果。
步骤B2、融合第二时序检测结果、第二全连接检测结果，获得人脸图像帧序列对应的第二活体检测结果。
本公开实施例中，步骤B2可对应参照前述步骤A2的相关描述，为避免重复，在此不再赘述。
步骤210、对第一活体检测结果以及第二活体检测结果进行融合处理，获得待测用户的目标检测结果；其中，融合处理包括取均值、取最大值，或基于第一活体检测结果与第二活体检测结果进行分类检测。
本公开实施例中，可以对第一活体检测结果与第二活体检测结果进行融合，从而获得视频对应的目标检测结果。通过对视频中全局区域与人脸局部区域的检测结果进行融合，能够进一步提升对视频的活体检测精度，从而提高活体检测的泛用性和鲁棒性。其中，融合第一活体检测结果与第二活体检测结果的方式可以根据后续任务处理需求、运算条件等选择，如可以对第一活体检测结果与第二活体检测结果取最大值，也可以取均值，或者也可以采用全连接网络基于第一活体检测结果与第二活体检测结果进一步分类检测，输出单一的目标检测结果。
图3为本公开实施例提供的一种活体检测模型的结构示意图，该活体检测模型基于训练数据不同，采用全图图像帧样本序列训练时可以是第一活体检测子模型，采用人脸图像帧样本序列训练时可以是第二活体检测子模型。如图3所示，活体检测模型可以包括帧间差处理模块301、特征抽取模块302、活体检测模块303以及结果融合模块304，其中，特征抽取模块302可以由残差神经网络构成，活体检测模块303可以包括一个时序子网络3031，以及m个全连接子网络3032，该时序子网络可以由循环神经网络构成。以活体检测模型包括第一活体检测子模型为例，则图像帧序列X0包括全图图像帧序列，将从原始视频中提取的全图图像帧序列X0输入该第一活体检测子模型，该活体检测的步骤流程如下步骤C1至步骤C4所示：
步骤C1、帧间差处理模块301对全图图像帧序列X0进行帧间差值处理，获得全图帧差分图像序列X1，全图帧差分图像序列X1中包含n个全图帧差分图像，且m≥n；
步骤C2、特征抽取模块302将全图帧差分图像序列X1转换为高维特征序列X2；
步骤C3、活体检测模块303中基于转换后的高维特征序列X2进行活体检测，其中由时序子网络3031基于高维特征序列X2的时序信息进行活体检测，获得第一时序检测结果，并由每个全连接子网络3032分别对每一帧全图帧差分图像进行活体检测，获得第一全连接检测结果；
步骤C4、结果融合模块304对该第一时序检测结果、第一全连接检测结果进行融合，获得全图图像帧序列X0对应的第一活体检测结果。
或者，活体检测模型可以包括第二活体检测子模型，则图像帧序列X0包括人脸图像帧序列，将人脸全图图像帧序列X0输入该第二活体检测子模型，该活体检测的步骤流程如下步骤D1至步骤D4所示：
步骤D1、帧间差处理模块301对人脸图像帧序列X0进行帧间差值处理，获得人脸帧差分图像序列X1，人脸帧差分图像序列X1中包含n个人脸帧差分图像，且m≥n；
步骤D2、特征抽取模块302将人脸帧差分图像序列X1转换为高维特征序列X2；
步骤D3、活体检测模块303中基于转换后的高维特征序列X2进行活体检测，其中由时序子网络3031基于高维特征序列X2的时序信息进行活体检测，获得第二时序检测结果，并由每个全连接子网络3032分别对每一帧人脸帧差分图像进行活体检测，获得第二全连接检测结果；
步骤D4、结果融合模块304对该第二时序检测结果、第二全连接检测结果进行融合，获得人脸图像帧序列X0对应的第二活体检测结果。
进一步的，可以对第一活体检测结果、第二活体检测结果进行融合，获得待测用户对应的目标检测结果。
在本公开提供的活体检测方法中，获取了待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，其中，全图图像帧序列中各全图图像帧包括待测用户读取目标内容时的全局区域，人脸图像帧序列中各人脸图像帧包括待测用户读取目标内容过程中的人脸局部区域；再将全图图像帧序列输入第一活体检测子模型，以及将人脸图像帧序列输入第二活体检测子模型，分别获得输出第一活体检测结果与第二活体检测结果，并基于第一活体检测结果与第二活体检测结果，获得待测用户的目标检测结果。本公开实施例中，活体检测基于全图图像、人脸图像的帧序列实现，对图像全局、人脸局部区域等进行了全面充分地检测，使获得的目标检测结果能够充分表征图像信息，有效提升活体检测的分类精度，在伪造方式不同时结合全局、局部信息进行检测，也保证了活体检测的泛化性和稳定性。
图4为本公开实施例提供的活体检测模型的训练方法的步骤流程图，其中，活体检测模型可以包括第一活体检测子模型与第二活体检测子模型，可以应用于前述图1、2任意的活体检测方法。如图4所示，该训练方法可以包括如下步骤401至步骤403。
步骤401、获取全图图像帧样本序列与人脸图像帧样本序列。
本公开实施例中，全图图像帧样本序列与人脸图像帧样本序列可以对应任意用户读取目标内容的过程，该任意用户可以是真实用户，也可以是伪造用户。如可以获取真实用户读取目标内容时的全局图像帧样本序列以及人脸图像帧样本序列，获得正样本；可以对真实用户进行伪造，获取其读取目标内容时的全局图像帧样本序列以及人脸图像帧样本序列，获得负样本，以获得不同伪造类型以及真实用户对应的图像帧样本序列。采集全图图像帧样本序列与人脸图像帧样本序列的方式可以对应参照前述步骤101的相关描述，为避免重复，在此不再赘述。
其中，对真实用户进行伪造可以包括面部融合、篡改等深度伪造，或基于真实用户读取目标内容的面部动作视频对静态图像进行动作驱动，或图像拼接等；也还可以采集通过T型面具、立体头模、屏幕翻拍、纸面具、遮挡等情况下采集的全局图像帧样本序列以及人脸图像帧样本序列，以获得实体数据的负样本。在获取全图图像帧样本序列与人脸图像帧样本序列的过程中，还可以调整不同光照条件、画面背景，采集不同身份信息用户的图像帧序列，为了平衡模型性能与训练效率，可以根据运算条件确定所获取图像帧序列的数量。本公开实施例中，可以根据运算成本、任务需求选择负样本的伪造方式，在采集过程中可以根据获取方式或者数据类型对全图图像帧样本序列与人脸图像帧样本序列进行样本标注，以区分正负样本。
本公开一可选的方法实施例中，还可以对全图图像帧样本序列、人脸图像帧样本序列等进行增广处理，如可以进行图像质量压缩处理，或添加噪声、模糊等，或调整图像亮度、对比度、色度等，从而拓展样本数量与类型，提高模型检测精度与泛用性。
本公开实施例中，可以根据任务需求、运算条件构建初始第一活体检测子模型、初始第二活体检测子模型。由于全图图像帧样本序列进行了抽帧处理，获取了部分信息以表征整体，而人脸图像帧样本序列是进一步对全图图像帧序列进行人脸居中处理，获得局部人脸区域的部分信息，因此，对应初始活体检测模型、初始第二活体检测子模型可以采用简单结构，以降低模型参数量，也不影响模型性能，从而有效平衡模型的检测准确率与训练部署成本。其中，初始第一活体检测子模型、初始第二活体检测子模型的结构相同，所输入的训练数据不同，从而可以训练获得不同的第一活体检测子模型、第二活体检测子模型。
步骤402、将全图图像帧样本序列输入初始第一活体检测子模型，获取初始第一活体检测子模型输出的第三活体检测结果，并基于第三活体检测结果对初始第一活体检测子模型进行迭代，获得第一活体检测子模型。
本公开实施例中，可以将全图图像帧样本序列输入初始第一活体检测子模型，以使初始第一活体检测子模型对全图图像帧样本序列进行活体检测，获得该训练视频对应的第三活体检测结果，该第三活体检测结果包括全图图像帧序列所对应的用户为真实用户，或伪造用户。在此基础上，基于第三活体检测结果与全图图像帧序列在采集过程中所标注的分类，可以对初始第一活体检测子模型进行迭代，至符合收敛条件，从而获得第一活体检测子模型。其中，收敛条件可以是第三全图检测结果相对标注分类的损失值在预设数值范围内，也可以是迭代次数达到预设次数等，使得模型精度、泛化性符合任务需求，本公开实施例对此不作具体限制。
在本公开一可选的方法实施例中，初始第一活体检测子模型包括并行设置的第三时序子网络与第三全连接子网络，且第三全连接子网络的数量等于全图图像帧样本序列中全图图像帧样本的数量。
则步骤402可以包括如下步骤E1至步骤E3。
步骤E1、对全图图像帧样本序列进行帧间差值处理，获得对应的全图帧差分图像样本序列。
本公开实施例中，对全图图像帧样本序列进行帧间差值处理可对应参照前述步骤206中对全图图像帧序列进行帧间差值处理的相关描述，采用帧间差值处理可以在保留全图图像帧样本间动态变化信息的同时，可以减少背景信息的干扰以提高检测精度，并简化数据量，从而可以进一步简化模型结构，降低参数量，以提高模型训练效率，降低模型部署成本。
步骤E2、将全图帧差分图像样本序列输入初始第一活体检测子模型，以使第三时序子网络对全图帧差分图像样本序列进行活体检测，获得第三时序检测结果，以及使第三全连接子网络分别对每一第二全图帧差分图像进行活体检测，获得每一第二全图帧差分图像分别对应的第三全连接检测结果。
本公开实施例中，初始第一活体检测子模型可以包括第三时序子网络，以及数量与全图帧差分图像样本序列中第二全图帧差分图像的数量相匹配的第三全连接子网络。其中，第三时序子网络可以在序列中基于整体时序信息进行活体检测，第三全连接子网络可以对第二全图帧差分图像分别基于图像结构等信息进行活体检测，从而可以获得全图帧差分图像样本序列整体的第三时序检测结果，以及全图帧差分图像样本序列中每一第二全图帧差分图像分别对应的第三全连接检测结果。
步骤E3、融合第三时序检测结果、第三全连接检测结果，获得全图图像帧样本序列对应的第三活体检测结果。
进一步的，可以对全图帧差分图像样本序列整体的第三时序检测结果，以及每一第二全图帧差分图像分别对应的第三全连接检测结果进行融合，具体可对应参照前述步骤A2中融合第一时序检测结果、第一全连接检测结果的相关描述，为避免重复，在此不再赘述。
步骤403、将人脸图像帧样本序列输入初始第二活体检测子模型，获取初始第二活体检测子模型输出的第四活体检测结果，并基于第四活体检测结果对初始第二活体检测子模型进行迭代，获得第二活体检测子模型。
本公开实施例中，步骤403中采用人脸图像帧样本序列对初始第二活体检测子模型的训练步骤，可对应参照前述步骤402中采用全图图像帧样本序列对初始第一活体检测子模型的训练步骤相关描述，为避免重复，在此不再赘述。
在本公开一可选的方法实施例中，初始第二活体检测子模型包括并行设置的第四时序子网络与第四全连接子网络，且第四全连接子网络的数量等于人脸图像帧样本序列中人脸图像帧样本的数量。则步骤403可以包括如下步骤F1至步骤F3。
步骤F1、对人脸图像帧样本序列进行帧间差值处理，获得对应的人脸帧差分图像样本序列。
本公开实施例中，对人脸图像帧样本序列进行帧间差值处理可对应参照前述步骤205中对全图图像帧序列进行帧间差值处理的相关描述，为避免重复，在此不再赘述。
步骤F2、将人脸帧差分图像样本序列输入初始第二活体检测子模型，以使第四时序子网络对人脸帧差分图像样本序列进行活体检测，获得第四时序检测结果，以及使第四全连接子网络分别对每一第二人脸帧差分图像进行活体检测，获得每一第二人脸帧差分图像分别对应的第四全连接检测结果。
本公开实施例中，初始第二活体检测子模型可以包括第四时序子网络，以及数量与人脸帧差分图像样本序列中第二人脸帧差分图像的数量相匹配的第四全连接子网络，其中，第四时序子网络可以在序列中基于整体时序信息进行活体检测，第四全连接子网络可以对第二人脸帧差分图像分别基于图像结构等信息进行活体检测，从而可以获得人脸帧差分图像样本序列整体的第四时序检测结果，以及人脸帧差分图像样本序列中每一第二人脸帧差分图像分别对应的第四全连接检测结果。
步骤F3、融合第四时序检测结果、第四全连接检测结果，获得人脸图像帧样本序列对应的第四活体检测结果。
进一步的，可以对人脸帧差分图像样本序列整体的第四时序检测结果，以及每一第二人脸帧差分图像分别对应的第四全连接检测结果进行融合，具体可对应参照前述步骤A2中融合第一时序检测结果、第一全连接检测结果的相关描述，为避免重复，在此不再赘述。
本公开实施例中，采用分别单独训练第一活体检测子模型、第二活体检测子模型的方式，能够使两模型对两组不同的输入分别达到期望的分类性能，避免综合训练可能导致的模型间依赖问题。在后续活体检测任务中，对第一活体检测子模型、第二活体检测子模型所输出的检测结果进行融合，充分利用人脸局部信息与全图结构信息，有效提升分类精度，增强模型的泛化性和鲁棒性。
图5为本公开实施例提供的活体检测装置500的结构框图。如图5所示，该装置可以包括：序列获取模块501，获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，全图图像帧序列中各全图图像帧包括待测用户读取目标内容时的全局区域，人脸图像帧序列中各人脸图像帧包括待测用户读取目标内容过程中的人脸局部区域；全图检测模块502，用于将全图图像帧序列输入第一活体检测子模型，通过第一活体检测子模型基于各全图图像帧中的全局区域对待测用户进行活体检测，得到针对待检测用户的第一活体检测结果；以及，人脸检测模块503，将人脸图像帧序列输入第二活体检测子模型，通过第二活体检测子模型基于各人脸图像帧中的人脸局部区域对待测用户进行活体检测，得到针对待检测用户的第二活体检测结果；结果确定模块504，用于基于第一活体检测结果与第二活体检测结果，确定待检测用户的目标检测结果。
在本公开一可选的装置实施例中，序列获取模块501，具体用于对全图图像帧序列进行帧间差值处理，获得全图图像帧序列中任意相邻两全图图像帧的全图帧差分图像，确定全图帧差分图像序列；相应的，全图检测模块502，具体用于将全图帧差分图像序列输入第一活体检测子模型。
在本公开一可选的装置实施例中，序列获取模块501，具体用于对人脸图像帧序列进行帧间差值处理，获得人脸图像帧序列中任意相邻两人脸图像帧的人脸帧差分图像，确定人脸帧差分图像序列；相应的，人脸检测模块503，具体用于将人脸帧差分图像序列输入第二活体检测子模型。
在本公开一可选的装置实施例中，第一活体检测子模型包括并行设置的第一时序子网络与第一全连接子网络，第一全连接子网络的数量等于全图帧差分图像序列中全图帧差分图像的数量，则全图检测模块502，具体用于通过第一时序子网络提取全图帧差分图像序列的第一时序特征，并基于第一时序特征对待测用户进行活体检测，获得第一时序检测结果，第一时序特征表征各全图帧差分图像在时序上的变化；以及，通过每一第一全连接子网络分别提取一个全图帧差分图像的全局图像特征，并基于全局图像特征对待测用户进行活体检测，获得每一全图帧差分图像分别对应的第一全连接检测结果；融合第一时序检测结果和各第一全连接检测结果，获得全图图像帧序列对应的第一活体检测结果。
在本公开一可选的装置实施例中，第二活体检测子模型包括第二时序子网络与第二全连接子网络，第二全连接子网络的数量等于人脸帧差分图像序列中人脸帧差分图像的数量，则人脸检测模块503，具体用于通过第二时序子网络提取人脸帧差分图像序列图的第二时序特征，并基于第二时序特征对待测用户进行活体检测，获得第二时序检测结果，第二时序特征表征各人脸帧差分图像在时序上的变化；以及，通过每一第二全连接子网络分别提取一个人脸帧差分图像的人脸图像特征，并基于人脸图像特征对待测用户进行活体检测，获得每一全图帧差分图像分别对应的第二全连接检测结果；融合第二时序检测结果、第二全连接检测结果，获得人脸图像帧序列对应的第二活体检测结果。
在本公开一可选的装置实施例中，序列获取模块501，具体用于获取待测用户读取目标内容时的原始视频；对原始视频进行抽帧处理，获得全图图像帧序列；分别确定每一全图图像帧中的人脸关键点；分别对每一全图图像帧的人脸关键点进行均值处理，获得每一全图图像帧的配准关键点；基于配准关键点，对各全图图像帧中的人脸局部区域进行居中处理，获得对应的人脸图像帧，以确定人脸图像帧序列。
在本公开一可选的装置实施例中，结果确定模块504，具体用于对第一活体检测结果以及第二活体检测结果进行融合处理，获得待测用户的目标检测结果；其中，融合处理包括取均值、取最大值，或基于第一活体检测结果与第二活体检测结果进行分类检测。
在本公开提供的活体检测装置中，获取了待测用户读取目标内容时获取的全图图像帧序列与人脸图像帧序列，其中，全图图像帧序列中各全图图像帧包括待测用户读取目标内容时的全局区域，人脸图像帧序列中各人脸图像帧包括待测用户读取目标内容过程中的人脸局部区域；再将全图图像帧序列输入第一活体检测模型第一活体检测子模型，以及将人脸图像帧序列输入第二活体检测模型第二活体检测子模型，分别获得输出第一活体检测结果与第二活体检测结果，并基于第一活体检测结果与第二活体检测结果，获得待测用户的目标检测结果。本公开实施例中，活体检测基于全图图像、人脸图像的帧序列实现，，能够简化模型训练的运算量，减少对图像频域信息转化的繁琐处理；而且对图像全局、人脸局部区域等全面进行了全面充分地检测，使获得的目标检测结果能够充分表征图像信息，有效提升活体检测的分类精度，以及在对不同伪造方式不同时结合全局、局部信息进行检测，也保证了伪造检出检测的泛化性和鲁棒稳定性。
图6为本公开实施例提供的一种活体检测模型的训练装置的结构框图，其中，通过该装置训练得到的活体检测模型可以包括第一活体检测子模型与第二活体检测子模型，可以应用于前述图5所述的活体检测装置的执行中。如图6所示，该装置可以包括：样本序列获取模块601，用于获取全图图像帧样本序列与人脸图像帧样本序列；第一模型训练模块602，将全图图像帧样本序列输入初始第一活体检测子模型，获取初始第一活体检测子模型输出的第三活体检测结果，并基于第三活体检测结果对初始第一活体检测子模型进行迭代，获得第一活体检测子模型；以及，第二模型训练模块602，将人脸图像帧样本序列输入初始第二活体检测子模型，获取初始第二活体检测子模型输出的第四活体检测结果，并基于第四活体检测结果对初始第二活体检测子模型进行迭代，获得第二活体检测子模型。
本公开实施例中，采用分别单独训练第一活体检测子模型、第二活体检测子模型的方式，能够使两模型对两组不同的输入分别达到期望的分类性能，避免综合训练可能导致的模型间产生依赖的问题。在后续活体检测任务中，对第一活体检测子模型、第二活体检测子模型所输出的检测结果进行融合，充分利用人脸局部信息与全图结构信息，有效提升分类精度，增强模型的泛化性和鲁棒性。
图7为本公开实施例提供的一种电子设备700的结构示意图，如图7所示，该电子设备700可以包括处理器701，存储器702，存储在存储器702上并可在处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述活体检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，图7示出的电子设备700仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
图8为本公开实施例提供的一种电子设备800的硬件示意图，如图8所示，电子设备800包括中央处理单元(Central Processing Unit，CPU)801，其可以根据存储在ROM(ReadOnly Memory，只读存储器，)802中的程序或者从存储部分808加载到RAM(Random AccessMemory，随机访问存储器)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有***操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。I/O(Input/Output，输入/输出)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如CRT(Cathode Ray Tube，阴极射线管)、LCD(Liquid Crystal Display，液晶显示器)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN(Local AreaNetwork，无线网络)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU801)执行时，执行本申请的***中限定的各种功能。
本公开实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述活体检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如ROM、RAM、磁碟或者光盘等。
本公开实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述活体检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本公开实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本公开实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，电子设备，空调器，或者网络设备等)执行本公开各个实施例的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。

Claims (11)

1.一种活体检测方法，其特征在于，所述方法包括：
获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，所述全图图像帧序列中各全图图像帧包括所述待测用户读取目标内容时的全局区域，所述人脸图像帧序列中各人脸图像帧包括所述待测用户读取目标内容过程中的人脸局部区域；
将所述全图图像帧序列输入第一活体检测子模型，通过所述第一活体检测子模型基于各所述全图图像帧中的全局区域对所述待测用户进行活体检测，得到针对所述待检测用户的第一活体检测结果；以及，将所述人脸图像帧序列输入第二活体检测子模型，通过所述第二活体检测子模型基于各所述人脸图像帧中的人脸局部区域对所述待测用户进行活体检测，得到针对所述待检测用户的第二活体检测结果；
基于所述第一活体检测结果与所述第二活体检测结果，确定所述待检测用户的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述全图图像帧序列输入第一活体检测子模型之前，还包括：
对所述全图图像帧序列进行帧间差值处理，获得所述全图图像帧序列中任意相邻两全图图像帧的全图帧差分图像，确定全图帧差分图像序列；
相应的，将所述全图图像帧序列输入第一活体检测子模型，包括：
将所述全图帧差分图像序列输入所述第一活体检测子模型。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述人脸图像帧序列输入第二活体检测子模型之前，还包括：
对所述人脸图像帧序列进行帧间差值处理，获得所述人脸图像帧序列中任意相邻两人脸图像帧的人脸帧差分图像，确定人脸帧差分图像序列；
相应的，将所述人脸图像帧序列输入第二活体检测子模型，包括：
将所述人脸帧差分图像序列输入所述第二活体检测子模型。
4.根据权利要求2所述的方法，其特征在于，所述第一活体检测子模型包括并行设置的第一时序子网络与第一全连接子网络，所述第一全连接子网络的数量等于所述全图帧差分图像序列中所述全图帧差分图像的数量，所述通过所述第一活体检测子模型基于各所述全图图像帧中的全局区域对所述待测用户进行活体检测，得到针对所述待检测用户的第一活体检测结果，包括：
通过所述第一时序子网络提取所述全图帧差分图像序列的第一时序特征，并基于所述第一时序特征对所述待测用户进行活体检测，获得第一时序检测结果，所述第一时序特征表征各所述全图帧差分图像在时序上的变化；以及，通过每一所述第一全连接子网络分别提取一个所述全图帧差分图像的全局图像特征，并基于所述全局图像特征对所述待测用户进行活体检测，获得每一所述全图帧差分图像分别对应的第一全连接检测结果；
融合所述第一时序检测结果和各所述第一全连接检测结果，获得所述全图图像帧序列对应的所述第一活体检测结果。
5.根据权利要求3所述的方法，其特征在于，所述第二活体检测子模型包括第二时序子网络与第二全连接子网络，所述第二全连接子网络的数量等于所述人脸帧差分图像序列中所述人脸帧差分图像的数量，所述通过所述第二活体检测子模型基于各所述人脸图像帧中的人脸局部区域对所述待测用户进行活体检测，得到针对所述待检测用户的第二活体检测结果，包括：
通过所述第二时序子网络提取所述人脸帧差分图像序列图的第二时序特征，并基于所述第二时序特征对所述待测用户进行活体检测，获得第二时序检测结果，所述第二时序特征表征各所述人脸帧差分图像在时序上的变化；以及，通过每一所述第二全连接子网络分别提取一个所述人脸帧差分图像的人脸图像特征，并基于所述人脸图像特征对所述待测用户进行活体检测，获得每一所述全图帧差分图像分别对应的第二全连接检测结果；
融合所述第二时序检测结果、所述第二全连接检测结果，获得所述人脸图像帧序列对应的所述第二活体检测结果。
6.根据权利要求1所述的方法，其特征在于，所述获取待测用户读取目标内容时的全图图像帧序列与人脸图像帧序列，包括：
获取待测用户读取目标内容时的原始视频；
对所述原始视频进行抽帧处理，获得全图图像帧序列；
分别确定每一所述全图图像帧中的人脸关键点；
分别对每一所述全图图像帧的所述人脸关键点进行均值处理，获得每一所述全图图像帧的配准关键点；
基于所述配准关键点，对各所述全图图像帧中的人脸局部区域进行居中处理，获得对应的人脸图像帧，以确定人脸图像帧序列。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一活体检测结果与所述第二活体检测结果，确定所述待检测用户的目标检测结果，包括：
对所述第一活体检测结果以及所述第二活体检测结果进行融合处理，获得所述待测用户的目标检测结果；其中，所述融合处理包括取均值、取最大值，或基于所述第一活体检测结果与所述第二活体检测结果进行分类检测。
8.根据权利要求1所述的方法，其特征在于，所述第一活体检测子模型与所述第二活体检测子模型的训练步骤如下所示：
获取全图图像帧样本序列与人脸图像帧样本序列；
将所述全图图像帧样本序列输入初始第一活体检测子模型，获取所述初始第一活体检测子模型输出的第三活体检测结果，并基于所述第三活体检测结果对所述初始第一活体检测子模型进行迭代，获得所述第一活体检测子模型；以及，
将人脸图像帧样本序列输入所述初始第二活体检测子模型，获取所述初始第二活体检测子模型输出的第四活体检测结果，并基于所述第四活体检测结果对所述初始第二活体检测子模型进行迭代，获得所述第二活体检测子模型。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的活体检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的活体检测方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的活体检测方法。
CN202310143646.4A 2023-02-10 2023-02-10 活体检测方法、电子设备及存储介质 Pending CN116206373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310143646.4A CN116206373A (zh) 2023-02-10 2023-02-10 活体检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310143646.4A CN116206373A (zh) 2023-02-10 2023-02-10 活体检测方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116206373A true CN116206373A (zh) 2023-06-02

Family

ID=86514303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310143646.4A Pending CN116206373A (zh) 2023-02-10 2023-02-10 活体检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116206373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403294A (zh) * 2023-06-08 2023-07-07 华南理工大学 基于Transformer的多视图宽度学习活体检测方法、介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403294A (zh) * 2023-06-08 2023-07-07 华南理工大学 基于Transformer的多视图宽度学习活体检测方法、介质及设备
CN116403294B (zh) * 2023-06-08 2023-10-27 华南理工大学 基于Transformer的多视图宽度学习活体检测方法、介质及设备

Similar Documents

Publication Publication Date Title
CN108009528B (zh) 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
WO2021179471A1 (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN105844206A (zh) 身份认证方法及设备
CN109919754A (zh) 一种数据获取方法、装置、终端及存储介质
CN109389098B (zh) 一种基于唇语识别的验证方法以及***
CN111222433B (zh) 自动人脸稽核方法、***、设备及可读存储介质
CN111414858B (zh) 人脸识别方法、目标图像的确定方法、装置和电子***
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN113095156A (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
CN116206373A (zh) 活体检测方法、电子设备及存储介质
CN113870254A (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN116228644A (zh) 图像检测方法、电子设备及存储介质
CN112001785A (zh) 一种基于图像识别的网贷欺诈识别方法及***
CN113076860B (zh) 一种野外场景下的鸟类检测***
CN112200174A (zh) 人脸框检测方法及模块和活体人脸验证方法及***
CN108197593B (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
CN114005184A (zh) 一种基于少量样本的手写签名真伪识别方法和装置
CN111310528B (zh) 一种图像检测方法、身份验证方法、支付方法及装置
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及***
CN111325185A (zh) 人脸防欺诈方法及***
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及***
Yang et al. Deepfake detection based on no-reference image quality assessment (nr-iqa)
CN115953819B (zh) 人脸识别模型的训练方法、装置、设备和存储介质
CN114760484B (zh) 直播视频识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination