CN116798132B - 一种闪光活体检测模型的构建方法、***和检测方法 - Google Patents

一种闪光活体检测模型的构建方法、***和检测方法 Download PDF

Info

Publication number
CN116798132B
CN116798132B CN202310940768.6A CN202310940768A CN116798132B CN 116798132 B CN116798132 B CN 116798132B CN 202310940768 A CN202310940768 A CN 202310940768A CN 116798132 B CN116798132 B CN 116798132B
Authority
CN
China
Prior art keywords
classification
model
sample
samples
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310940768.6A
Other languages
English (en)
Other versions
CN116798132A (zh
Inventor
刘伟华
严宇
左勇
罗艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Athena Eyes Co Ltd
Original Assignee
Athena Eyes Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Athena Eyes Co Ltd filed Critical Athena Eyes Co Ltd
Priority to CN202310940768.6A priority Critical patent/CN116798132B/zh
Publication of CN116798132A publication Critical patent/CN116798132A/zh
Application granted granted Critical
Publication of CN116798132B publication Critical patent/CN116798132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种闪光活体检测模型的构建方法、***和检测方法，涉及活体检测领域，特别是涉及一种闪光活体检测模型的构建方法，包括：获取人脸图像样本；对人脸图像样本进行处理，得到训练样本；根据训练样本的类别，对训练样本进行分类，得到分类样本，其中，分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；以分类样本作为输入，分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型；利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型。本申请能够提高闪光活体检测的检测精度。

Description

一种闪光活体检测模型的构建方法、***和检测方法
技术领域
本申请涉及活体检测领域，特别是涉及一种闪光活体检测模型的构建方法、***和检测方法。
背景技术
在进行人脸识别的时候，人脸识别模型常常会受到各种方式的欺骗，比如将某个人的照片显示在印刷品或者电子屏上，就可以成功的骗过人脸识别模型。所以，在进行识别之前，一般都会使用一个活体检测模型，来判断当前进行人脸识别的对象，是真人还是假人。
闪光活体检测是利用手机屏幕发出的光线做辅助信号，来判断手机前置摄像头拍摄的对象是真人还是假人(如印刷品或电子屏显示出来的人)的方法。其原理是：手机屏幕光线变化的时候，拍摄出的人脸的色彩也会发生变化，而色彩的变化信息在(有三维形态的)真人和(平面形态的)假人之间，是有明显区别的，于是可以将拍摄到的(因为手机屏幕发出的光线改变而造成的)人脸色彩的变化信息输入给一个深度学习模型，判断被拍摄者是真人还是假人。然而不同的攻击数据(比如印刷品攻击、电子屏幕攻击)有着不一样的数据分布，数据分布之间的固有冲突实际上会损害模型的预测效果，导致现有的闪光活体模型精度并不高。
因此，如何提高闪光活体检测的检测精度，是本领域技术人员亟待解决的技术问题。
发明内容
为解决上述技术问题，本申请提供一种闪光活体检测模型的构建方法，能够提高闪光活体检测的检测精度。本申请还提供一种闪光活体检测模型的构建***，以及一种闪光活体检测方法，具有相同的技术效果。
本申请的第一个目的为提供一种闪光活体检测模型的构建方法。
本申请的上述申请目的一是通过以下技术方案得以实现的：
一种闪光活体检测模型的构建方法，包括：
获取人脸图像样本；
对所述人脸图像样本进行处理，得到训练样本；
根据所述训练样本的类别，对所述训练样本进行分类，得到分类样本，其中，所述分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；
以所述分类样本作为输入，所述分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；
以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型；
利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型；
其中，所述分类标签包括属于所述攻击人脸样本的多个分类标签，以及属于所述真实人脸样本的1个分类标签。
优选地，所述闪光活体检测模型的构建方法中，所述预测模型包括多个专家网络和1个门控网络，所述联合训练时，利用所述分类样本，对所述预测模型进行训练，包括：
根据所述分类样本中所述攻击人脸样本的分类标签，将不同类型的所述攻击人脸样本分配给对应的一个所述专家网络，并使用所述攻击人脸样本的分类标签，训练所述门控网络的权重；
将所述分类样本中的所述真实人脸样本分配给每一个所述专家网络，并使用自适应的方式，训练所述门控网络的权重。
优选地，所述闪光活体检测模型的构建方法中，还包括：
以所述分类样本作为输入，所述分类样本的注意力信息作为输出，构建基于注意力机制的第一模型。
优选地，所述闪光活体检测模型的构建方法中，还包括：
获取将所述分类样本输入所述预测模型后输出的多个预测深度信息和将所述分类样本输入所述第一模型后输出的多个注意力信息；
将多个所述预测深度信息和多个所述注意力信息进行融合，得到融合信息。
优选地，所述闪光活体检测模型的构建方法中，所述以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型，包括：
以所述融合信息作为输入，所述融合信息属于各所述分类标签的概率作为输出，构建分类模型。
优选地，所述闪光活体检测模型的构建方法中，所述利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型，具体包括：
利用所述分类样本，对所述预测模型、所述第一模型和所述分类模型进行联合训练，得到闪光活体检测模型。
本申请的第二个目的为提供一种闪光活体检测方法。
本申请的上述申请目的二是通过以下技术方案得以实现的：
一种闪光活体检测方法，包括：
获取待测人脸图像数据；
对所述待测人脸图像数据进行处理，得到输入数据；
将所述输入数据输入闪光活体检测模型，得到检测结果；
其中，所述闪光活体检测模型是采用上述任一项所述闪光活体检测模型的构建方法得到的。
本申请的第三个目的为提供一种闪光活体检测模型的构建***。
本申请的上述申请目的二是通过以下技术方案得以实现的：
一种闪光活体检测模型的构建***，包括：
第一获取单元，用于获取人脸图像样本；
处理单元，用于对所述人脸图像样本进行处理，得到训练样本；
分类单元，用于根据所述训练样本的类别，对所述训练样本进行分类，得到分类样本，其中，所述分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；
第一构建单元，用于以所述分类样本作为输入，所述分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；
第二构建单元，用于以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型；
训练单元，用于利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型；
其中，所述分类标签包括属于所述攻击人脸样本的多个分类标签，以及属于所述真实人脸样本的1个分类标签。
优选地，所述闪光活体检测模型的构建***中，所述预测模型包括多个专家网络和1个门控网络，
所述训练单元，还用于根据所述分类样本中所述攻击人脸样本的分类标签，将不同类型的所述攻击人脸样本分配给对应的一个所述专家网络，并使用所述攻击人脸样本的分类标签，训练所述门控网络的权重；
所述训练单元，还用于将所述分类样本中的所述真实人脸样本分配给每一个所述专家网络，并使用自适应的方式，训练所述门控网络的权重。
优选地，所述闪光活体检测模型的构建***中，还包括：
第三构建单元，用于以所述分类样本作为输入，所述分类样本的注意力信息作为输出，构建基于注意力机制的第一模型；
第二获取单元，用于获取将所述分类样本输入所述预测模型后输出的多个预测深度信息和将所述分类样本输入所述第一模型后输出的多个注意力信息；
融合单元，用于将多个所述预测深度信息和多个所述注意力信息进行融合，得到融合信息；
其中，所述第二构建单元，在执行以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型时，具体用于：
以所述融合信息作为输入，所述融合信息属于各所述分类标签的概率作为输出，构建分类模型；
所述训练单元，在执行利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型时，具体用于：
利用所述分类样本，对所述预测模型、所述第一模型和所述分类模型进行联合训练，得到闪光活体检测模型。
上述技术方案，通过获取人脸图像样本；对人脸图像样本进行处理，得到训练样本；根据训练样本的类别，对训练样本进行分类，得到分类样本，其中，分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；以分类样本作为输入，分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型；利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型。上述技术方案，预测模型基于混合专家网络构建，可以利用混合专家网络来解决数据分布之间的固有冲突，利用分类样本对预测模型和分类模型进行联合训练，得到闪光活体检测模型，可以减少数据分布之间的固有冲突对闪光活体检测模型的预测效果的损害，以此提高模型的检测精度。综上所述，上述技术方案能够提高闪光活体检测的检测精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种闪光活体检测模型的构建方法的流程示意图；
图2为本申请实施例中闪光活体检测模型的一种网络结构示意图；
图3为本申请实施例中闪光活体检测模型的另一种网络结构示意图；
图4为本申请实施例中一种闪光活体检测方法的流程示意图；
图5为本申请实施例中一种闪光活体检测模型的构建***的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请所提供的实施例中，应该理解到，所揭露的方法和***，可以通过其它的方式实现。以下所描述的***实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理器中，也可以是各单元分别单独作为一个器件，也可以两个或两个以上单元集成在一个器件中；本申请各实施例中的各功能单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现下述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括下述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
应当理解，本申请中如若使用了“***”、“装置”、“单元”和/或“模块”，仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。
本申请中如若使用了流程图，则该流程图是用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
还需要说明的是，在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。
本申请实施例采用递进的方式撰写。
如图1所示，本申请实施例提供一种闪光活体检测模型的构建方法，包括：
S101.获取人脸图像样本；
在S101中，具体地，借助手机屏幕的闪光，利用手机拍照的方式来采集多帧的人脸照片，作为人脸图像样本。在一些实施例中，可以在不同年龄、不同环境、不同攻击方式、不同手机设备的条件下，采集大量的人脸图像样本，以保证模型的训练效果。人脸图像样本也可以通过其他合理方式直接获取，本申请对此不作限制。
S102.对人脸图像样本进行处理，得到训练样本；
在S102中，本步骤的其中一种实现方式包括：计算人脸图像样本的颜色变化信息，得到训练样本，其中，颜色变化信息包括Normal Cues。具体地，由手机摄像头对被照射的人脸进行图像采集，可以得到一个人脸反光图像序列(Encoded Sequence Frames)，根据朗伯(Lambertian)反射模型对采集到的人脸反光图像序列计算得到对应的Normal Cues。基于Normal Cues可以获取人脸深度图。
S103.根据训练样本的类别，对训练样本进行分类，得到分类样本，其中，分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；
在S103中，对分类标签的定义：按训练样本所属攻击人脸样本、真实人脸样本定义出两个分类标签，并在攻击人脸样本类别下细化的定义出多个分类标签，即，分类标签可以包括属于攻击人脸样本的多个分类标签，以及属于真实人脸样本的1个分类标签。其中，属于攻击人脸样本的分类标签可以按一个或者多个分类维度进行划分，例如，按照攻击类别划分，攻击人脸样本的分类标签可以包括电子屏攻击标签、印刷品攻击标签等。在一些实施例中，分类样本中各分类标签对应的样本数量应保持一致。
S104.以分类样本作为输入，分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；
在S104中，构建基于混合专家网络的预测模型，预测模型以分类样本作为输入，并根据分类样本进行预测，输出分类样本的预测深度信息。在一些实施例中，预测模型可以用来预测人面部的深度信息，通过后续训练来迫使预测模型理解输入数据中所包含的脸型和五官等信息，对于假人来说是没有深度信息的(比如一张2D的纸上打印的人)，这时候应该预测一个平面。预测深度信息可以是深度信息图。
其中，混合专家网络最早用在推荐算法中，谷歌2018年发表了论文《ModelingTask Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》，文章使用了多门控机制的混合专家网络用来实现多任务的训练。多任务其实就是一个模型同时做出多种预测。多门控机制的混合专家网络先将输入数据输入给n个专家网络得到n个特征向量，再将输入数据输入给一个门控网络输出n个专家网络的权重值，将n个专家网络的权重值，乘到n个专家网络输出的特征向量上，然后加起来就得到一个特征向量。需要注意的是，门控网络输出的n个权重值一般是自适应的，在训练数据中没有标签去指导它的学习。它就像“门”一样，控制着对应的专家网络的特性向量的融合比例，所以叫门控网络。传统的传统的闪光活体模型只使用一个网络，而在本步骤中，预测模型基于混合专家网络构建，因此可以利用多专家网络来解决数据分布之间的固有冲突。
S105.以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型；
在S105中，分类模型以预测模型输出的预测深度信息作为输入，并根据预测深度信息进行分类，输出预测深度信息属于各分类标签的概率。在一些实施例中，分类模型可以根据预测模型预测得到的深度信息图，判断人面图像是真人还是假人。在另一些实施例中，可以构建常规的深度学习网络作为分类模型，其还可以合理采用其他类型的网络，本申请对比不作限制。
S106.利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型。
在S106中，利用分类样本对上述搭建的预测模型和分类模型进行联合训练，以得到闪光活体检测模型，其中，闪光活体检测模型可以包括训练完成后的预测模型和分类模型。在一些实施例中，预测模型基于混合专家网络构建，可以将分类样本中不同分类标签的样本，分配给不同的专家网络，每个专家专注于处理特定分类标签的数据，并使用自适应的方式，训练门控网络的权重。其还可以采用其他合理的训练方式，本申请不限于此。在一些实施例中，分类模型可以采用一般的模型训练方法，例如先随机设置模型的参数，然后自动训练出来，本申请对此不作限制。
上述实施例，通过获取人脸图像样本；对人脸图像样本进行处理，得到训练样本；根据训练样本的类别，对训练样本进行分类，得到分类样本，其中，分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；以分类样本作为输入，分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型；利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型。上述实施例，预测模型基于混合专家网络构建，可以利用混合专家网络来解决数据分布之间的固有冲突，利用分类样本对预测模型和分类模型进行联合训练，得到闪光活体检测模型，可以减少数据分布之间的固有冲突对闪光活体检测模型的预测效果的损害，以此提高模型的检测精度。综上所述，上述实施例能够提高闪光活体检测的检测精度。
在本申请的其他实施例中，预测模型包括多个专家网络和1个门控网络，所述联合训练时，利用分类样本，对预测模型进行训练，包括：
S201.根据分类样本中攻击人脸样本的分类标签，将不同类型的攻击人脸样本分配给对应的一个专家网络，并使用攻击人脸样本的分类标签，训练门控网络的权重；
S202.将分类样本中的真实人脸样本分配给每一个专家网络，并使用自适应的方式，训练门控网络的权重。
在本实施例中，基于攻击人脸样本的分类标签，将不同类型的攻击人脸样本分配给对应的一个专家网络，让不同的专家网络处理不同类型的攻击人脸样本数据，使得每个专家网络专注于处理自己擅长的数据；然后用门控网络融合多个专家网络的输出结果。门控网络的学习一般是自适应的，而在本实施例中，将分类样本中的真实人脸样本分配给每一个专家网络，门控网络在学习真实人脸样本时，选择自适应的方式，而在学习攻击人脸样本时，用攻击人脸样本的分类标签来引导门控网络的输出，这是非自适应的(例如，对于处理攻击人脸样本的专家网络，门控网络输出对应的预设权重值)，以此可以提升模型预测效果。
在本申请的其他实施例中，所述闪光活体检测模型的构建方法中，还包括：
S301.以分类样本作为输入，分类样本的注意力信息作为输出，构建基于注意力机制的第一模型；
在S301中，第一模型以分类样本作为输入，可以基于注意力机制，根据分类样本，得到分类样本的注意力信息。在一些实施例中，注意力信息可以是注意力图，第一模型，使用注意力机制，根据提取注意力图所需要的特征，将注意力集中在没有噪声的部分，生成多帧的注意力图。在另一些实施例中，可以构建常规的深度学习网络作为第一模型，其还可以合理采用其他类型的网络，本申请对比不作限制。
S302.获取将分类样本输入预测模型后输出的多个预测深度信息和将分类样本输入第一模型后输出的多个注意力信息；
在S302中，具体地，可以获取分类样本经预测模型预测得到的多帧深度信息图和分类样本经第一模型处理得到的多帧注意力图，具体获取的数量可以根据实际应用需求确认，例如，可以获取6帧的深度信息图和6帧的注意力图。
S304.将多个所述预测深度信息和多个所述注意力信息进行融合，得到融合信息；
在S304中，具体地，可以使用多帧的注意力图去加权融合多帧的深度信息图，得到一张融合信息图，这样就可以减少每张图上的噪声。其中，融合信息图可作为后续分类模型的输入。在一些实施例中，还可以对所有注意力图做归一化后，再与深度信息图进行融合，以此可以加快模型的训练速度，提高模型精度。
所述以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型的步骤的其中一种实现方式，具体包括：
S305.以融合信息作为输入，融合信息属于各分类标签的概率作为输出，构建分类模型；
在S305中，分类模型以融合信息作为输入，并根据融合信息进行分类，输出融合信息属于各分类标签的概率。在一些实施例中，分类模型可以根据S304中得到融合信息图，判断人面图像是真人还是假人。
所述利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型，具体包括：
S306.利用分类样本，对预测模型、第一模型和分类模型进行联合训练，得到闪光活体检测模型。
在S306中，利用分类样本对上述搭建的预测模型、第一模型和分类模型进行联合训练，以得到闪光活体检测模型，其中，闪光活体检测模型可以包括训练完成后的预测模型、第一模型和分类模型。在一些实施例中，预测模型可以采用上述实施例中S201-S202所示的训练方法，第一模型和分类模型可以采用一般的模型训练方法，例如先随机设置模型的参数，然后自动训练出来，本申请对此不作限制。
在本实施例中，考虑到预测模型的输入数据中可能包含多帧人脸的色彩变化信息，预测模型输出多帧的人脸深度信息图时，这些深度信息图带有噪声。通过构建第一模型，使用注意力机制，将注意力集中在深度信息图中没有噪声的部分，得到多帧注意力信息图，再将多帧注意力信息图与多帧深度信息图进行融合得到一张融合信息图，再利用融合信息图来完成最后的分类，以提升模型的分类效果。
在具体的实施例中，利用分类样本，对预测模型、第一模型和分类模型进行联合训练，得到的闪光活体检测模型，其具体的网络结构示意图，可参考图2。
设对采集的图像进行分类处理后，进一步处理得到了多帧的Normal Cues，记作N1,N2,…,Ni；
预测模型的形式化表示如下：
式中，Sgen表示共享特征提取模块，Pembd表示位置向量(用来标记图片中的绝对位置信息)，表示第j个专家网络，Sgate表示门控网络(输出的是每个专家网络的融合权重)，Ni表示预测模型的第i个分类样本输入数据，/>表示预测模型第i个输出数据，即深度信息图。
需要说明的是，训练过程中可以用到一些辅助标签，例如，预先使用工具(如PRNet网络)生成真人的深度图，以指导的学习；假人的深度图使用一个纯灰色的图表示就行；当输入攻击样本时，需要用攻击样本的分类信息作为标签，去指导Sgate的学习。
根据分类样本，得到分类样本的注意力信息，可参考如下：
式中，Satten表示提取注意力图所需要的特征，uatten用来生成多帧的注意力图，Ni表示第一模型的第i个分类样本输入数据，对所有注意力图做归一化得到表示归一化后的注意力图。
分类模型的形式化表示如下：
式中，c表示分类模型，Pred表示分类模型的输出结果。
其中，不同模型的具体的网络结构图，可以参考图3。
如图4所示，在本申请的其他实施例中，还提供一种闪光活体检测方法，包括：
S401.获取待测人脸图像数据；
在S401中，具体地，借助手机屏幕的闪光，利用手机拍照的方式来采集多帧的人脸照片，作为待测人脸图像数据。待测人脸图像数据也可以通过其他合理方式直接获取，本申请对此不作限制。
S402.对待测人脸图像数据进行处理，得到输入数据；
在S402中，具体地，可以计算待测人脸图像数据的颜色变化信息，得到输入数据，其中，颜色变化信息包括Normal Cues。
S403.将输入数据输入闪光活体检测模型，得到检测结果，其中，闪光活体检测模型是采用上述任一项所述闪光活体检测模型的构建方法得到的。
在S403中，闪光活体检测模型可以包括训练完成后的预测模型和分类模型，具体地，将输入数据输入预测模型，得到输入数据的预测深度信息；然后再将预测深度信息输入分类模型，得到预测深度信息属于各分类标签的概率，作为检测结果；在另一些实施例中，闪光活体检测模型可以包括训练完成后的预测模型、第一模型和分类模型，具体地，将输入数据输入预测模型，得到输入数据的预测深度信息；将输入数据输入第一模型，得到输入数据的注意力信息；将输入数据的注意力信息和预测深度信息进行融合，得到的融合信息；最后将融合信息输入分类模型，得到融合信息属于各分类标签的概率，作为检测结果。
在本实施例中，闪光活体检测模型采用上述任一项所述闪光活体检测模型的构建方法得到的，本实施例能够提高闪光活体检测的检测精度。
如图5所示，在本申请的另一实施例中，还提供一种闪光活体检测模型的构建***，包括：
第一获取单元10，用于获取人脸图像样本；
处理单元11，用于对人脸图像样本进行处理，得到训练样本；
分类单元12，用于根据训练样本的类别，对训练样本进行分类，得到分类样本，其中，分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；
第一构建单元13，用于以分类样本作为输入，分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；
第二构建单元14，用于以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型；
训练单元15，用于利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型；
其中，分类标签包括属于攻击人脸样本的多个分类标签，以及属于真实人脸样本的1个分类标签。
在上述实施例的基础上，所述闪光活体检测模型的构建***中，预测模型包括多个专家网络和1个门控网络，
训练单元15，还用于根据分类样本中攻击人脸样本的分类标签，将不同类型的攻击人脸样本分配给对应的一个专家网络，并使用攻击人脸样本的分类标签，训练门控网络的权重；
训练单元15，还用于将分类样本中真实人脸样本分配给每一个专家网络，并使用自适应的方式，训练门控网络的权重。
在上述实施例的基础上，所述闪光活体检测模型的构建***中，还包括：
第三构建单元，用于以分类样本作为输入，分类样本的注意力信息作为输出，构建基于注意力机制的第一模型；
第二获取单元，用于获取将分类样本输入预测模型后输出的多个预测深度信息和将分类样本输入第一模型后输出的多个注意力信息；
融合单元，用于将多个预测深度信息和多个注意力信息进行融合，得到融合信息；
其中，第二构建单元14，在执行以预测模型输出的预测深度信息作为输入，预测深度信息属于各分类标签的概率作为输出，构建分类模型时，具体用于：
以融合信息作为输入，融合信息属于各分类标签的概率作为输出，构建分类模型；
训练单元15，在执行利用分类样本，对预测模型和分类模型进行联合训练，得到闪光活体检测模型时，具体用于：
利用分类样本，对预测模型、第一模型和分类模型进行联合训练，得到闪光活体检测模型。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种闪光活体检测模型的构建方法，其特征在于，包括：
获取人脸图像样本；
对所述人脸图像样本进行处理，得到训练样本；
根据所述训练样本的类别，对所述训练样本进行分类，得到分类样本，其中，所述分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；
以所述分类样本作为输入，所述分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；
以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型；
利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型；
其中，所述分类标签包括属于所述攻击人脸样本的多个分类标签，以及属于所述真实人脸样本的1个分类标签；
所述对所述人脸图像样本进行处理，得到训练样本，包括：计算所述人脸图像样本的颜色变化信息，得到训练样本，其中，颜色变化信息包括Normal Cues；
所述预测模型包括多个专家网络和1个门控网络；
所述预测模型的形式化表示如下：
式中，Sgen表示共享特征提取模块，Pembd表示位置向量，用来标记图片中的绝对位置信息，表示第j个专家网络，Sgate表示门控网络，输出的是每个专家网络的融合权重，Ni表示预测模型的第i个分类样本输入数据，Depthregi表示预测模型第i个输出数据。
2.如权利要求1所述的方法，其特征在于，所述联合训练时，利用所述分类样本，对所述预测模型进行训练，包括：
根据所述分类样本中所述攻击人脸样本的分类标签，将不同类型的所述攻击人脸样本分配给对应的一个所述专家网络，并使用所述攻击人脸样本的分类标签，训练所述门控网络的权重；
将所述分类样本中的所述真实人脸样本分配给每一个所述专家网络，并使用自适应的方式，训练所述门控网络的权重。
3.如权利要求1所述的方法，其特征在于，还包括：
以所述分类样本作为输入，所述分类样本的注意力信息作为输出，构建基于注意力机制的第一模型。
4.如权利要求3所述的方法，其特征在于，还包括：
获取将所述分类样本输入所述预测模型后输出的多个预测深度信息和将所述分类样本输入所述第一模型后输出的多个注意力信息；
将多个所述预测深度信息和多个所述注意力信息进行融合，得到融合信息。
5.如权利要求4所述的方法，其特征在于，所述以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型，包括：
以所述融合信息作为输入，所述融合信息属于各所述分类标签的概率作为输出，构建分类模型。
6.如权利要求5所述的方法，其特征在于，所述利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型，具体包括：
利用所述分类样本，对所述预测模型、所述第一模型和所述分类模型进行联合训练，得到闪光活体检测模型。
7.一种闪光活体检测方法，其特征在于，包括：
获取待测人脸图像数据；
对所述待测人脸图像数据进行处理，得到输入数据；
将所述输入数据输入闪光活体检测模型，得到检测结果；
其中，所述闪光活体检测模型是采用如权利要求1-6中任一项所述方法得到的。
8.一种闪光活体检测模型的构建***，其特征在于，包括：
第一获取单元，用于获取人脸图像样本；
处理单元，用于对所述人脸图像样本进行处理，得到训练样本；
分类单元，用于根据所述训练样本的类别，对所述训练样本进行分类，得到分类样本，其中，所述分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本；
第一构建单元，用于以所述分类样本作为输入，所述分类样本的预测深度信息作为输出，构建基于混合专家网络的预测模型；
第二构建单元，用于以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型；
训练单元，用于利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型；
其中，所述分类标签包括属于所述攻击人脸样本的多个分类标签，以及属于所述真实人脸样本的1个分类标签；
所述处理单元，在执行所述对所述人脸图像样本进行处理，得到训练样本时，具体用于：计算所述人脸图像样本的颜色变化信息，得到训练样本，其中，颜色变化信息包括Normal Cues；
所述预测模型包括多个专家网络和1个门控网络；
所述预测模型的形式化表示如下：
式中，Sgen表示共享特征提取模块，Pembd表示位置向量，用来标记图片中的绝对位置信息，表示第j个专家网络，Sgate表示门控网络，输出的是每个专家网络的融合权重，Ni表示预测模型的第i个分类样本输入数据，Depthregi表示预测模型第i个输出数据。
9.如权利要求8所述的***，其特征在于，
所述训练单元，还用于根据所述分类样本中所述攻击人脸样本的分类标签，将不同类型的所述攻击人脸样本分配给对应的一个所述专家网络，并使用所述攻击人脸样本的分类标签，训练所述门控网络的权重；
所述训练单元，还用于将所述分类样本中的所述真实人脸样本分配给每一个所述专家网络，并使用自适应的方式，训练所述门控网络的权重。
10.如权利要求8所述的***，其特征在于，还包括：
第三构建单元，用于以所述分类样本作为输入，所述分类样本的注意力信息作为输出，构建基于注意力机制的第一模型；
第二获取单元，用于获取将所述分类样本输入所述预测模型后输出的多个预测深度信息和将所述分类样本输入所述第一模型后输出的多个注意力信息；
融合单元，用于将多个所述预测深度信息和多个所述注意力信息进行融合，得到融合信息；
其中，所述第二构建单元，在执行以所述预测模型输出的预测深度信息作为输入，所述预测深度信息属于各所述分类标签的概率作为输出，构建分类模型时，具体用于：
以所述融合信息作为输入，所述融合信息属于各所述分类标签的概率作为输出，构建分类模型；
所述训练单元，在执行利用所述分类样本，对所述预测模型和所述分类模型进行联合训练，得到闪光活体检测模型时，具体用于：
利用所述分类样本，对所述预测模型、所述第一模型和所述分类模型进行联合训练，得到闪光活体检测模型。
CN202310940768.6A 2023-07-28 2023-07-28 一种闪光活体检测模型的构建方法、***和检测方法 Active CN116798132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310940768.6A CN116798132B (zh) 2023-07-28 2023-07-28 一种闪光活体检测模型的构建方法、***和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310940768.6A CN116798132B (zh) 2023-07-28 2023-07-28 一种闪光活体检测模型的构建方法、***和检测方法

Publications (2)

Publication Number Publication Date
CN116798132A CN116798132A (zh) 2023-09-22
CN116798132B true CN116798132B (zh) 2024-02-27

Family

ID=88043945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310940768.6A Active CN116798132B (zh) 2023-07-28 2023-07-28 一种闪光活体检测模型的构建方法、***和检测方法

Country Status (1)

Country Link
CN (1) CN116798132B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569808A (zh) * 2019-09-11 2019-12-13 腾讯科技（深圳）有限公司 活体检测方法、装置及计算机设备
CN114333011A (zh) * 2021-12-28 2022-04-12 北京的卢深视科技有限公司 网络训练、人脸识别方法、电子设备及存储介质
CN114842267A (zh) * 2022-05-23 2022-08-02 南京邮电大学 基于标签噪声域自适应的图像分类方法及***
CN115063866A (zh) * 2022-06-30 2022-09-16 南京邮电大学 一种融合强化学习与递进学习的表情识别方法
CN115240280A (zh) * 2022-03-29 2022-10-25 浙大城市学院 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN115880740A (zh) * 2021-09-27 2023-03-31 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、计算机设备和存储介质
CN115937993A (zh) * 2022-12-14 2023-04-07 北京百度网讯科技有限公司 活体检测模型训练方法、活体检测方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291755B (zh) * 2020-02-13 2022-11-15 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569808A (zh) * 2019-09-11 2019-12-13 腾讯科技（深圳）有限公司 活体检测方法、装置及计算机设备
CN115880740A (zh) * 2021-09-27 2023-03-31 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、计算机设备和存储介质
CN114333011A (zh) * 2021-12-28 2022-04-12 北京的卢深视科技有限公司 网络训练、人脸识别方法、电子设备及存储介质
CN115240280A (zh) * 2022-03-29 2022-10-25 浙大城市学院 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN114842267A (zh) * 2022-05-23 2022-08-02 南京邮电大学 基于标签噪声域自适应的图像分类方法及***
CN115063866A (zh) * 2022-06-30 2022-09-16 南京邮电大学 一种融合强化学习与递进学习的表情识别方法
CN115937993A (zh) * 2022-12-14 2023-04-07 北京百度网讯科技有限公司 活体检测模型训练方法、活体检测方法、装置和电子设备

Also Published As

Publication number Publication date
CN116798132A (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN109670437B (zh) 年龄预估模型训练方法、面部图像识别方法及装置
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN110569864A (zh) 基于gan网络的车损图像生成方法和装置
CN111428448B (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN111563422A (zh) 基于双模态情绪识别网络的服务评价获取方法及其装置
CN116861014B (zh) 一种基于预训练语言模型的图像信息抽取方法及装置
EP3647993A1 (en) Interactive user verification
CN111415336B (zh) 一种图像篡改识别方法、装置、服务器及存储介质
WO2020190480A1 (en) Classifying an input data set within a data category using multiple data recognition tools
CN111199541A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN113255516A (zh) 活体检测方法、装置和电子设备
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN110472655B (zh) 一种用于跨境旅游的标志物机器学习识别***及方法
CN116798132B (zh) 一种闪光活体检测模型的构建方法、***和检测方法
CN113240050A (zh) 一种特征融合权重可调的金属打印熔池检测方法
CN113128522A (zh) 目标识别方法、装置、计算机设备和存储介质
CN116824333A (zh) 一种基于深度学习模型的鼻咽癌检测***
KR102525491B1 (ko) 구조물 손상검출 보고서 제공 방법
CN116468113A (zh) 活体检测模型的训练方法、活体检测方法和***
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN113837255B (zh) 预测以细胞为基质的抗体核型类别的方法、设备和介质
CN110688878A (zh) 活体识别检测方法、装置、介质及电子设备
CN115171224A (zh) 一种检测模型的获取方法、活性检测方法和相关装置
US20230289957A1 (en) Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same
CN112784781A (zh) 基于差异感知元学习的伪造人脸检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000

Applicant after: Wisdom Eye Technology Co.,Ltd.

Address before: Building 14, Phase I, Changsha Zhongdian Software Park, No. 39 Jianshan Road, Changsha High tech Development Zone, Changsha City, Hunan Province, 410205

Applicant before: Wisdom Eye Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant