发明内容
为解决上述技术问题,本申请提供一种闪光活体检测模型的构建方法,能够提高闪光活体检测的检测精度。本申请还提供一种闪光活体检测模型的构建***,以及一种闪光活体检测方法,具有相同的技术效果。
本申请的第一个目的为提供一种闪光活体检测模型的构建方法。
本申请的上述申请目的一是通过以下技术方案得以实现的:
一种闪光活体检测模型的构建方法,包括:
获取人脸图像样本;
对所述人脸图像样本进行处理,得到训练样本;
根据所述训练样本的类别,对所述训练样本进行分类,得到分类样本,其中,所述分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本;
以所述分类样本作为输入,所述分类样本的预测深度信息作为输出,构建基于混合专家网络的预测模型;
以所述预测模型输出的预测深度信息作为输入,所述预测深度信息属于各所述分类标签的概率作为输出,构建分类模型;
利用所述分类样本,对所述预测模型和所述分类模型进行联合训练,得到闪光活体检测模型;
其中,所述分类标签包括属于所述攻击人脸样本的多个分类标签,以及属于所述真实人脸样本的1个分类标签。
优选地,所述闪光活体检测模型的构建方法中,所述预测模型包括多个专家网络和1个门控网络,所述联合训练时,利用所述分类样本,对所述预测模型进行训练,包括:
根据所述分类样本中所述攻击人脸样本的分类标签,将不同类型的所述攻击人脸样本分配给对应的一个所述专家网络,并使用所述攻击人脸样本的分类标签,训练所述门控网络的权重;
将所述分类样本中的所述真实人脸样本分配给每一个所述专家网络,并使用自适应的方式,训练所述门控网络的权重。
优选地,所述闪光活体检测模型的构建方法中,还包括:
以所述分类样本作为输入,所述分类样本的注意力信息作为输出,构建基于注意力机制的第一模型。
优选地,所述闪光活体检测模型的构建方法中,还包括:
获取将所述分类样本输入所述预测模型后输出的多个预测深度信息和将所述分类样本输入所述第一模型后输出的多个注意力信息;
将多个所述预测深度信息和多个所述注意力信息进行融合,得到融合信息。
优选地,所述闪光活体检测模型的构建方法中,所述以所述预测模型输出的预测深度信息作为输入,所述预测深度信息属于各所述分类标签的概率作为输出,构建分类模型,包括:
以所述融合信息作为输入,所述融合信息属于各所述分类标签的概率作为输出,构建分类模型。
优选地,所述闪光活体检测模型的构建方法中,所述利用所述分类样本,对所述预测模型和所述分类模型进行联合训练,得到闪光活体检测模型,具体包括:
利用所述分类样本,对所述预测模型、所述第一模型和所述分类模型进行联合训练,得到闪光活体检测模型。
本申请的第二个目的为提供一种闪光活体检测方法。
本申请的上述申请目的二是通过以下技术方案得以实现的:
一种闪光活体检测方法,包括:
获取待测人脸图像数据;
对所述待测人脸图像数据进行处理,得到输入数据;
将所述输入数据输入闪光活体检测模型,得到检测结果;
其中,所述闪光活体检测模型是采用上述任一项所述闪光活体检测模型的构建方法得到的。
本申请的第三个目的为提供一种闪光活体检测模型的构建***。
本申请的上述申请目的二是通过以下技术方案得以实现的:
一种闪光活体检测模型的构建***,包括:
第一获取单元,用于获取人脸图像样本;
处理单元,用于对所述人脸图像样本进行处理,得到训练样本;
分类单元,用于根据所述训练样本的类别,对所述训练样本进行分类,得到分类样本,其中,所述分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本;
第一构建单元,用于以所述分类样本作为输入,所述分类样本的预测深度信息作为输出,构建基于混合专家网络的预测模型;
第二构建单元,用于以所述预测模型输出的预测深度信息作为输入,所述预测深度信息属于各所述分类标签的概率作为输出,构建分类模型;
训练单元,用于利用所述分类样本,对所述预测模型和所述分类模型进行联合训练,得到闪光活体检测模型;
其中,所述分类标签包括属于所述攻击人脸样本的多个分类标签,以及属于所述真实人脸样本的1个分类标签。
优选地,所述闪光活体检测模型的构建***中,所述预测模型包括多个专家网络和1个门控网络,
所述训练单元,还用于根据所述分类样本中所述攻击人脸样本的分类标签,将不同类型的所述攻击人脸样本分配给对应的一个所述专家网络,并使用所述攻击人脸样本的分类标签,训练所述门控网络的权重;
所述训练单元,还用于将所述分类样本中的所述真实人脸样本分配给每一个所述专家网络,并使用自适应的方式,训练所述门控网络的权重。
优选地,所述闪光活体检测模型的构建***中,还包括:
第三构建单元,用于以所述分类样本作为输入,所述分类样本的注意力信息作为输出,构建基于注意力机制的第一模型;
第二获取单元,用于获取将所述分类样本输入所述预测模型后输出的多个预测深度信息和将所述分类样本输入所述第一模型后输出的多个注意力信息;
融合单元,用于将多个所述预测深度信息和多个所述注意力信息进行融合,得到融合信息;
其中,所述第二构建单元,在执行以所述预测模型输出的预测深度信息作为输入,所述预测深度信息属于各所述分类标签的概率作为输出,构建分类模型时,具体用于:
以所述融合信息作为输入,所述融合信息属于各所述分类标签的概率作为输出,构建分类模型;
所述训练单元,在执行利用所述分类样本,对所述预测模型和所述分类模型进行联合训练,得到闪光活体检测模型时,具体用于:
利用所述分类样本,对所述预测模型、所述第一模型和所述分类模型进行联合训练,得到闪光活体检测模型。
上述技术方案,通过获取人脸图像样本;对人脸图像样本进行处理,得到训练样本;根据训练样本的类别,对训练样本进行分类,得到分类样本,其中,分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本;以分类样本作为输入,分类样本的预测深度信息作为输出,构建基于混合专家网络的预测模型;以预测模型输出的预测深度信息作为输入,预测深度信息属于各分类标签的概率作为输出,构建分类模型;利用分类样本,对预测模型和分类模型进行联合训练,得到闪光活体检测模型。上述技术方案,预测模型基于混合专家网络构建,可以利用混合专家网络来解决数据分布之间的固有冲突,利用分类样本对预测模型和分类模型进行联合训练,得到闪光活体检测模型,可以减少数据分布之间的固有冲突对闪光活体检测模型的预测效果的损害,以此提高模型的检测精度。综上所述,上述技术方案能够提高闪光活体检测的检测精度。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案,下面将对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请所提供的实施例中,应该理解到,所揭露的方法和***,可以通过其它的方式实现。以下所描述的***实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个模块或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或模块的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理器中,也可以是各单元分别单独作为一个器件,也可以两个或两个以上单元集成在一个器件中;本申请各实施例中的各功能单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现下述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成,前述的程序指令可以存储于计算机可读取存储介质中,该程序指令在执行时,执行包括下述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
应当理解,本申请中如若使用了“***”、“装置”、“单元”和/或“模块”,仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中,“多个”、“若干个”的含义是两个或两个以上,除非另有明确具体的限定。
本申请中如若使用了流程图,则该流程图是用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
还需要说明的是,在本文中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。
本申请实施例采用递进的方式撰写。
如图1所示,本申请实施例提供一种闪光活体检测模型的构建方法,包括:
S101.获取人脸图像样本;
在S101中,具体地,借助手机屏幕的闪光,利用手机拍照的方式来采集多帧的人脸照片,作为人脸图像样本。在一些实施例中,可以在不同年龄、不同环境、不同攻击方式、不同手机设备的条件下,采集大量的人脸图像样本,以保证模型的训练效果。人脸图像样本也可以通过其他合理方式直接获取,本申请对此不作限制。
S102.对人脸图像样本进行处理,得到训练样本;
在S102中,本步骤的其中一种实现方式包括:计算人脸图像样本的颜色变化信息,得到训练样本,其中,颜色变化信息包括Normal Cues。具体地,由手机摄像头对被照射的人脸进行图像采集,可以得到一个人脸反光图像序列(Encoded Sequence Frames),根据朗伯(Lambertian)反射模型对采集到的人脸反光图像序列计算得到对应的Normal Cues。基于Normal Cues可以获取人脸深度图。
S103.根据训练样本的类别,对训练样本进行分类,得到分类样本,其中,分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本;
在S103中,对分类标签的定义:按训练样本所属攻击人脸样本、真实人脸样本定义出两个分类标签,并在攻击人脸样本类别下细化的定义出多个分类标签,即,分类标签可以包括属于攻击人脸样本的多个分类标签,以及属于真实人脸样本的1个分类标签。其中,属于攻击人脸样本的分类标签可以按一个或者多个分类维度进行划分,例如,按照攻击类别划分,攻击人脸样本的分类标签可以包括电子屏攻击标签、印刷品攻击标签等。在一些实施例中,分类样本中各分类标签对应的样本数量应保持一致。
S104.以分类样本作为输入,分类样本的预测深度信息作为输出,构建基于混合专家网络的预测模型;
在S104中,构建基于混合专家网络的预测模型,预测模型以分类样本作为输入,并根据分类样本进行预测,输出分类样本的预测深度信息。在一些实施例中,预测模型可以用来预测人面部的深度信息,通过后续训练来迫使预测模型理解输入数据中所包含的脸型和五官等信息,对于假人来说是没有深度信息的(比如一张2D的纸上打印的人),这时候应该预测一个平面。预测深度信息可以是深度信息图。
其中,混合专家网络最早用在推荐算法中,谷歌2018年发表了论文《ModelingTask Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》,文章使用了多门控机制的混合专家网络用来实现多任务的训练。多任务其实就是一个模型同时做出多种预测。多门控机制的混合专家网络先将输入数据输入给n个专家网络得到n个特征向量,再将输入数据输入给一个门控网络输出n个专家网络的权重值,将n个专家网络的权重值,乘到n个专家网络输出的特征向量上,然后加起来就得到一个特征向量。需要注意的是,门控网络输出的n个权重值一般是自适应的,在训练数据中没有标签去指导它的学习。它就像“门”一样,控制着对应的专家网络的特性向量的融合比例,所以叫门控网络。传统的传统的闪光活体模型只使用一个网络,而在本步骤中,预测模型基于混合专家网络构建,因此可以利用多专家网络来解决数据分布之间的固有冲突。
S105.以预测模型输出的预测深度信息作为输入,预测深度信息属于各分类标签的概率作为输出,构建分类模型;
在S105中,分类模型以预测模型输出的预测深度信息作为输入,并根据预测深度信息进行分类,输出预测深度信息属于各分类标签的概率。在一些实施例中,分类模型可以根据预测模型预测得到的深度信息图,判断人面图像是真人还是假人。在另一些实施例中,可以构建常规的深度学习网络作为分类模型,其还可以合理采用其他类型的网络,本申请对比不作限制。
S106.利用分类样本,对预测模型和分类模型进行联合训练,得到闪光活体检测模型。
在S106中,利用分类样本对上述搭建的预测模型和分类模型进行联合训练,以得到闪光活体检测模型,其中,闪光活体检测模型可以包括训练完成后的预测模型和分类模型。在一些实施例中,预测模型基于混合专家网络构建,可以将分类样本中不同分类标签的样本,分配给不同的专家网络,每个专家专注于处理特定分类标签的数据,并使用自适应的方式,训练门控网络的权重。其还可以采用其他合理的训练方式,本申请不限于此。在一些实施例中,分类模型可以采用一般的模型训练方法,例如先随机设置模型的参数,然后自动训练出来,本申请对此不作限制。
上述实施例,通过获取人脸图像样本;对人脸图像样本进行处理,得到训练样本;根据训练样本的类别,对训练样本进行分类,得到分类样本,其中,分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本;以分类样本作为输入,分类样本的预测深度信息作为输出,构建基于混合专家网络的预测模型;以预测模型输出的预测深度信息作为输入,预测深度信息属于各分类标签的概率作为输出,构建分类模型;利用分类样本,对预测模型和分类模型进行联合训练,得到闪光活体检测模型。上述实施例,预测模型基于混合专家网络构建,可以利用混合专家网络来解决数据分布之间的固有冲突,利用分类样本对预测模型和分类模型进行联合训练,得到闪光活体检测模型,可以减少数据分布之间的固有冲突对闪光活体检测模型的预测效果的损害,以此提高模型的检测精度。综上所述,上述实施例能够提高闪光活体检测的检测精度。
在本申请的其他实施例中,预测模型包括多个专家网络和1个门控网络,所述联合训练时,利用分类样本,对预测模型进行训练,包括:
S201.根据分类样本中攻击人脸样本的分类标签,将不同类型的攻击人脸样本分配给对应的一个专家网络,并使用攻击人脸样本的分类标签,训练门控网络的权重;
S202.将分类样本中的真实人脸样本分配给每一个专家网络,并使用自适应的方式,训练门控网络的权重。
在本实施例中,基于攻击人脸样本的分类标签,将不同类型的攻击人脸样本分配给对应的一个专家网络,让不同的专家网络处理不同类型的攻击人脸样本数据,使得每个专家网络专注于处理自己擅长的数据;然后用门控网络融合多个专家网络的输出结果。门控网络的学习一般是自适应的,而在本实施例中,将分类样本中的真实人脸样本分配给每一个专家网络,门控网络在学习真实人脸样本时,选择自适应的方式,而在学习攻击人脸样本时,用攻击人脸样本的分类标签来引导门控网络的输出,这是非自适应的(例如,对于处理攻击人脸样本的专家网络,门控网络输出对应的预设权重值),以此可以提升模型预测效果。
在本申请的其他实施例中,所述闪光活体检测模型的构建方法中,还包括:
S301.以分类样本作为输入,分类样本的注意力信息作为输出,构建基于注意力机制的第一模型;
在S301中,第一模型以分类样本作为输入,可以基于注意力机制,根据分类样本,得到分类样本的注意力信息。在一些实施例中,注意力信息可以是注意力图,第一模型,使用注意力机制,根据提取注意力图所需要的特征,将注意力集中在没有噪声的部分,生成多帧的注意力图。在另一些实施例中,可以构建常规的深度学习网络作为第一模型,其还可以合理采用其他类型的网络,本申请对比不作限制。
S302.获取将分类样本输入预测模型后输出的多个预测深度信息和将分类样本输入第一模型后输出的多个注意力信息;
在S302中,具体地,可以获取分类样本经预测模型预测得到的多帧深度信息图和分类样本经第一模型处理得到的多帧注意力图,具体获取的数量可以根据实际应用需求确认,例如,可以获取6帧的深度信息图和6帧的注意力图。
S304.将多个所述预测深度信息和多个所述注意力信息进行融合,得到融合信息;
在S304中,具体地,可以使用多帧的注意力图去加权融合多帧的深度信息图,得到一张融合信息图,这样就可以减少每张图上的噪声。其中,融合信息图可作为后续分类模型的输入。在一些实施例中,还可以对所有注意力图做归一化后,再与深度信息图进行融合,以此可以加快模型的训练速度,提高模型精度。
所述以预测模型输出的预测深度信息作为输入,预测深度信息属于各分类标签的概率作为输出,构建分类模型的步骤的其中一种实现方式,具体包括:
S305.以融合信息作为输入,融合信息属于各分类标签的概率作为输出,构建分类模型;
在S305中,分类模型以融合信息作为输入,并根据融合信息进行分类,输出融合信息属于各分类标签的概率。在一些实施例中,分类模型可以根据S304中得到融合信息图,判断人面图像是真人还是假人。
所述利用分类样本,对预测模型和分类模型进行联合训练,得到闪光活体检测模型,具体包括:
S306.利用分类样本,对预测模型、第一模型和分类模型进行联合训练,得到闪光活体检测模型。
在S306中,利用分类样本对上述搭建的预测模型、第一模型和分类模型进行联合训练,以得到闪光活体检测模型,其中,闪光活体检测模型可以包括训练完成后的预测模型、第一模型和分类模型。在一些实施例中,预测模型可以采用上述实施例中S201-S202所示的训练方法,第一模型和分类模型可以采用一般的模型训练方法,例如先随机设置模型的参数,然后自动训练出来,本申请对此不作限制。
在本实施例中,考虑到预测模型的输入数据中可能包含多帧人脸的色彩变化信息,预测模型输出多帧的人脸深度信息图时,这些深度信息图带有噪声。通过构建第一模型,使用注意力机制,将注意力集中在深度信息图中没有噪声的部分,得到多帧注意力信息图,再将多帧注意力信息图与多帧深度信息图进行融合得到一张融合信息图,再利用融合信息图来完成最后的分类,以提升模型的分类效果。
在具体的实施例中,利用分类样本,对预测模型、第一模型和分类模型进行联合训练,得到的闪光活体检测模型,其具体的网络结构示意图,可参考图2。
设对采集的图像进行分类处理后,进一步处理得到了多帧的Normal Cues,记作N1,N2,…,Ni;
预测模型的形式化表示如下:
式中,Sgen表示共享特征提取模块,Pembd表示位置向量(用来标记图片中的绝对位置信息),表示第j个专家网络,Sgate表示门控网络(输出的是每个专家网络的融合权重),Ni表示预测模型的第i个分类样本输入数据,/>表示预测模型第i个输出数据,即深度信息图。
需要说明的是,训练过程中可以用到一些辅助标签,例如,预先使用工具(如PRNet网络)生成真人的深度图,以指导的学习;假人的深度图使用一个纯灰色的图表示就行;当输入攻击样本时,需要用攻击样本的分类信息作为标签,去指导Sgate的学习。
根据分类样本,得到分类样本的注意力信息,可参考如下:
式中,Satten表示提取注意力图所需要的特征,uatten用来生成多帧的注意力图,Ni表示第一模型的第i个分类样本输入数据,对所有注意力图做归一化得到表示归一化后的注意力图。
分类模型的形式化表示如下:
式中,c表示分类模型,Pred表示分类模型的输出结果。
其中,不同模型的具体的网络结构图,可以参考图3。
如图4所示,在本申请的其他实施例中,还提供一种闪光活体检测方法,包括:
S401.获取待测人脸图像数据;
在S401中,具体地,借助手机屏幕的闪光,利用手机拍照的方式来采集多帧的人脸照片,作为待测人脸图像数据。待测人脸图像数据也可以通过其他合理方式直接获取,本申请对此不作限制。
S402.对待测人脸图像数据进行处理,得到输入数据;
在S402中,具体地,可以计算待测人脸图像数据的颜色变化信息,得到输入数据,其中,颜色变化信息包括Normal Cues。
S403.将输入数据输入闪光活体检测模型,得到检测结果,其中,闪光活体检测模型是采用上述任一项所述闪光活体检测模型的构建方法得到的。
在S403中,闪光活体检测模型可以包括训练完成后的预测模型和分类模型,具体地,将输入数据输入预测模型,得到输入数据的预测深度信息;然后再将预测深度信息输入分类模型,得到预测深度信息属于各分类标签的概率,作为检测结果;在另一些实施例中,闪光活体检测模型可以包括训练完成后的预测模型、第一模型和分类模型,具体地,将输入数据输入预测模型,得到输入数据的预测深度信息;将输入数据输入第一模型,得到输入数据的注意力信息;将输入数据的注意力信息和预测深度信息进行融合,得到的融合信息;最后将融合信息输入分类模型,得到融合信息属于各分类标签的概率,作为检测结果。
在本实施例中,闪光活体检测模型采用上述任一项所述闪光活体检测模型的构建方法得到的,本实施例能够提高闪光活体检测的检测精度。
如图5所示,在本申请的另一实施例中,还提供一种闪光活体检测模型的构建***,包括:
第一获取单元10,用于获取人脸图像样本;
处理单元11,用于对人脸图像样本进行处理,得到训练样本;
分类单元12,用于根据训练样本的类别,对训练样本进行分类,得到分类样本,其中,分类样本包括携带有分类标签的攻击人脸样本和真实人脸样本;
第一构建单元13,用于以分类样本作为输入,分类样本的预测深度信息作为输出,构建基于混合专家网络的预测模型;
第二构建单元14,用于以预测模型输出的预测深度信息作为输入,预测深度信息属于各分类标签的概率作为输出,构建分类模型;
训练单元15,用于利用分类样本,对预测模型和分类模型进行联合训练,得到闪光活体检测模型;
其中,分类标签包括属于攻击人脸样本的多个分类标签,以及属于真实人脸样本的1个分类标签。
在上述实施例的基础上,所述闪光活体检测模型的构建***中,预测模型包括多个专家网络和1个门控网络,
训练单元15,还用于根据分类样本中攻击人脸样本的分类标签,将不同类型的攻击人脸样本分配给对应的一个专家网络,并使用攻击人脸样本的分类标签,训练门控网络的权重;
训练单元15,还用于将分类样本中真实人脸样本分配给每一个专家网络,并使用自适应的方式,训练门控网络的权重。
在上述实施例的基础上,所述闪光活体检测模型的构建***中,还包括:
第三构建单元,用于以分类样本作为输入,分类样本的注意力信息作为输出,构建基于注意力机制的第一模型;
第二获取单元,用于获取将分类样本输入预测模型后输出的多个预测深度信息和将分类样本输入第一模型后输出的多个注意力信息;
融合单元,用于将多个预测深度信息和多个注意力信息进行融合,得到融合信息;
其中,第二构建单元14,在执行以预测模型输出的预测深度信息作为输入,预测深度信息属于各分类标签的概率作为输出,构建分类模型时,具体用于:
以融合信息作为输入,融合信息属于各分类标签的概率作为输出,构建分类模型;
训练单元15,在执行利用分类样本,对预测模型和分类模型进行联合训练,得到闪光活体检测模型时,具体用于:
利用分类样本,对预测模型、第一模型和分类模型进行联合训练,得到闪光活体检测模型。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。