CN114463799A - 一种活体检测方法、装置及计算机可读存储介质 - Google Patents

一种活体检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114463799A
CN114463799A CN202011187186.8A CN202011187186A CN114463799A CN 114463799 A CN114463799 A CN 114463799A CN 202011187186 A CN202011187186 A CN 202011187186A CN 114463799 A CN114463799 A CN 114463799A
Authority
CN
China
Prior art keywords
image
living body
network model
convolutional
verified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011187186.8A
Other languages
English (en)
Inventor
贾千文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011187186.8A priority Critical patent/CN114463799A/zh
Publication of CN114463799A publication Critical patent/CN114463799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种活体检测方法、装置及计算机可读存储介质,涉及计算机处理技术领域,以解决现有静默活体检测方式准确率较低问题。该方法包括:采集包括人脸图像的待验证图像;将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;输出活体检测结果。这样,由于采用的多层次深度卷积网络模型不仅考虑了待验证图像的全局图像特征,而且能够提取不同层次的图像特征,从而可保证所述多层次深度卷积网络模型能够依据提取到的表征性更强的图像特征,有效区分真实活体图像与攻击图像的差别,进而提高静默活体检测的准确率。

Description

一种活体检测方法、装置及计算机可读存储介质
技术领域
本发明涉及计算机处理技术领域,尤其涉及一种活体检测方法、装置及计算机可读存储介质。
背景技术
目前,人脸活体检测技术广泛应用于门禁、考勤、安防、银行等身份验证场景中,用于判断当前用户是否为活体用户,从而对照片攻击、屏幕攻击、面具攻击等欺骗性行为进行拦截。
现有技术中,人脸活体检测技术主要包括配合式活体检测和静默活体检测两类,其中,静默活体检测不需要用户做任何配合动作,只需自然面对镜头即可,但是现有静默活体检测技术识别准确率较低,易被采用高清照片、屏幕照片或者视频、面具等欺骗性攻击行为破解。
可见,现有静默活体检测方式存在准确率较低的问题。
发明内容
本发明实施例提供一种活体检测方法、装置及计算机可读存储介质,以解决现有静默活体检测方式准确率较低的问题。
第一方面,本发明实施例提供了一种活体检测方法,包括:
采集包括人脸图像的待验证图像;
将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出活体检测结果。
可选的,所述将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测之后,所述输出活体检测结果之前,所述方法还包括:
在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
所述输出活体检测结果,包括:
输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
可选的,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
可选的,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
可选的,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
第二方面,本发明实施例另提供一种活体检测方法,包括:
获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
可选的,所述获取训练样本集之后,所述利用所述训练样本集对初始多层次深度卷积网络模型进行训练之前,所述方法还包括:
将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
所述利用所述训练样本集对初始多层次深度卷积网络模型进行训练,包括:
从归一化后的训练样本集中随机抽取N个样本图像;
对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
可选的,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
所述将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整,包括:
每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
可选的,所述预设损失函数为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
第三方面,本发明实施例还提供一种活体检测装置,包括:
采集模块,用于采集包括人脸图像的待验证图像;
第一活体检测模块,用于将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出模块,用于输出活体检测结果。
可选的,所述活体检测装置还包括:
活体验证模块,用于在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
所述输出模块用于输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
可选的,所述多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征。
可选的,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
可选的,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
可选的,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
第四方面,本发明实施例提供另一种活体检测装置,包括:
获取模块,用于获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
模型训练模块,用于利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
第二活体检测模块,用于将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
可选的,所述活体检测装置还包括:
处理模块,用于将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
所述模型训练模块包括:
抽取单元,用于从归一化后的训练样本集中随机抽取N个样本图像;
调整单元,用于对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
处理单元,将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
执行单元,用于重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
可选的,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
所述处理单元包括:
第一处理子单元,用于每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
连接子单元,用于将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
第二处理子单元,用于将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
调整子单元,用于基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
可选的,所述预设损失函数为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
第五方面,本发明实施例还提供一种活体检测装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的活体检测方法中的步骤。
第六方面,本发明实施例还提供一种活体检测装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第二方面所述的活体检测方法中的步骤。
第七方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的活体检测方法中的步骤。
在本发明实施例中,由于采用的多层次深度卷积网络模型不仅考虑了待验证图像的全局图像特征,而且能够提取不同层次的图像特征,从而可保证所述多层次深度卷积网络模型能够依据提取到的表征性更强的图像特征,有效区分真实活体图像与攻击图像的差别,进而提高静默活体检测的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的活体检测方法的流程图之一;
图2是本发明实施例提供的活体检测方法的流程图之二;
图3是本发明实施例提供的活体检测方法的流程图之三;
图4是本发明实施例提供的多层次深度卷积网络模型的结构示意图;
图5是本发明实施例提供的ResNet18模型的结构示意图;
图6是本发明实施例提供的活体检测装置的结构图之一;
图7是本发明实施例提供的活体检测装置的结构图之二;
图8是本发明实施例提供的活体检测装置的结构图之三;
图9是本发明实施例提供的活体检测装置的结构图之四。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的活体检测方法的流程图,如图1所示,包括以下步骤:
步骤101、采集包括人脸图像的待验证图像。
上述采集待验证图像可以是在需要对用户身份进行验证时,通过摄像头实时采集的包括用户人脸的图像,以基于采集的图像对用户身份进行验证,具体包括验证是否为用户本人,以及是否为活体用户。且所述待验证图像可以是单帧的图像,也可以连续多帧的视频图像。
步骤102、将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测。
本发明实施例中,由于只需采集用户人脸图像进行检测,而无需用户做出配合动作,也即采用的静默活体检测的方式,而本发明实施例为保证该静默活体检测方式能够具备较高的检测准确度,采用了预先训练好的多层次深度卷积网络模型作为活体检测模型,来对所述待验证图像进行活体检测,即可以将采集到的待验证图像输入所述多层次深度卷积网络模型,以通过所述多层次深度卷积网络模型对输入的待验证图像进行活体检测。
其中,所述多层次深度卷积网络模型可以是包括了多个层次的卷积神经网络,从而可以对输入图像进行不同粗细程度的特征提取,且可以提取输入图像中的全局图像特征,不仅仅是局部的人脸图像特征,这样通过所述多层次深度卷积网络模型可以提取到更具表征性的图像特征(如材质、光线反射等),从而可以帮助更好地区分真实活体图像与欺骗性质的攻击图像。
也就是说,所述多层次深度卷积网络模型可以对输入的待验证图像进行多层次的全局图像特征提取,并通过对提取的全局图像特征的分析处理,来确定所述待验证图像中的对象为活体的概率,进而基于该概率大小来判定是否为活体,例如,为活体的概率大小超过预设阈值,则判定为活体,否则判定为非活体。
需说明的是,所述多层次深度卷积网络模型可以是预先采用大量的包含正类活体样本和负类非活体样本的训练样本集,对构建的初始多层次深度卷积网络模型进行训练得到的,且对待验证图像进行活体检测以实现用户身份验证的过程和所述多层次深度卷积网络模型的训练过程可以是在同一装置上进行的,也可以是在不同装置上进行的,例如,所述多层次深度卷积网络模型可以在计算机设备上训练完成的,而对待验证图像进行活体检测以实现用户身份验证的过程则可以是在其他需要进行身份验证的客户端设备(如手机、门禁设备、ATM机等)上执行的,该客户端设备可以通过联网调用服务端的活体检测服务(即通过多层次深度卷积网络模型进行活体检测的服务)来完成活体检测。
可选的,所述多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征。
即一种实施方式中,可以构建包括三个层次的卷积网络和全连接层的初始多层次深度卷积网络模型作为训练模型,进而可以通过训练得到包括三个层次的卷积网络和全连接层的多层次深度卷积网络模型,其中,所述三个层次的卷积网络可以分别具备不同的卷积参数,以对输入图像分别提取粗结构特征、介于粗和细之间的结构特征和细结构特征,相比现有方案可提取得到表征性更强的特征,进而可帮助得到更为准确的检测结果;所述三个层次的卷积网络的输入端用于接收输入图像,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,即每张输入图像需要分别经过这三个层次的卷积网络进行处理,以从输入图像中分别提取不同粗细程度的全局图像特征,再通过全连接层将这三个层次的卷积网络所提取的图像特征进行全连接,最终通过全连接层输出包括活体概率和非活体概率的二维特征,并基于该二维特征判定输入图像中的对象是否为活体。
进一步的,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
即所述三个层次的卷积网络可以分别为第一层卷积网络、第二层卷积网络和第三层卷积网络,其中,所述第一层卷积网络可以包括依次连接的第一平均池化(averagepooling)层、M个卷积层和第二平均池化层,从而输入所述第一层卷积网络的图像可以先经所述第一平均池化层进行池化处理,再经过所述M个卷积层进行卷积运算,最后经过所述第二平均池化层进行池化处理,输出大小与所述第一平均池化层、M个卷积层和第二平均池化层的参数相关的特征图。所述第一层卷积网络可以用于提取输入图像的粗结构特征,因此所述第一平均池化层的参数可以基于该需要进行相应设置,以对输入图像压缩较大比例,所述M个卷积层的数量和参数,以及所述第二平均池化层的参数均可以根据该层需要输出的特征图大小进行相应设定。
所述第二层卷积网络可以包括依次连接的第三平均池化层、K个卷积层和第四平均池化层,从而输入所述第二层卷积网络的图像可以先经所述第三平均池化层进行池化处理,再经过所述K个卷积层进行卷积运算,最后经过所述第四平均池化层进行池化处理,输出大小与所述第三平均池化层、K个卷积层和第四平均池化层的参数相关的特征图。所述第二层卷积网络可以用于提取输入图像的介于粗和细之间的结构特征,因此所述第三平均池化层的参数可以基于该需要进行相应设置,以对输入图像压缩中等比例,所述K个卷积层的数量和参数,以及所述第四平均池化层的参数均可以根据该层需要输出的特征图大小进行相应设定,且第二层输出的特征图大小需大于第一层卷积网络输出的特征图大小;K可以大于M,即第二层卷积网络的卷积层数量大于第一层卷积网络的卷积层数量,以从输入图像中提取相比第一层卷积网络更细的结构特征。
所述第三层卷积网络可以包括依次连接的L个卷积层和第五平均池化层,从而输入所述第三层卷积网络的图像可以先经所述L个卷积层进行卷积运算,最后经过所述第五平均池化层进行池化处理,输出大小与所述L个卷积层和第五平均池化层的参数相关的特征图。所述第三层卷积网络可以用于提取输入图像的细结构特征,因此所述L个卷积层的数量和参数,以及所述第五平均池化层的参数均可以根据该层需要输出的特征图大小进行相应设定,且第三层输出的特征图大小需大于第二层卷积网络输出的特征图大小;L可以大于K,即第三层卷积网络的卷积层数量大于第二层卷积网络的卷积层数量,以从输入图像中提取相比第二层卷积网络更细的结构特征。
需说明的是,所述第二平均池化层、所述第四平均池化层和所述第五平均池化层可以为同一平均池化层,即三者可以采用相同的结构参数,这样,在构建所述三个层次的卷积网络时可无需设计较多的平均池化层。
这样,通过上述结构的第一层卷积网络、第二层卷积网络和第三层卷积网络,可保证分别从输入图像中提取不同粗细结构特征,进而得到表征性更强的图像特征。
其中,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
即所述第一层卷积网络中的第一平均池化层用于将输入图像压缩较大的比例,以将输入图像由原尺寸缩放至第一目标尺寸,所述第二层卷积网络中的第三平均池化层用于将输入图像压缩相比第一平均池化层较小的比例,以将输入图像由原尺寸缩放至第二目标尺寸,以满足通过所述第一层卷积网络提取输入图像的粗结构特征,通过所述第二层卷积网络提取输入图像的介于粗与细之间的结构特征的要求。
例如,输入图像的原尺寸为224×224,所述第一平均池化层的参数可以设置为卷积核大小k=5,步长s=4,边界填充p=1,所述第三平均池化层的参数可以设置为卷积核大小k=3,步长s=2,边界填充p=1,从而通过所述第一平均池化层可以将输入图像尺寸缩放至第一目标尺寸56×56,通过所述第三平均池化层可以将输入图像尺寸缩放至第二目标尺寸112×112。
进一步的,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
即一种实施方式中,所述多层次深度卷积网络模型可以18层残差网络(ResidualNetwork,ResNet)为基础网络,来设计所述三个层次的卷积网络,具体地,可以采用ResNet18中的前M个卷积层作为所述第一层卷积网络中的卷积层,采用所述ResNet18中的最后一层平均池化层作为所述第一层卷积网络中的第二平均池化层,采用ResNet18中的前K个卷积层(K>M)作为所述第二层卷积网络中的卷积层,采用所述ResNet18中的最后一层平均池化层作为所述第二层卷积网络中的第四平均池化层,以及采用所述ResNet18作为所述第三层卷积网络,即所述第三层卷积网络与所述ResNet18为同一卷积网络。
例如,采用ResNet18中的conv1至conv3_x作为所述第一层卷积网络中的卷积层,采用ResNet18中的conv1至conv4_x作为所述第二层卷积网络中的卷积层,采用ResNet18中的第一层卷积层至最后一层平均池化层(conv1至average pooling层)作为所述第三层卷积网络。
这样,通过利用ResNet18中部分层或全部层来设计所述三个层次的卷积网络,既可达到分别提取输入图像中不同粗细程度的图像特征的目的,又可降低模型设计难度,在实现上更为容易。
步骤103、输出活体检测结果。
具体地,在通过所述多层次深度卷积网络模型对所述待验证图像进行活体检测后,若所述多层次深度卷积网络模型输出判定为活体的检测结果,则可以输出确认为活体的检测结果,若所述多层次深度卷积网络模型输出判定为非活体的检测结果,则可以输出确认为非活体的检测结果。并且可以在输出判定为非活体的检测结果的情况下,确认对用户身份验证失败,且可以输出验证失败的提示消息,在输出判定为活体的检测结果的情况下,若还验证所述待验证图像中的人脸图像与预先存储的用户人脸匹配,则可以确认对用户身份验证成功,进而可以为用户跳转至下一步操作。
可选的,所述步骤102之后,所述步骤103之前,所述方法还包括:
在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
所述步骤103包括:
输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
即一种实施方式中,为了保证得到更为准确可靠的活体检测结果,可以在通过所述多层次深度卷积网络模型判定所述待验证图像中的对象为活体的情况下,对所述待验证图像中的人脸图像进行局部活体验证,只有局部活体验证也通过的情况下,才确认所述待验证图像中的对象为活体,而在局部活体验证未通过的情况下,确认所述待验证图像中的对象为非活体。
具体地,可以在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,进一步利用预先训练好的人脸检测分类模型,来对所述待验证图像中的人脸图像进行类别检测,以确定所述待验证图像中的人脸是否真人脸,即可以将所述待验证图像输入所述人脸检测分类模型,以通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行类别检测,得到所述待验证图像中的人脸类别。
也就是说,所述人脸检测分类模型可以识别不同类别的人脸,并输出输入图像中的人脸类别信息,用于辅助确认待验证图像中的对象是否为活体,在通过所述人脸检测分类模型判定所述待验证图像中的人脸图像为真人脸的情况下,可以确认所述待验证图像中的对象为活体,并输出确认为活体的验证结果,在通过所述人脸检测分类模型判定所述待验证图像中的人脸图像不为真人脸(如为假人脸或背景脸)的情况下,可以确认所述待验证图像中的对象为非活体,并输出确认为非活体的验证结果。
其中,所述人脸检测分类模型可以是预先利用大量的标注有人脸位置和类别的训练样本对初始人脸检测分类模型进行训练得到的,例如,可以采用目标检测模型模型(Single Shot MultiBox Detector,SSD)作为初始人脸检测分类模型,对于输入的待验证图像,在经过所述人脸检测分类模型检测后,可以输出待验证图像中的人脸位置和类别信息,用于辅助进行活体确认。
一种训练人脸检测分类模型的实施方式中,为保证模型的精度,可采用80余万张样本图像作为训练样本,并对每张样本图像进行人脸位置和类别标注,人脸检测分类模型数据集结构可以为
Figure BDA0002751702980000131
其中,G表示样本总数目,
Figure BDA0002751702980000132
表示第i个训练样本图像,
Figure BDA0002751702980000133
表示第i个训练样本图像上的人脸的类别(如0为背景脸,1为真实人脸,2为假人脸),
Figure BDA0002751702980000134
表示第i个训练样本图像上的人脸标注框的坐标,如果一个图像上存在多个人脸,则可以分为多条数据记录,1条数据记录1个人脸。
下面结合图2对该实施方式进行举例说明:
首先,可以采集用户刷脸图像;将采集到的用户刷脸图像输入多层次深度卷积网络模型中进行活体判断;若判定为非活体,则输出非活体的判定结果;若判定为活体,则再利用人脸检测分类模型进行局部活体验证;如果验证成功,则最终被判定为活体,否则将判定为非活体。
本发明实施例的活体检测方法,采集包括人脸图像的待验证图像;将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;输出活体检测结果。这样,由于采用的多层次深度卷积网络模型不仅考虑了待验证图像的全局图像特征,而且能够提取不同层次的图像特征,从而可保证所述多层次深度卷积网络模型能够依据提取到的表征性更强的图像特征,有效区分真实活体图像与攻击图像的差别,进而提高静默活体检测的准确率。
参见图3,图3是本发明实施例提供的另一种活体检测方法的流程图,如图3所示,包括以下步骤:
步骤301、获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体。
本发明实施例中,为保证训练得到检测准确度高的活体检测模型,可以在训练模型前,先获取大量的训练样本作为训练样本集,具体地,所述训练样本集需包括大量活体正类样本和非活体负类样本,所述活体正类样本可以包括在正常光照、逆光、正面强光、室内、室外、自然状态以及摆拍等各种状态下拍摄的包括真实人脸的图像,所述非活体负类样本可以涵盖对各种材质的打印照片、电子设备中的照片或视频、纸板面具、硅胶面具等各种攻击行为进行拍摄所获取的图像。
本发明实施例通过对采集的包括人脸的全局图像做活体和非活体二分类的思想,以从图像整体来体现正负类样本在材料、光的反射等方面的差异。因此,本方案对多层次深度卷积网络的训练数据集结构设计为
Figure BDA0002751702980000141
Figure BDA0002751702980000142
其中,
Figure BDA0002751702980000143
表示第i个训练样本图像,P表示样本总数目,
Figure BDA0002751702980000144
表示第i个训练样本的类别,如1为活体,0为非活体。
步骤302、利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型。
该步骤中,可以利用获取的训练样本集对初始多层次深度卷积网络模型进行训练,以得到训练好的多层次深度卷积网络模型,其中,所述初始多层次深度卷积网络模型可以是包括了多个层次的卷积神经网络,从而可以对输入图像进行不同粗细程度的特征提取,且可以提取输入图像中的全局图像特征,不仅仅是局部的人脸图像特征,这样通过所述多层次深度卷积网络模型可以提取到更具表征性的图像特征(如材质、光线反射等),从而可以帮助更好地区分真实活体图像与欺骗性质的攻击图像。
具体地,可以利用所述训练样本集对所述初始多层次深度卷积网络模型进行多轮反复训练,并在每次训练中通过对比模型预测的样本类型与标注的真实类型,确定误差大小,并使用模型优化算法对模型参数进行优化调整,然后重复相同的训练过程,直至模型收敛,得到训练好的多层次深度卷积网络模型。
可选的,所述步骤301之后,所述步骤302之前,所述方法还包括:
将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
所述步骤302包括:
从归一化后的训练样本集中随机抽取N个样本图像;
对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
即为了保证训练样本集中各样本图像尺寸的一致性,以及适应所述初始多层次深度卷积网络模型对输入图像的要求,可以在训练前将所述训练样本集中的每个样本图像的尺寸进行归一化处理,即将各样本图像的尺寸均处理成预设尺寸,如归一化为224×224。
另外,本发明实施例不仅通过采集更多情况场景下的样本图像以扩充样本多样性,还设计了对样本图像的目标参数,如亮度和对比度等,进行随机调整的策略,即在模型训练时对每轮从所述训练样本集中随机选择的N个样本进行随机的亮度和/或对比度的调整,以达到样本增广的目的。
具体地,F(x,y)为原图像的像素值,可以采用亮度和对比度调整策略为G(x,y)=α·F(x,y)+β,其中,G(x,y)表示调整后的图像的像素值,α表示调整图像的对比度参数,β表示调整图像的亮度值,α可以取值在0至2之间,α大于0小于1时,可以将对比度调小,α大于1小于2时,可以将对比度调大,在训练中一般可取α值在0.8至1.2之间,β可以随机取10,20,30等,但调整策略需保证调整后图片的像素值在0至255之间。对于彩色图像而言,只需要在红RGB三个通道进行相同的操作即可。
对样本图像进行亮度和/或对比度调整后,可以将N个样本图像依次输入初始多层次深度卷积网络模型进行处理,即通过所述初始多层次深度卷积网络模型对输入的样本图像进行特征提取,并基于提取的特征输出样本图像为活体或非活体的概率,然后通过对比输出与真实值之间的误差,对模型参数进行调整,调整后再输入下一个样本图像至调整后的多层次深度卷积网络模型作进一步训练,不断重复这样的训练过程,直至使用最后一个样本图像对模型训练完毕,也即表示一轮的训练完毕。
在每轮训练完毕后,可以重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,也即可以从训练样本集中重新抽取N个样本图像,进入下一轮类似的训练过程,直至模型收敛,即模型输出与真实值不断接近,误差小于预设误差。
这样,通过使用多样化的训练样本对模型进行反复训练,可以保证最终训练得到的多层次深度卷积网络模型具备较高的精度。
进一步的,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
所述将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整,包括:
每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
即选用的初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征,这样训练得到的多层次深度卷积网络模型也是这样的结构,即初始多层次深度卷积网络模型与训练完成的多层次深度卷积网络模型的结构是一致的,在训练中只需确定模型的参数。具体地,所述多层次深度卷积网络模型的结构与图1中所述的多层次深度卷积网络模型的结构相同,具体描述可以参见图1所示实施例中的相关介绍,在此不再赘述。
从而在训练中,可以是每次将N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出不同维度大小的特征图,例如,通过第一层次的卷积网络输出第一维度大小的特征图,通过第二层次的卷积网络输出第二维度大小的特征图,以及通过第三层次的卷积网络输出第三维度大小的特征图。
然后可以将所述三个层次的卷积网络分别输出的不同维度大小的特征图进行平铺连接,构建得到一维度大小等于三者维度大小之和的特征图,例如,可得到一第四维度大小的特征图,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;并可以将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层将所述第四维度大小的特征图映射成二维特征输出,即输出的两个特征值分别表示活体概率和非活体概率。
基于输出的活体概率和非活体概率,可以确定模型最终判定为活体还是非活体,如判定为活体则输出1,判定为非活体则输出0,再通过输出的估计值和真实值即输入样本图像中标注的特征(即活体样本标注为1,非活体样本标注为0),结合预设损失函数,计算出估计值和真实值之间的距离,并可使用模型优化算法,如随机梯度下降法(StochasticGradient Descent,SGD),对所述初始多层次深度卷积网络模型的模型参数进行优化调整,通过最小化损失函数来使模型收敛,所述预设损失函数可以是基于输出的特征构造得到的。
具体地,所述预设损失函数可以为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
即本发明实施例中,考虑到Softmax-loss函数强调类间距离尽可能大,而Center-loss强调类内距离尽可能小,故可以采用Softmax-loss函数和Center-loss函数加权结合的方式来构造损失函数L,利用Center-loss函数辅助Softmax-loss函数来增加正负类样本间的间隔,例如,可构造损失函数L=LS+μLC,其中,LS为Softmax-loss函数,LC为Center-loss函数,μ为LC的权重。
下面结合图4所示的多层次深度卷积网络模型和图5所示的ResNet18模型,对本发明实施例的模型训练过程进行举例说明:
如图4所示,多层次深度卷积网络模型以ResNet18为基础网络,设计3个层次的卷积网络结构,用于分别提取图像中由粗到细的结构特征,通过连接各个层次的网络输出特征,再经过全连接层,输出预测结果。需说明的是,可预先将训练样本集归一化为224×224×3的大小,其中3表示样本的RGB三个通道,并对随机获取的N个样本,进行随机亮度和/或对比度调整。
第一层次的卷积网络用于提取图像的粗结构特征,首先可将输入图像经过第一average pooling层缩放到56×56,再将56×56大小的图像送入ResNet18中conv1至conv3_x的结构块,最后再接第二average pooling层,输出output大小为128×1×1的特征图;其中,第一average pooling层的参数设置为卷积核大小k=5,步长s=4,边界填充p=1,第二average pooling层的参数设置同Resnet18中最后一层平均池化avgpool层参数设置。
第二层次的卷积网络用于提取图像介于粗和细之间的结构特征,首先将输入图像经过第三average pooling层缩放到112×112,再将112×112大小的图像送入ResNet18中conv1至conv4_x的结构块,最后再接第四average pooling层,输出大小为256×1×1的特征图;其中,第三average pooling层的参数设置为卷积核大小k=3,步长s=2,边界填充p=1,第四average pooling层的参数设置同ResNet18中最后一层avgpool层参数设置。
第三层次的卷积网络用于提取图像的细结构特征,将输入图像送入ResNet18中conv1到avgpool层的结构块,输出大小为512×1×1的特征图。
最后,将以上三个层次的卷积网络输出的特征平铺连接起来构成128+256+512=896维的特征后输入全连接层,通过全连接层输出2维特征,并可以根据输出的特征构造损失函数,使用SGD方法,设置初始学习率为0.01,对模型参数进行迭代更新,直到模型收敛为止。
且本方案对的多层次深度卷积网络模型的损失函数进行改进,采用Softmax-loss和Center-loss加权结合的方式,构建新的Loss函数L=LS+μLC,其中,LS为Softmax-loss,LC为Ccenter-loss,经验证,在本方案中,令μ=0.01可取得比单独使用Softmax-loss获得更好的分类性能。
步骤303、将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
此步骤的具体实现方式可以参见图1所示方法实施例的步骤102中的描述,为避免重复,此处不再赘述。
本发明实施例的活体检测方法,获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。这样,由于采用的多层次深度卷积网络模型不仅考虑了待验证图像的全局图像特征,而且能够提取不同层次的图像特征,从而可保证所述多层次深度卷积网络模型能够依据提取到的表征性更强的图像特征,有效区分真实活体图像与攻击图像的差别,进而提高静默活体检测的准确率。
本发明实施例还提供了一种活体检测装置。参见图6,图6是本发明实施例提供的活体检测装置的结构图。由于活体检测装置解决问题的原理与本发明实施例中图1所示的活体检测方法相似,因此该活体检测装置的实施可以参见方法的实施,重复之处不再赘述。
如图6所示,活体检测装置600包括:
采集模块601,用于采集包括人脸图像的待验证图像;
第一活体检测模块602,用于将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出模块603,用于输出活体检测结果。
可选的,活体检测装置600还包括:
活体验证模块,用于在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
输出模块603用于输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
可选的,所述多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征。
可选的,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
可选的,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
可选的,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
本发明实施例提供的活体检测装置600,可以执行上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
本发明实施例的活体检测装置600,采集包括人脸图像的待验证图像;将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;输出活体检测结果。这样,由于采用的多层次深度卷积网络模型不仅考虑了待验证图像的全局图像特征,而且能够提取不同层次的图像特征,从而可保证所述多层次深度卷积网络模型能够依据提取到的表征性更强的图像特征,有效区分真实活体图像与攻击图像的差别,进而提高静默活体检测的准确率。
本发明实施例还提供了另一种活体检测装置。参见图7,图7是本发明实施例提供的活体检测装置的结构图。由于活体检测装置解决问题的原理与本发明实施例中图3所示的活体检测方法相似,因此该活体检测装置的实施可以参见方法的实施,重复之处不再赘述。
如图7所示,活体检测装置700包括:
获取模块701,用于获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
模型训练模块702,用于利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
第二活体检测模块703,用于将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
可选的,活体检测装置700还包括:
处理模块,用于将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
模型训练模块702包括:
抽取单元,用于从归一化后的训练样本集中随机抽取N个样本图像;
调整单元,用于对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
处理单元,将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
执行单元,用于重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
可选的,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
所述处理单元包括:
第一处理子单元,用于每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
连接子单元,用于将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
第二处理子单元,用于将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
调整子单元,用于基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
可选的,所述预设损失函数为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
本发明实施例提供的活体检测装置700,可以执行上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
本发明实施例的活体检测装置700,获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。这样,由于采用的多层次深度卷积网络模型不仅考虑了待验证图像的全局图像特征,而且能够提取不同层次的图像特征,从而可保证所述多层次深度卷积网络模型能够依据提取到的表征性更强的图像特征,有效区分真实活体图像与攻击图像的差别,进而提高静默活体检测的准确率。
本发明实施例还提供了另一种活体检测装置。由于活体检测装置解决问题的原理与本发明实施例中活体检测方法相似,因此该活体检测装置的实施可以参见方法的实施,重复之处不再赘述。如图8所示,本发明实施例的活体检测装置,包括:处理器800,用于读取存储器810中的程序,执行下列过程:
采集包括人脸图像的待验证图像;
将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出活体检测结果。
其中,在图8中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器800代表的一个或多个处理器和存储器810代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。针对不同的用户设备,用户接口820还可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器800负责管理总线架构和通常的处理,存储器810可以存储处理器800在执行操作时所使用的数据。
可选的,所述将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测之后,所述输出活体检测结果之前,所述方法还包括:
在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
所述输出活体检测结果,包括:
输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
可选的,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
可选的,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
可选的,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
本发明实施例提供的活体检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
本发明实施例还提供了另一种活体检测装置。由于活体检测装置解决问题的原理与本发明实施例中活体检测方法相似,因此该活体检测装置的实施可以参见方法的实施,重复之处不再赘述。如图9所示,本发明实施例的活体检测装置,包括:处理器900,用于读取存储器910中的程序,执行下列过程:
获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
其中,在图9中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器900代表的一个或多个处理器和存储器910代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器900负责管理总线架构和通常的处理,存储器910可以存储处理器900在执行操作时所使用的数据。
处理器900还用于读取存储器910中的程序,执行如下步骤:
将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
从归一化后的训练样本集中随机抽取N个样本图像;
对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
可选的,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
处理器900还用于读取存储器910中的程序,执行如下步骤:
每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
可选的,所述预设损失函数为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
本发明实施例提供的活体检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本发明实施例的计算机可读存储介质,用于存储计算机程序,所述计算机程序可被处理器执行实现以下步骤:
采集包括人脸图像的待验证图像;
将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出活体检测结果。
可选的,所述计算机程序还可被处理器执行实现以下步骤:
在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
可选的,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
可选的,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
可选的,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
或者,所述计算机程序可被处理器执行实现以下步骤:
获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
可选的,所述计算机程序还可被处理器执行实现以下步骤:
将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
所述利用所述训练样本集对初始多层次深度卷积网络模型进行训练,包括:
从归一化后的训练样本集中随机抽取N个样本图像;
对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
可选的,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
所述计算机程序还可被处理器执行实现以下步骤:
每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
可选的,所述预设损失函数为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种活体检测方法,其特征在于,包括:
采集包括人脸图像的待验证图像;
将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出活体检测结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测之后,所述输出活体检测结果之前,所述方法还包括:
在所述多层次深度卷积网络模型输出判定为活体的结果的情况下,将所述待验证图像输入预先训练好的人脸检测分类模型,通过所述人脸检测分类模型对所述待验证图像中的人脸图像进行活体验证;
所述输出活体检测结果,包括:
输出所述人脸检测分类模型的验证结果,其中,在通过所述人脸检测分类模型判定为真人脸的情况下,输出确认为活体的验证结果,在通过所述人脸检测分类模型判定不为真人脸的情况下,输出确认为非活体的验证结果。
3.根据权利要求1所述的方法,其特征在于,所述多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征。
4.根据权利要求3所述的方法,其特征在于,所述三个层次的卷积网络中的第一层卷积网络包括依次连接的第一平均池化层、M个卷积层和第二平均池化层;
所述三个层次的卷积网络中的第二层卷积网络包括依次连接的第三平均池化层、K个卷积层和第四平均池化层;
所述三个层次的卷积网络中的第三层卷积网络包括依次连接的L个卷积层和第五平均池化层,M、K和L均为正整数,且M<K<L。
5.根据权利要求4所述的方法,其特征在于,所述第一平均池化层用于将输入图像缩放至第一目标尺寸,所述第三平均池化层用于将输入图像缩放至第二目标尺寸,其中,所述第二目标尺寸大于所述第一目标尺寸。
6.根据权利要求4所述的方法,其特征在于,所述M个卷积层为18层残差网络ResNet18中的前M个卷积层;
所述K个卷积层为所述ResNet18中的前K个卷积层;
所述第二平均池化层和第四平均池化层均为所述ResNet18中的最后一层平均池化层;
所述第三层卷积网络为所述ResNet18。
7.一种活体检测方法,其特征在于,包括:
获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
8.根据权利要求7所述的方法,其特征在于,所述获取训练样本集之后,所述利用所述训练样本集对初始多层次深度卷积网络模型进行训练之前,所述方法还包括:
将所述训练样本集中的每个样本图像的尺寸归一化为预设尺寸;
所述利用所述训练样本集对初始多层次深度卷积网络模型进行训练,包括:
从归一化后的训练样本集中随机抽取N个样本图像;
对所述N个样本图像的目标参数进行随机调整,其中,所述目标参数包括对比度和亮度中的至少之一,N为大于1的整数;
将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整;
重复上述从归一化后的训练样本集中随机抽取N个样本图像至基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整的过程,直至模型收敛。
9.根据权利要求8所述的方法,其特征在于,所述初始多层次深度卷积网络模型包括三个层次的卷积网络和全连接层,所述三个层次的卷积网络的输出端均连接所述全连接层的输入端,所述三个层次的卷积网络分别用于提取输入图像中不同粗细程度的图像特征;
所述将调整后的N个样本图像依次输入初始多层次深度卷积网络模型进行处理,并基于处理后的结果对所述初始多层次深度卷积网络模型的模型参数进行迭代调整,包括:
每次将调整后的N个样本图像中的一个样本图像分别输入所述三个层次的卷积网络进行处理,通过所述三个层次的卷积网络分别输出第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图;
将所述第一维度大小的特征图、第二维度大小的特征图和第三维度大小的特征图平铺连接,生成第四维度大小的特征图,其中,所述第四维度大小等于所述第一维度大小、所述第二维度大小和所述第三维度大小之和;
将所述第四维度大小的特征图输入所述全连接层进行处理,通过所述全连接层输出二维特征,其中,所述二维特征中的两个值分别用于指示活体概率和非活体概率;
基于输出的二维特征和对应样本图像中标注的特征,结合预设损失函数,对所述初始多层次深度卷积网络模型的模型参数进行迭代调整。
10.根据权利要求9所述的方法,其特征在于,所述预设损失函数为采用软最大值Softmax损失函数和中心损失函数加权结合的损失函数。
11.一种活体检测装置,其特征在于,包括:
采集模块,用于采集包括人脸图像的待验证图像;
第一活体检测模块,用于将所述待验证图像输入预先训练好的多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测;
输出模块,用于输出活体检测结果。
12.一种活体检测装置,其特征在于,包括:
获取模块,用于获取训练样本集,其中,所述训练样本集包括活体正类样本和非活体负类样本,在训练中所述活体正类样本被标注为活体,所述非活体负类样本被标注为非活体;
模型训练模块,用于利用所述训练样本集对初始多层次深度卷积网络模型进行训练,得到训练好的多层次深度卷积网络模型;
第二活体检测模块,用于将待验证图像输入所述多层次深度卷积网络模型,通过所述多层次深度卷积网络模型依据所述待验证图像中的全局图像特征进行活体检测,得到活体检测结果。
13.一种活体检测装置,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的活体检测方法中的步骤。
14.一种活体检测装置,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求7至10中任一项所述的活体检测方法中的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的活体检测方法中的步骤;或者,所述计算机程序被处理器执行时实现如权利要求7至10中任一项所述的活体检测方法中的步骤。
CN202011187186.8A 2020-10-30 2020-10-30 一种活体检测方法、装置及计算机可读存储介质 Pending CN114463799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011187186.8A CN114463799A (zh) 2020-10-30 2020-10-30 一种活体检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187186.8A CN114463799A (zh) 2020-10-30 2020-10-30 一种活体检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114463799A true CN114463799A (zh) 2022-05-10

Family

ID=81403994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187186.8A Pending CN114463799A (zh) 2020-10-30 2020-10-30 一种活体检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114463799A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612537A (zh) * 2023-07-21 2023-08-18 武汉理工大学 一种基于背景弱化及一致性计算的半监督动作检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612537A (zh) * 2023-07-21 2023-08-18 武汉理工大学 一种基于背景弱化及一致性计算的半监督动作检测方法
CN116612537B (zh) * 2023-07-21 2023-10-03 武汉理工大学 一种基于背景弱化及一致性计算的半监督动作检测方法

Similar Documents

Publication Publication Date Title
CN111488756B (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
CN110851835A (zh) 图像模型检测方法、装置、电子设备及存储介质
CN108388822A (zh) 一种检测二维码图像的方法和装置
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN111104833A (zh) 用于活体检验的方法和装置,存储介质和电子设备
CN112215043A (zh) 一种人脸活体检测方法
CN110245573A (zh) 一种基于人脸识别的签到方法、装置及终端设备
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN113139462A (zh) 无监督的人脸图像质量评估方法、电子设备和存储介质
CN111339884A (zh) 图像识别方法以及相关设备、装置
CN112101359A (zh) 文本公式的定位方法、模型训练方法及相关装置
CN113111880A (zh) 证件图像校正方法、装置、电子设备及存储介质
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN111382791A (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN113128278B (zh) 一种图像识别方法及装置
CN114463799A (zh) 一种活体检测方法、装置及计算机可读存储介质
CN112818774A (zh) 一种活体检测方法及装置
CN115147705B (zh) 人脸翻拍检测方法、装置、电子设备及存储介质
CN111598144A (zh) 图像识别模型的训练方法和装置
CN108460811B (zh) 面部图像处理方法、装置及计算机设备
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN113723310B (zh) 基于神经网络的图像识别方法及相关装置
CN112215076B (zh) 一种基于双塔网络的深度笔迹鉴定方法及装置
CN114841340A (zh) 深度伪造算法的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination