一种基于光照的人脸识别***回放攻击检测方法及应用
技术领域
本发明涉及生物识别技术领域,涉及针对人脸识别中的对回放攻击的判别问题的方法,尤其是一种基于光照的人脸识别***回放攻击检测方法及应用。
背景技术
随着科技的发展和近几年生物识别技术领域内一些技术的逐渐成熟,生物识别(认证) 技术逐渐被广泛应用。该技术是指基于人体的一些生物特征,包括生理特征和行为特征来识别、判别个体身份的一种技术。目前该技术在应用方面主要依靠识别生理特征,通常包括人脸识别、指(掌)纹识别、虹膜识别等。生物特征的独特性早在唐代就已经被中国学者发现,近代西方学者对此也早有大量的研究。而真正将生物特征用于身份识别的***出现于上世纪 70年代早期。近年来,随着生物特征采集设备价格的下降和各种识别方法的日益成熟,生物识别(认证)技术逐渐融入了我们的日常生活中,在诸多领域,如***登录、海关安检等领域有大量应用,例如我国已经启动了将公民指纹采集存储在二代身份证中的工作。
生物识别有着有效性及便利性的优势,然而假冒攻击一直是生物识别***的一个重大威胁。例如,对于人脸识别***,攻击者可以使用人脸照片来进行身份仿冒;而指纹、掌纹识别***也可能使用硅胶或类似材质制作的胶模骗过***。对此类的仿冒攻击,国外有很多学者进行过研究,也发表过一些文献资料,证明使用这些仿冒手段的确可以在一定程度上实现对***的攻击。
随着生物识别技术的应用愈加广泛,***安全性问题日益凸显出来,越来越被研究人员广泛关注。其中,一种解决此问题的思路是,在获取人体生物样本的时候,同时要对生物样本进行活体检测。活体检测可以保证生物信息的获取对象是生物活体,从而可以抵御各种复制生物样本,例如照片、塑胶指模等对认证***的攻击。对于活体检测技术的研究已经成为了生物识别领域中的一个重要方向,近年来,国内外在此领域有大量的研究工作和一些重要的学术会议,并且在一些相关领域的权威会议上都有相关的工作和论文发表。目前一些常用的技术包括基于活体的生理行为(例如识别人脸的眨眼动作)、活体的环境特征以及活体的生理信号(诸如皮肤汗液,EEG电平,热红外特性等)。然而这些方法又各有缺陷,有些需要通过大量复杂的运算,有些需要特殊设备支持,还有些方法用户体验不好,难以满足各种复杂场合的实际应用要求,易用性和可靠性方面有待提高。
目前领域内针对抵御各种照片攻击、面具攻击以及三维模型攻击的成果已经可以实现较好的抵御以上攻击的效果,但随着便携智能设备的普及与进步,视频回放攻击成为了针对生物识别***,尤其是人脸识别***的主要攻击手段。国内外对此也有一系列研究,但大多不能达到理想的效果。
通过检索,发现如下两篇与本发明专利申请相关的专利公开文献:
1、一种用于数据安全性的方法(CN103562930A),在具有一次性可编程(OTP)存储器的处理器中,接收要被写入到数据存储器的新信息,该OTP存储器包括多个比特并且具有由 OTP的已被编程的比特定义的当前状态。基于新信息和当前状态,选择OTP存储器的要被编程的至少一个其他比特,从而定义OTP存储器的新状态。经由新信息和新状态计算新数字签名。将新信息和新数字签名保存于数据存储器中。在将新信息和新数字签名保存于数据存储器中之后,对OTP存储器的至少一个其他比特进行编程,由此该新状态变为当前状态。还公开了相关装置及方法。
2、一种基于信道模式噪声的录音回放攻击检测方法和***(CN102436810A),涉及智能语音信号处理、模式识别与人工智能技术领域,特别是涉及一种基于信道模式噪声的说话人识别***中录音回放攻击检测方法和***。本发明公开了一种说话人识别***中更加简便和高效的录音回放攻击检测方法,所述方法步骤如下:(1)输入待识别语音信号;(2)对语音信号进行预处理;(3)提取预处理后语音信号中的信道模式噪声;(4)提取基于信道模式噪声的长时统计特征;(5)根据信道噪声分类判决模型对长时统计特征进行分类。本发明利用信道模式噪声进行录音回放攻击检测,所提取的特征维数低,计算复杂度低,错误识别率低。因此,可极大提高说话人识别***的安全性能,更易于在现实中使用。
通过对比,本发明专利申请与上述专利公开文献存在本质的不同。
发明内容
本发明的目的在于克服现有技术的不足之处,为解决生物识别***中防止视频回放攻击问题,提供一种基于光照的人脸识别***回放攻击检测方法,该方法利用侧向闪烁光源照射下,三维人脸和平面人脸图像所展现出的不同光影效果为依据,采用图像处理技术和机器学习算法对视频回放攻击进行检测,该方法成本低廉、操作简单、可靠性高,能够满足不同场合的实际要求。
为了实现上述目的,本发明所采用的的技术方案如下:
一种基于光照的人脸识别***回放攻击检测方法,以普通视频采集设备采集的侧向闪烁光照条件下人脸视频为原始视频信号,通过对原始视频信号应用运动模板算法,得出原始视频信号对应的MHI图像序列为依据,对被测试样本为三维人脸还是屏幕人脸视频回放加以分类识别。
而且,具体步骤如下:
⑴使用视频采集设备在侧向闪烁光源照射条件下,采集要测试样本的黑白或彩***;
⑵对侧向闪烁光源照射条件下采集到的视频应用运动模板算法,得到对应的MHI图像序列;
⑶以侧向闪烁光源照射条件下采集到的MHI图像序列为依据,识别回放攻击,具体方法和步骤有如下两种:
a.使用从三维人脸上采集的MHI图像序列中的人脸部分为正样本,从屏幕回放上采集的 MHI图像序列中的人脸部分为负样本,提取Haarlike特征,训练Boosting分类器,该分类器用来探测MHI图像中是否含有符合三维人脸特征的区域;如扫描到的区域与视频中识别的人脸区域重合面积超过50%,则认为视频中识别的人脸样本为三维人脸;
b.使用从三维人脸上采集的MHI图像序列中的人脸部分为正样本,从屏幕回放上采集的MHI图像序列中的人脸部分为负样本,使用常用的机器学习算法训练一个分类器;当***从视频中识别出人脸后,按照人脸在图像中的位置提取其对应的MHI图像中的区域块,将 MHI区域块作为分类器的输入,由分类器输出识别结果;分类器输出为正样本时,认为视频中识别的人脸样本为三维人脸。
而且,所述步骤⑴中侧向闪烁光源满足的条件为:
光源的频谱范围为300nm~2500nm,光源闪烁频率范围为50Hz~0.3Hz,光源具有方向性,与人脸法线间有不大于90°的夹角。
而且,所述步骤⑴中视频采集设备满足的条件为:
视频采集设备为普通摄像机、摄像头或工业摄像机;采集方法为直接采集原始视频,或使用带有带通滤镜的镜头采集视频,滤波镜头的带通频率与光源频谱相同。
而且,所述步骤⑶中以侧向闪烁光源照射条件下采集到的MHI图像序列为依据,识别回放攻击,具体步骤如下:
①使用视频的帧间差,即视频的上一帧与下一帧的差值,得到视频中具有运动特征物体的边缘,即轮廓,这是一个二值图像;
②以时间戳,即当前***时间的浮点值,取代二值图像中的像素点,并将邻近的2-15帧累加;或不使用时间戳,直接将邻近的2-15帧步骤①中所述的二值图像累加。
而且,所述步骤⑶a中Boosting分类器的训练方法,具体步骤如下:
①使用视频的帧间差,即视频的上一帧与下一帧的差值,得到视频中具有运动特征物体的边缘,即轮廓,这是一个二值图像;
②以时间戳,即当前***时间的浮点值,取代二值图像中的像素点,并将邻近的2-15帧累加;或不使用时间戳,直接将邻近的2-15帧步骤①中所述的二值图像累加,采集基于三维人脸的MHI图像序列和基于回放设备的MHI图像序列;
③对于MHI图像序列中的图像进行人工筛选,将采集自三维人脸的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为正样本;
④将采集自回放设备的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为负样本1;
⑤将采集自三维人脸的MHI图像序列中的非人脸部分以正方形注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为负样本2;
⑥将采集自回放设备的MHI图像中的非人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为负样本3;
⑦取正样本不低于100个,负样本1、2、3各不低于100个,作为训练集;
⑧从训练集的样本中提取Haarlike特征;
⑨以提取到的Haarlike特征为训练样本,训练Boosting分类器,训练参数如下:
分类器类型为AdaBoost或GentleBoost;弱分类器的个数为100~2000个;训练权重系数为0.99~0.85之间;训练迭代次数大于2000次。
而且,所述步骤⑶a中分类器探测MHI图像中是否含有符合三维人脸特征的区域,具体步骤如下:
①使用分类器探测MHI图像中所有的三维人脸区域;
②对比所探测得到的三维人脸区域,如果与对应的视频帧中被识别的人脸区域面积重合超过50%,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸;
或者,所述步骤⑶b中,使用常用的机器学习算法训练一个分类器的具体步骤如下:
①使用视频的帧间差,即视频的上一帧与下一帧的差值,得到视频中具有运动特征物体的边缘,即轮廓,这是一个二值图像;
②以时间戳,即当前***时间的浮点值,取代二值图像中的像素点,并将邻近的2-15帧累加;或不使用时间戳,直接将邻近的2-15帧步骤①中所述的二值图像累加,采集基于三维人脸的MHI图像序列和基于回放设备的MHI图像序列;
③对于MHI图像序列中的图像进行人工筛选,将采集自三维人脸的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为正样本;
④将采集自回放设备的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为负样本1;
⑤将采集自三维人脸的MHI图像序列中的非人脸部分以正方形注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为负样本2;
⑥将采集自回放设备的MHI图像中的非人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值,即20*20像素至50*50像素之间,作为负样本3;
⑦取正样本不低于100个,负样本1、2、3各不低于100个,作为训练集;
⑧将训练集中的正负样本向量化,即将原始的n*n像素的MHI图像向量化为一个1*n2的向量;
⑨将向量化后的训练集作为训练样本,训练一个机器学习算法的分类器。
而且,所述训练一个机器学习算法的分类器具体为:
a.Boosting分类器:训练正样本不少于100个,负样本不少于300个、弱分类器不少于 400个、训练权重系数为0.99~0.85之间、训练迭代次数大于2000次;
或者,
b.各种深层渐层神经网络算法的训练,训练正样本不少于100个,负样本不少于300个、网络的输入节点对应输入向量的维数,即n2个输入节点,网络的层数为1-8层、网络的输出节点为1个,训练方法为梯度下降训练法。
而且,所述步骤⑶b中按照人脸在图像中的位置提取其对应的MHI图像中的区域块,将 MHI区域块作为分类器的输入,由分类器输出识别结果,具体步骤如下:
①根据视频中已识别出的人脸区域,选定对应位置的MHI图像,作为测试样本;
②将MHI测试样本缩放至训练集中的相同尺寸,即n*n大小;
③测试样本向量化,即将原始的n*n像素的MHI图像向量化为一个1*n2的向量;
④使用分类器,将向量化后的测试样本输入分类器,如分类器识别为正样本,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸。
如上所述的基于光照的人脸识别***回放攻击检测方法在生物识别技术领域方面的应用。
本发明取得的优点和积极效果是:
1、本方法通过抓住三维人脸与视频回放人脸的根本区别——被检测人脸成像区域为三维还是二维,三维物体由于本身的凹凸轮廓,在侧向闪烁光源照射下会形成具有特点的光影轮廓;而视频回放设备则不具备三维人脸应具有的凹凸轮廓,在侧向闪烁光源照射下会形成与三维人脸明显不同的光影效果;本发明利用运动模板算法生成MHI图像序列捕捉这个光影变化,使用经典机器学习算法对其进行分类识别,从而识别视频回放攻击;该方法基于被测试样本不同的空间几何特性进行检测,原理简单,可靠性高;该方法仅使用普通的视频采集设备,而且这些设备是生物识别***中的必需设备,不用对***额外加入硬件设备,成本低廉,且算法简单易于实现,能够满足不同场合的实际要求。
2、本方法的侧向光源既可使用可见光,也可使用例如近红外等不可见光,在使用不可见光源时,由于使用者无法看到光源,该方法将有更好的保密性和用户体验。
附图说明
图1本发明提取Haarlike特征所使用的矩形特征;
图2为本发明的结构原理图;
图3为本发明中原始样本采集图;其中,a使用本发明方法从三维人脸上采集彩***中的相邻帧,第一帧光源为关闭状态,第二帧光源为开启状态,b为使用本发明方法从视频回放设备上采集彩***相邻帧,第一帧光源为关闭状态,第二帧光源为开启状态;
图4为本发明中正负样本图;其中,a使用本发明方法从图3a上获取的MHI图像,b为使用本发明方法从图3b获取的MHI图像。
具体实施方式
下面结合实施例,对本发明进一步说明;下述实施例是说明性的,不是限定性的,不能以下述实施例来限定本发明的保护范围。
人脸识别***的回放攻击指使用智能手机、平板电脑或显示器等视频播放设备,播放带有人脸的视频,从而试图通过人脸识别***认证的行为。
本发明基于光照的人脸识别***回放攻击检测方法,其基本思路是:三维人脸与视频回放人脸具有根本性区别——被检测人脸成像区域为三维还是二维。三维物体由于本身的凹凸轮廓,在侧向闪烁光源照射下会形成具有特点的光影轮廓;而视频回放设备则不具备三维人脸应具有的凹凸轮廓,在侧向闪烁光源照射下会形成与三维人脸明显不同的光影效果。本发明利用运动模板算法生成MHI图像序列捕捉这个光影变化,使用经典机器学习算法对其进行分类识别,从而识别视频回放攻击。当检测到被测试样本含有符合三维人脸特征的光影变化时,即认为被测试样本非视频回放攻击。
本发明涉及一种基于光照的人脸识别***回放攻击检测方法,通过一个闪烁的侧向光源照射被测试样本,以被测试样本在该光源照射下形成的光影变化为原始信号。由于回放攻击***使用的是各种类型的显示设备,其显示界面为一个平面,而真实的人脸为一个3维物体,侧向照射的光源在这两类物体上会显示出不同的光影效果。本发明采用运动模板方法提取视频中的光影变化,以此为依据,并使用模式识别的常用算法,例如物体检测方法,在图像的光影变化图中检测是否存在非平面的人脸,或使用机器学习的常用算法,如Boosting方法,深度学习神经网络方法等对视频中已探测到得人脸区域对应的光影变化情况加以分类,识别是否为回放攻击,如图2所示。
实施例1
一种基于光照的人脸识别***回放攻击检测方法,步骤如下:
如图1所示,采集侧向闪烁光源照射下的视频,根据视频计算出相应的MHI图像序列。在MHI图像序列中人工分拣正负样本作为训练集。具体检测方法有两种:一、提取训练集的 Haarlike特征训练一个Boosting分类器,这个分类器具有识别MHI图像中三维人脸区域的能力。使用训练好的分类器在MHI图像中寻找三维人脸区域,当找到的区域与视频中被识别出的人脸区域面积重合超过50%,则判定视频中的人脸为三维人脸,否则即为视频回放攻击;二、直接使用训练集,采用常用的机器学习算法,例如Boosting算法或各种深层、浅层神经网络算法训练一个分类器,截取视频中被识别出的人脸位置所对应的局部MHI图像,把这个图像输入分类器,如分类器输出为正样本,则判定视频中的人脸为三维人脸,否则即为视频回放攻击。
所述的计算MHI图像序列,训练分类器,输出判定结果的具体步骤如下:
a.使用视频采集设备在侧向闪烁光源照射条件下,采集要测试样本的黑白或彩***,其中光源的频谱范围为300nm~2500nm,光源闪烁频率范围为50Hz~0.3Hz,光源应具有方向性,与人脸法线间有不大于90°的夹角,视频采集设备为普通摄像机、摄像头或工业摄像机,采集方法为直接采集原始视频,或使用带有带通滤镜的镜头采集视频,滤波镜头的带通频率与光源频谱相同。
b.对侧向闪烁光源照射条件下采集到的视频应用运动模板(Motion Template)算法,得到对应的MHI图像序列。使用视频的帧间差,即视频的上一帧与下一帧的差值,得到视频中具有运动特征物体的边缘,即轮廓,这是一个二值图像。以时间戳(当前***时间的浮点值) 取代二值图像中的像素点,并将邻近的几帧(2-15帧)累加;或不使用时间戳,直接将邻近的几帧(2-15帧)二值图像累加。
c.以侧向闪烁光源照射条件下采集到的MHI图像序列为依据,识别回放攻击,具体方法和步骤有如下两种:
<1>使用从三维人脸上采集的MHI图像序列中的人脸部分为正样本,从屏幕回放上采集的MHI图像序列中的人脸部分为负样本,提取Haarlike特征,训练Boosting分类器。该分类器可以用来探测MHI图像中是否含有符合三维人脸特征的区域。如扫描到的区域与视频中识别的人脸区域重合面积超过50%,则认为视频中识别的人脸样本为三维人脸。
其中,分类器训练步骤为:
①对于步骤b所得到的MHI图像序列中的图像进行人工筛选,将采集自三维人脸的MHI 图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为正样本。
②将采集自回放设备的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本1。
③将采集自三维人脸的MHI图像序列中的非人脸部分以正方形注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本2。
④将采集自回放设备的MHI图像中的非人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本3。
⑤取正样本不低于100个,负样本1、2、3各不低于100个,作为训练集。
⑥以图1所示的矩形特征,从训练集的样本中提取Haarlike特征。
⑦以提取到的Haarlike特征为训练样本,训练Boosting分类器,训练参数如下:
分类器类型为AdaBoost或GentleBoost,弱分类器的个数为100~2000个,训练权重系数为0.99~0.85之间,训练迭代次数大于2000次。
其中,识别步骤为:
使用训练好的分类器,探测MHI图像中所有的三维人脸区域。对比所探测得到的三维人脸区域,如果与对应的视频帧中被识别的人脸区域面积重合超过50%,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸。
<2>使用从三维人脸上采集的MHI图像序列中的人脸部分为正样本,从屏幕回放上采集的MHI图像序列中的人脸部分为负样本,使用常用的机器学习算法,训练一个分类器。当***从视频中识别出人脸后,按照人脸在图像中的位置提取其对应的MHI图像中的区域块,将 MHI区域块作为分类器的输入,由分类器输出识别结果。分类器输出为正样本时,认为视频中识别的人脸样本为三维人脸。
其中,分类器训练步骤为:
①对于步骤b所得到的MHI图像序列中的图像进行人工筛选,将采集自三维人脸的MHI 图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为正样本。
②将采集自回放设备的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本1。
③将采集自三维人脸的MHI图像序列中的非人脸部分以正方形注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本2。
④将采集自回放设备的MHI图像中的非人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本3。
⑤取正样本不低于100个,负样本1、2、3各不低于100个,作为训练集。
⑥将训练集中的正负样本向量化,即将原始的n*n像素的MHI图像向量化为一个1*n2的向量。
⑦将向量化后的训练集作为训练样本,训练一个机器学习算法的分类器,例如:adaBoost、 GentleBoost等Boosting分类器,训练正样本不少于100个,负样本不少于300个、弱分类器不少于400个、训练权重系数为0.99~0.85之间、训练迭代次数大于2000次。
其中,识别步骤为:
①根据视频中已识别出的人脸区域,选定对应位置的MHI图像,作为测试样本。
②将MHI测试样本缩放至训练集中的相同尺寸,即分类器训练步骤①中所描述的20*20 像素至50*50像素之间,即分类器训练步骤⑥中所述的n*n大小。
③测试样本向量化,即将原始的n*n像素的MHI图像向量化为一个1*n2的向量。
④使用训练好的分类器,将向量化后的测试样本输入分类器,如分类器识别为正样本,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸。
实施例2
一种基于光照的人脸识别***回放攻击检测方法,步骤如下:
(一)分类器训练样本集制作
首先由原始视频中使用相应方法确定样本在视频中的位置,例如复杂背景中的人脸检测等技术。根据原始视频计算相应的MHI图像序列,选取与人脸位置相对应的区域作为原始样本,如图3所示。人工对原始样本进行分拣,如果视频中的原始样本为三维人脸,则标记为正样本,否则标记为负样本。
上述提取可分类信号的具体步骤如下:
1、视频中识别对象初定位,如人脸识别中首先要进行复杂背景中人脸检测。
2、对侧向闪烁光源照射条件下采集到的视频应用运动模板(Motion Template)算法,得到对应的MHI图像序列,如图4所示。使用视频的帧间差,即视频的上一帧与下一帧的差值,得到视频中具有运动特征物体的边缘,即轮廓,这是一个二值图像。以时间戳(当前***时间的浮点值)取代二值图像中的像素点,并将邻近的几帧(2-15帧)累加;或不使用时间戳,直接将邻近的几帧(2-15帧)二值图像累加。
3、选取与人脸位置相对应的局部MHI图像区域作为原始样本并人工分拣,例如图3a为正样本,图3b为负样本。
4、使用正负样本组成训练样本集。
(二)分类器的训练:
1、将训练样本集中所有样本缩放至20*20像素大小。
2、取正样本1000个,负样本1、2、3各1000个,作为训练集。
3、以图1所示的矩形特征,从训练集的样本中提取Haarlike特征。
4、以提取到的Haarlike特征为训练样本,训练Boosting分类器,训练参数如下:
分类器类型为AdaBoost,弱分类器的个数为100~2000个,训练权重系数为0.99~0.85之间,训练迭代次数大于2000次。
上述分类器可以用来识别视频中人脸是否为三维人脸,抵御视频回放攻击,具体步骤如下:
使用训练好的分类器,探测MHI图像中所有的三维人脸区域。对比所探测得到的三维人脸区域,如果与对应的视频帧中被识别的人脸区域面积重合超过50%,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸。
实施例3
一种基于光照的人脸识别***回放攻击检测方法,步骤如下:
更改实施例2里面分类器类型为GentleBoost,可实现同样的识别效果。
实施例4
一种基于光照的人脸识别***回放攻击检测方法,步骤如下:
使用与实施例1(二)2相同的训练样本集训练一个深层神经网络,网络结构为6层,每一层都是由受限玻尔兹曼机(RBM,Restricted Boltzmann Machines)组成,各层输入输出节点分别为:第一层RBM,400输入节点,5000输出节点;第二层RBM,5000输入节点,2000输出节点;第三层RBM,2000输入节点,200输出节点;第四层RBM,200输入节点,50 输出节点;第五层RBM,50输入节点,10输出节点;第六层RBM,10输入节点,1输出节点。使用梯度下降法训练该网络。在识别阶段,当***从视频中识别出人脸后,按照人脸在图像中的位置提取其对应的MHI图像中的区域块,并缩放至20*20像素大小,输入深层神经网络,由神经网络输出识别结果。网络输出为正样本时,认为视频中识别的人脸样本为三维人脸。
同样可实现与实施例2相同的识别效果。
实施例5
一种基于光照的人脸识别***回放攻击检测方法,以普通视频采集设备采集的侧向闪烁光照条件下人脸视频为原始视频信号,通过对原始视频信号应用运动模板(MotionTemplate) 算法,得出原始视频信号对应的MHI图像序列(Motion History Image)为依据,对被测试样本为三维人脸还是屏幕人脸视频回放加以分类识别。
而且,基于光照的人脸识别***回放攻击检测方法,具体步骤如下:
(1)使用视频采集设备在侧向闪烁光源照射条件下,采集要测试样本的黑白或彩***:
a.光源的频谱范围为300nm~2500nm;
b.光源闪烁频率范围为50Hz~0.3Hz;
c.光源应具有方向性,与人脸法线间有不大于90°的夹角;
d.视频采集设备为普通摄像机、摄像头或工业摄像机;
e.采集方法为直接采集原始视频,或使用带有带通滤镜的镜头采集视频,滤波镜头的带通频率与光源频谱相同。
(2)对侧向闪烁光源照射条件下采集到的视频应用运动模板(Motion Template)算法,得到对应的MHI图像序列,具体方法为:
使用视频的帧间差,即视频的上一帧与下一帧的差值,得到视频中具有运动特征物体的边缘,即轮廓,这是一个二值图像。以时间戳(当前***时间的浮点值)取代二值图像中的像素点,并将邻近的几帧(2-15帧)累加;或不使用时间戳,直接将邻近的几帧(2-15帧)二值图像累加。
(3)以侧向闪烁光源照射条件下采集到的MHI图像序列为依据,识别回放攻击,具体方法和步骤有如下两种:
a.使用从三维人脸上采集的MHI图像序列中的人脸部分为正样本,从屏幕回放上采集的 MHI图像序列中的人脸部分为负样本,提取Haarlike特征,训练Boosting分类器。该分类器可以用来探测MHI图像中是否含有符合三维人脸特征的区域。如扫描到的区域与视频中识别的人脸区域重合面积超过50%,则认为视频中识别的人脸样本为三维人脸。
其中,分类器训练步骤为:
①对于步骤(2)所得到的MHI图像序列中的图像进行人工筛选,将采集自三维人脸的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20 像素至50*50像素之间),作为正样本。
②将采集自回放设备的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本1。
③将采集自三维人脸的MHI图像序列中的非人脸部分以正方形注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本2。
④将采集自回放设备的MHI图像中的非人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本3。
⑤取正样本不低于100个,负样本1、2、3各不低于100个,作为训练集。
⑥以图1所示的矩形特征,从训练集的样本中提取Haarlike特征。
⑦以提取到的Haarlike特征为训练样本,训练Boosting分类器,训练参数如下:
分类器类型为AdaBoost或GentleBoost,弱分类器的个数为100~2000个,训练权重系数为0.99~0.85之间,训练迭代次数大于2000次。
其中,识别步骤为:
①使用训练好的分类器,探测MHI图像中所有的三维人脸区域。
②对比所探测得到的三维人脸区域,如果与对应的视频帧中被识别的人脸区域面积重合超过50%,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸。
b.使用从三维人脸上采集的MHI图像序列中的人脸部分为正样本,从屏幕回放上采集的MHI图像序列中的人脸部分为负样本,使用常用的机器学习算法,例如adaBoost、GentleBoost等Boosting分类器,或各种深层浅层神经网络算法训练一个分类器。当***从视频中识别出人脸后,按照人脸在图像中的位置提取其对应的MHI图像中的区域块,将MHI区域块作为分类器的输入,由分类器输出识别结果。分类器输出为正样本时,认为视频中识别的人脸样本为三维人脸。
其中,分类器训练步骤为:
①对于步骤(2)所得到的MHI图像序列中的图像进行人工筛选,将采集自三维人脸的 MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20 像素至50*50像素之间),作为正样本。
②将采集自回放设备的MHI图像中的人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本1。
③将采集自三维人脸的MHI图像序列中的非人脸部分以正方形注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本2。
④将采集自回放设备的MHI图像中的非人脸区域以正方形标注出来,并将其分辨率重新调整至一个较小的值(20*20像素至50*50像素之间),作为负样本3。
⑤取正样本不低于100个,负样本1、2、3各不低于100个,作为训练集。
⑥将训练集中的正负样本向量化,即将原始的n*n像素的MHI图像向量化为一个1*n2的向量。
⑦将向量化后的训练集作为训练样本,训练一个机器学习算法的分类器,例如:
<1>adaBoost、GentleBoost等Boosting分类器,训练正样本不少于100个,负样本不少于300个、弱分类器不少于400个、训练权重系数为0.99~0.85之间、训练迭代次数大于2000 次。
<2>各种深层渐层神经网络算法的训练,训练正样本不少于100个,负样本不少于300 个、网络的输入节点对应输入向量的维数,即n2个输入节点。网络的层数为1-8层、网络的输出节点为1个,训练方法为梯度下降训练法。
其中,识别步骤为:
①根据视频中已识别出的人脸区域,选定对应位置的MHI图像,作为测试样本。
②将MHI测试样本缩放至训练集中的相同尺寸,即分类器训练步骤①中所描述的20*20 像素至50*50像素之间,即分类器训练步骤⑥中所述的n*n大小。
③测试样本向量化,即将原始的n*n像素的MHI图像向量化为一个1*n2的向量。
④使用训练好的分类器,将向量化后的测试样本输入分类器,如分类器识别为正样本,则认为视频中被探测到的人脸区域为三维人脸,否则认为该区域为视频回放人脸。
以上述依据本发明的理想实施案例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本想发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。