CN103106397A - 基于亮瞳效应的人脸活体检测方法 - Google Patents

Abstract

本发明公开了基于亮瞳效应的人脸活体检测方法，以亮瞳效应作为真实人脸的活体特征，通过在被检测人脸的眼睛区域检测是否存在亮瞳效应，从而区分真实人脸和照片视频中的人脸。该方法包括以下步骤：亮暗瞳图像采集；人脸检测；亮瞳效应检测。首先，通过亮暗瞳图像采集设备获取亮瞳图像和暗瞳图像并进行差分处理。然后在暗瞳图像上检测人脸，如果检测到人脸则划定眼睛区域，并在眼睛区域检测亮瞳效应，若存在亮瞳效应则判定该人脸为真实人脸，否则判定为照片或视频中的人脸。本发明可应用于各种基于人脸图像分析的智能视频监控当中，通过增加可靠的基于亮瞳效应的活体检测技术，使视频监控具有防御回放攻击的能力。

Description

基于亮瞳效应的人脸活体检测方法

技术领域

本发明涉及图像处理和模式识别技术领域，具体是一种基于亮瞳效应的人脸活体检测方法。

背景技术

在近几年，智能图像处理技术和模式识别技术得到了长足的发展，人脸检测和人脸识别技术也逐渐成熟。由于人脸的个体差异明显，可以作为身份识别特征，所以人脸识别技术越来越多地被应用在门禁、登录***当中，这些***在良好的运行环境下都能得到较好的识别结果。然而这些***目前还有比较明显的缺陷，就是缺少正确区分真实人脸和视频照片中人脸的能力，用户可以利用照片或视频进行回放攻击欺骗***，使***失效。因此，寻找有效可行的活体检测方法抵御照片和视频回放攻击成为人脸识别技术普及应用的关键。

为了促进基于人脸图像分析的智能监控***的发展，活体检测方法得到越来越多的重视和关注，不少具有启发性、创新性的想法被提出。目前的人脸活体检测方法分为基于脸部动态特征和基于脸部生物特征两类，前者以嘴巴、眼睛或头部的运动变化作为人脸的活体特征，后者则以人脸温度、反光率等生物信息作为人脸的活体特征。基于脸部动态特征的方法需要用户配合做出一系列规定动作才能通过活体检测，用户体验差，容易受外部环境影响。后来也发展出不需要用户配合的方法，如眨眼法，以正常人平均眨眼频率作为活体特征，但该特征个体差异较大，不能很好地表征真实人脸。由于基于脸部动态特征的方法缺陷较多，而且只能区分照片与真实人脸，无法抵御视频回放攻击，所以实用性较差。而基于脸部生物特征的算法可以抵御照片和视频回放攻击，但距离应用要求还有不足之处，如以人脸温度为特征的算法需要昂贵的热红外成像设备，以人脸反光率为特征的算法则要求用户把头部固定在规定位置。所以只有寻找到有效可行的人脸活体特征，并且该特征的检测无需限制用户的行动，才能保证人脸活体检测高效准确的同时提高用户体验，促进基于人脸图像分析的安防***的应用和普及。

发明内容

本发明克服了现有人脸活体检测技术的上述不足，提出了一种以亮瞳效应作为活体特征的人脸活体检测技术。本发明首先通过亮暗瞳图像采集设备获取暗瞳图像和亮暗瞳差分图像，然后通过人脸检测算法检测暗瞳图像中是否存在人脸，若存在人脸则利用亮暗瞳差分图像进行亮瞳效应检测，以是否存在亮瞳效应为根据，区分真实人脸和照片视频中的人脸。本发明通过如下技术方案实现：

基于亮瞳效应的人脸活体检测方法，该方法以亮瞳效应作为人脸活体特征进行人脸活体检测，具体为通过亮瞳效应检测算法判断被检测人脸是否存在亮瞳效应，若存在亮瞳效应则判定该人脸为真实人脸，否则判定为照片或视频中的人脸。

上述方法中，根据亮暗瞳差分图像的人脸眼睛区域是否存在圆形亮斑，判断人脸是否存在亮瞳效应。

上述方法中，具体包括以下步骤：

(1)、亮暗瞳图像采集设备采集亮瞳图像和暗瞳图像，进行差分处理获得亮暗瞳差分图像；

(2)、在暗瞳图像上进行人脸检测，获取人脸位置和大小信息；

(3)、利用亮瞳效应检测算法检测人脸是否存在亮瞳效应，判断人脸活性，进而判定该人脸是否为真实人脸。

上述方法中，所述的亮瞳效应检测算法包括以下步骤：

(3.1)、根据人脸的位置、大小信息，结合人脸器官分布规律定位眼睛区域；

(3.2)、对眼睛区域的亮暗瞳差分图像进行二值化处理，获得眼睛区域的二值图像；

(3.3)、对眼睛区域的二值图像进行形态学处理中的开运算去除细小的干扰团块，然后进行形态学处理中的闭运算连通相邻团块和填充细小空洞；

(3.4)、利用模板匹配算法判断是否存在亮瞳效应。

上述方法中，所述的亮暗瞳图像采集设备包括：红外摄像头、两组由LED灯组成的红外光源、FPGA芯片以及外部存储器；所述两组红外光源其中一组靠近红外摄像头并围绕红外摄像头分布，称为近轴红外光源，另外一组与红外摄像头的距离比近轴红外光源与红外摄像头的距离更远，同样围绕红外摄像头分布，称为远轴红外光源；所述FPGA芯片控制两组红外光源交替亮灭，通过红外摄像头采集亮瞳图像和暗瞳图像并进行差分处理。

上述方法中，步骤（1）包括：FPGA芯片首先点亮远轴红外光源26，同时熄灭近轴红外光源21，采集暗瞳图像并保存在外部存储器中；然后点亮近轴红外光源21，同时熄灭远轴红外光源26，采集亮瞳图像，每采集亮瞳图像一个像素的灰度值，同时读出保存在外部存储器中的暗瞳图像相同位置像素的灰度值，用亮瞳图像的灰度值减去暗瞳图像的灰度值得到亮暗瞳差分图像。

上述方法中，步骤（3.1）包括：人脸检测算法定位的人脸区域是矩形区域，设人脸区域的垂直方向大小为h像素，水平方向大小为w像素，划定人脸区域垂直方向距离底边高

到

的区域为眼睛区域，得到的眼睛区域的垂直方向大小为

像素，水平方向大小为w像素。

上述方法中，步骤(3.4)包括：根据亮瞳效应在二值图像中的图像特征，建立中间圆形区域灰度值为255，其他区域灰度值为0的矩形模板，称为亮瞳效应特征模板；在水平方向上把人眼区域分为左右两个大小一致的区域，左边的区域为左眼区域，右边的区域为右眼区域；利用与亮瞳效应特征模板大小一致的检测窗口遍历眼睛区域的二值图像，检测窗口内的二值图像称为子图，计算亮瞳效应特征模板与每一个子图的相关系数；统计左眼区域内的相关系数最大值，统计右眼区域内的相关系数最大值；若左眼区域和右眼区域内的两个相关系数最大值都大于预定的相关系数阈值，则判定为存在亮瞳效应，结束检测，否则增加模板的大小，重复前面的操作；若模板的大小增加后大于预定的模板大小阈值，则判定为不存在亮瞳效应，结束检测。

与现有技术相比，本发明的人脸活体检测方法具有很高的可靠性，利用亮瞳效应对人脸图像进行活体检测，区分真实人脸和照片以及视频中的人脸。本发明提出的活体检测方法无需用户做出规定动作，特征隐蔽性强，同时拥有较好的用户体验。本发明能应用于各类基于人脸图像分析的安防***中，如智能门禁***，为***提供抵御照片和视频回放攻击的能力，保证此类安防***的正常运行。

附图说明

图1是本发明具体实施方式中的工作流程示意图。

图2是本发明中近轴红外光源21和远轴红外光源26的分布示意图。

图3a、图3b是产生亮瞳效应的原理示意图。

图4a～图4c是眼睛区域的亮瞳图像、暗瞳图像和将眼睛区域的亮暗瞳差分图像进行二值化处理后得到的二值图像。

图5是亮瞳效应检测算法流程示意图。

图6是用于检测亮瞳效应的亮瞳效应特征模板。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本实施方式中，通过检测人脸是否存在亮瞳效应判断人脸是否为真实活体人脸，具体检测流程如图1所示。本发明首先通过亮暗瞳图像采集设备获取亮瞳图像和暗瞳图像，进行差分处理后，把暗瞳图像和亮暗瞳差分图像传输到人脸活体检测模块。人脸活体检测模块在暗瞳图像上进行人脸检测，若检测到人脸，则根据人脸位置、大小信息和人脸器官分布规律划出人眼区域，最后利用人眼区域的亮暗瞳差分图像进行亮瞳效应检测，若存在亮瞳效应则将被检测人脸判定为真实人脸，否则判定为照片或视频中的人脸。所述人脸活体检测模块的具体硬件实现可以是各种数字图像处理***或平台，例如DSP平台、PC计算机、ARM平台、SOPC等。

本实施方式中，利用亮暗瞳图像采集设备获取亮暗瞳图像并进行差分处理，并传输到人脸活体检测模块。亮暗瞳图像采集设备由红外摄像头20、两组由LED灯组成的红外光源、FPGA芯片以及外部存储器构成。

本实施方式中，两组红外光源以红外摄像头20为中心分别成圆形分布，如图2所示。其中接近红外摄像头20的一组称为近轴红外光源21，另外一组与红外摄像头20的距离更远，称为远轴红外光源26。

本实施方式中，利用亮瞳效应作为真实人脸的活体特征实现活体检测。亮瞳效应的原理是由于眼角膜可以反射光，靠近红外摄像头20的近轴红外光源21发出的光经过瞳孔25进入眼球内部，经过眼角膜反射后会从瞳孔25射出。由于红外摄像头20与近轴红外光源21非常接近，可以看作是同一个点，入射光路22与反射光路23接***行，如图3a所示，红外摄像头20捕获到反射光路23上的光，使得人脸图像上的瞳孔25很亮。对于远轴红外光源26，进入瞳孔25的入射光路27也会产生反射光路28，但由于远轴红外光源26与红外摄像头20距离较远，反射光路28的光不能进入红外摄像头20，因此人脸图像上的瞳孔25较暗，如图3b所示。而照片或视频中人脸的瞳孔区域不会出现这种差异现象，所以亮瞳效应是真实人脸的一个可靠明显的活体特征。因此，可以通过检测是否存在亮瞳效应区分真实人脸和照片或视频中的人脸。

本实施方式中，调节两组红外光源的亮度，使得两组光源分别点亮时除瞳孔25以外的区域亮暗基本不变，即亮瞳图像和暗瞳图像在非瞳孔区域灰度值基本一致。例如，眼睛区域的亮瞳图像如图4a所示，眼睛区域的暗瞳图像如图4b所示，他们在非瞳孔区域灰度值基本一致，如眼睛24的非瞳孔区域和皮肤41覆盖的区域。经过亮瞳图像减去暗瞳图像的差分运算获得亮暗瞳差分图像后，真实人脸的亮瞳效应特征将会非常明显，而视频或照片中的人脸则不会出现这种特征。将亮暗瞳差分图像与阈值进行比较实现二值化处理，可以得到更为简单的二值图像，其中眼睛区域的二值图像如图4c所示。该图像中真实人脸瞳孔25产生的亮瞳效应特征更加明显，可以使后续处理更为简单。

本实施方式中，FPGA芯片根据亮瞳效应的产生原理控制两组红外光源交替亮灭，通过红外摄像头20采集亮瞳图像和暗瞳图像，并实现差分处理，然后传输至人脸活体检测模块。FPGA芯片首先点亮近轴红外光源21，同时熄灭远轴红外光源26，通过红外摄像头20采集暗瞳图像，同时保存在外部存储器中并输出到人脸活体检测模块，输出时把第一个像素点的灰度值赋为0以表征输出图像的是暗瞳图像。然后，FPGA芯片点亮远轴红外光源26，同时熄灭近轴红外光源21，红外摄像头20采集到的图像为暗瞳图像，每采集亮瞳图像一个像素的灰度值，则读出保存在外部存储器中的暗瞳图像相同位置像素的灰度值，用亮瞳图像的灰度值减去暗瞳图像的灰度值得到亮暗瞳差分图像相同位置像素的灰度值，同时输出亮暗瞳差分图像到人脸活体检测模块，输出时把第一个像素点的灰度值赋为255以表征输出图像的是亮暗瞳差分图像。

本实施方式中，采用基于Haar特征的Adaboost人脸检测算法在暗瞳图像上进行人脸检测，定位人脸在图像上的位置以及大小，定位的人脸区域为矩形区域。根据人脸器官分布规律，眼睛24在距离人脸底部

人脸高度到

人脸高度的区域内，本发明定义该区域为眼睛区域，在眼睛区域进行亮瞳效应检测可以增加***的准确性。

本实施方式中，利用亮瞳效应检测捕捉到的人脸是否具有活体，从而区分真实人脸和照片视频中的人脸。由于真实人脸存在亮瞳效应，在图像上反映为亮暗瞳差分图像上的人脸眼睛区域存在两个圆形的亮斑。同时为了简化运算，对亮暗瞳差分图像进行二值化处理，采用二值模板进行匹配。根据亮瞳效应在二值图像中的图像特征，建立中间圆形区域灰度值为255，其他区域灰度值为0的矩形模板，称为亮瞳效应特征模板，如图6所示。该亮瞳效应检测算法流程如图5所示，其具体步骤如下：

1.人脸检测算法定位的人脸区域是矩形区域，设人脸区域的垂直方向大小为h像素，水平方向大小为w像素，划定人脸区域垂直方向距离底边高

到

的区域为眼睛区域，得到的眼睛区域的垂直方向大小为

像素，水平方向大小为w像素。

2.以步骤1划定的眼睛区域为范围，读取眼睛区域的亮暗瞳差分图像。

3.为了使亮瞳特征更加突出，利用眼睛区域的亮暗瞳差分图像与设定阈值进行比较实现二值化处理，生成眼睛区域的二值图像。

4.对二值图像进行形态学处理中的开运算，去除细小的非瞳孔干扰团块。

5.对开运算后的二值图像进行形态学处理中的闭运算，连通相邻团块和填充细小空洞。

6.在水平方向上把人眼区域分为左右两个大小一致的区域，左边的区域为左眼区域，右边的区域为右眼区域；

7.利用与亮瞳效应特征模板大小一致的检测窗口遍历眼睛区域的二值图像，检测窗口内的二值图像称为子图，计算亮瞳效应特征模板与每一个子图的相关系数。

8.统计左眼区域内的相关系数最大值，统计右眼区域内的相关系数最大值；

9．分别将左眼区域和右眼区域各自的相关系数最大值与设定阈值进行比较，如果两个最大值都大于阈值则判定存在亮瞳效应，结束检测。否则增加亮瞳效应特征模板的大小，重复步骤7。若模板大小达到设定的上限都没检测到亮瞳效应，则判定不存在亮瞳效应，结束检测。

本实施方式中，使用相关系数表示亮瞳效应特征模板与子图的匹配程度，并根据亮瞳效应特征模板与子图的匹配程度判断是否存在亮瞳效应。相关系数根据归一化的相关函数计算得到：

$R(i,j)=\frac{\underset{m=1}{\overset{v}{\mathrm{\Σ}}}\underset{n=1}{\overset{l}{\mathrm{\Σ}}}{D}_{i,j}(m,n)\×T(m,n)}{\sqrt{\underset{m=1}{\overset{v}{\mathrm{\Σ}}}\underset{n=1}{\overset{l}{\mathrm{\Σ}}}{\left|D_{i,j}(m,n)\right|}^2}\sqrt{\underset{m=1}{\overset{v}{\mathrm{\Σ}}}\underset{n=1}{\overset{l}{\mathrm{\Σ}}}{\left|T(m,n)\right|}^2}}$

检测窗口遍历时，以人眼区域的左上角点为起始点，因此以人眼区域的左上角为原点，水平向右为x轴正方向，垂直向下为y轴正方向建立坐标系。(i,j)表示检测窗口左上角在坐标系中的坐标，R(i,j)表示该检测窗口确定的子图与亮瞳效应特征模板的相关系数，D_i，j是该检测窗口确定的子图，T为亮瞳效应特征模板图像，v和l分别是模板图像的水平宽度和垂直高度。D_i，j(m,n)表示子图上一个点的灰度值，该点距离子图左上角水平向右m个像素，垂直向下n个像素。T(m,n)表示亮瞳效应特征模板上一个点的灰度值，该点距离亮瞳效应特征模板左上角水平向右m个像素，垂直向下n个像素。根据上式求得的亮瞳效应特征模板与子图相关系数越大说明亮瞳效应特征模板与子图的匹配程度越高，当相关系数大于一设定值时，可以认为子图与亮瞳效应特征模板是一样的，即所获取的人脸存在亮瞳效应。若没有子图与亮瞳效应特征模板的相关系数大于设定值，则认为所获取的人脸不存在亮瞳效应，从而实现亮瞳效应检测。

Claims (8)

1.基于亮瞳效应的人脸活体检测方法，其特征在于：以亮瞳效应作为人脸活体特征进行人脸活体检测，具体为通过亮瞳效应检测算法判断被检测人脸是否存在亮瞳效应，若存在亮瞳效应则判定该人脸为真实人脸，否则判定为照片或视频中的人脸。

2.根据权利要求1所述的方法，其特征在于：根据亮暗瞳差分图像的人脸眼睛区域是否存在圆形亮斑，判断人脸是否存在亮瞳效应。

3.根据权利要求1所述的方法，其特征在包括以下步骤：

(1)、亮暗瞳图像采集设备采集亮瞳图像和暗瞳图像，进行差分处理获得亮暗瞳差分图像；

(2)、在暗瞳图像上进行人脸检测，获取人脸位置和大小信息；

(3)、利用亮瞳效应检测算法检测人脸是否存在亮瞳效应，判断人脸活性，进而判定该人脸是否为真实人脸。

4.根据权利要求3所述的方法，其特征在于所述的亮瞳效应检测算法包括以下步骤：

(3.1)、根据人脸的位置、大小信息，结合人脸器官分布规律定位眼睛区域；

(3.2)、对眼睛区域的亮暗瞳差分图像进行二值化处理，获得眼睛区域的二值图像；

(3.3)、对眼睛区域的二值图像进行形态学处理中的开运算去除细小的非瞳孔干扰团块，然后进行形态学处理中的闭运算连通相邻团块和填充细小空洞；

(3.4)、利用模板匹配算法判断是否存在亮瞳效应。

5.根据权利要求3所述的方法，其特征在于所述的亮暗瞳图像采集设备包括：红外摄像头、两组由LED灯组成的红外光源、FPGA芯片以及外部存储器；所述两组红外光源其中一组靠近红外摄像头并围绕红外摄像头分布，称为近轴红外光源，另外一组与红外摄像头的距离比近轴红外光源与红外摄像头的距离更远，同样围绕红外摄像头分布，称为远轴红外光源；所述FPGA芯片控制两组红外光源交替亮灭，通过红外摄像头采集亮瞳图像和暗瞳图像并进行差分处理。

6.根据权利要求5所述的方法，其特征在于步骤（1）包括：FPGA芯片首先点亮远轴红外光源26，同时熄灭近轴红外光源21，采集暗瞳图像并保存在外部存储器中；然后点亮近轴红外光源21，同时熄灭远轴红外光源26，采集亮瞳图像，每采集亮瞳图像一个像素的灰度值，同时读出保存在外部存储器中的暗瞳图像相同位置像素的灰度值，用亮瞳图像的灰度值减去暗瞳图像的灰度值得到亮暗瞳差分图像。

7.根据权利要求4所述的方法，其特征在于步骤（3.1）包括：人脸检测算法定位的人脸区域是矩形区域，设人脸区域的垂直方向大小为h像素，水平方向大小为w像素，划定人脸区域垂直方向距离底边高                                               h到h的区域为眼睛区域，得到的眼睛区域的垂直方向大小为

h像素，水平方向大小为w像素。

8.根据权利要求3所述的方法，其特征在于步骤（3.4）包括：根据亮瞳效应在二值图像中的图像特征，建立中间圆形区域灰度值为255，其他区域灰度值为0的矩形模板，即亮瞳效应特征模板；在水平方向上把人眼区域分为左右两个大小一致的区域，左边的区域为左眼区域，右边的区域为右眼区域；利用与亮瞳效应特征模板大小一致的检测窗口遍历眼睛区域的二值图像，检测窗口内的二值图像称为子图，计算亮瞳效应特征模板与每一个子图的相关系数；统计左眼区域内的相关系数最大值，统计右眼区域内的相关系数最大值；若左眼区域和右眼区域内的两个相关系数最大值都大于预定的相关系数阈值，则判定为存在亮瞳效应，结束检测，否则增加模板的大小，重复前面的操作；若模板的大小增加后大于设定的模板大小阈值，则判定为不存在亮瞳效应，结束检测。

Images