具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种人脸识别方法、装置和设备。能够精确辨别人脸假体和活体,提高人脸识别的安全性。以下分别进行详细说明。
请参阅图1,图1是本发明实施例公开的一种人脸识别方法的流程示意图。其中,图1所示的方法可以应用于人脸识别防盗门、人脸识别门禁考勤***、公安、司法和刑侦的追踪***等。如图1所示,该人脸识别方法可以包括以下步骤:
101、人脸识别装置采集人脸视频图像,并对该人脸视频图像中的眼睛进行动态追踪。
本发明实施例中,当用户站在人脸识别装置的摄像头前,摄像头可以采集用户的人脸视频图像,然后从人脸视频图像中定位出人脸区域图像,根据人脸区域图像识别人脸的面部特征。例如,人脸识别装在在定位出人脸区域图像后,可以根据人脸的各个特征点(如眼睛、鼻子、嘴、耳朵、眉毛、额头、脸部等)的特征信息以及各个特征点之间的位置关系确定出每个特征点在人脸区域图像中的位置。
因此,人脸识别装置在确定出人脸区域图像中各个特征点在人脸区域图像中的位置后,可以对用户的眼睛进行动态追踪,具体可以是对用户的眼球进行动态追踪。具体是,当用户在视频图像采集范围内移动位置时,人脸识别装置可以及时对眼睛进行定位,然后追踪眼睛(或者眼球)在视频图像中的移动轨迹。
102、人脸识别装置在对眼睛进行动态追踪的过程中,检测眼睛的眨眼频率。
本发明实施例中,人脸识别装置在对眼睛进行动态追踪的过程中,可以检测眼睛的眨眼频率。具体方式可以为:
人脸识别装置在对眼睛进行动态追踪的过程中,可以按照预设时间间隔从人脸视频图像中抓取预设数量的人脸图像,然后根据预设数量的人脸图像检测眼睛的眨眼频率。
其中,预设时间间隔可以是0.1秒,也可以是0.03秒,即人脸识别装置可以每隔0.1秒抓取一帧图像,也可以每隔0.03秒抓取一帧图像,本发明实施例不做限定。预设数量可以是30帧,也可以是50帧,还可以是100帧,本发明实施例不做限定。
具体实现中,人脸识别装置可以从预设数量的人脸图像中检测出眼睛在不同时刻的状态,该状态时指睁眼状态和闭眼状态。当眼睛的状态由睁眼变为闭眼时,即记为一次眨眼,人脸识别装置结合抓取人脸图像的时间间隔和判断为眨眼的人脸图像在抓取过程中的排序,从而可以计算出眼睛的眨眼频率。
举例来说,假设人脸识别装置抓取人脸图像的时间间隔为0.1秒,人脸识别装置在从抓取人脸图像开始的第12帧人脸图像中检测出眼睛状态为闭眼状态,并在第42帧人脸图像中再次检测出眼睛状态为闭眼状态,那么人脸识别装置即可确定两次眨眼的时间间隔为3秒,从而可以粗略估算出该用户的眨眼频率为20次/分钟。
作为一种可行的实施方式,人脸识别装置检测眼睛的眨眼频率的具体方式可以包括以下步骤:
11)捕捉眼睛的眼球形状和眼球面积;
12)根据该眼球形状和眼球面积确定眼睛的状态,其中,该状态包括睁眼状态和闭眼状态;
13)记录在预设时间段内眼睛的状态由睁眼状态变为闭眼状态的次数;
14)将该次数确定为眼睛的眨眼频率。
具体实现中,人脸识别装置可以是在人脸视频图像中对眼睛进行动态追踪的过程中捕捉眼睛的眼球形状和眼球面积,也可以是在预设数量的人脸图像中捕捉眼睛的眼球形状和眼球面积,即在按照预设时间间隔从人脸视频图像中抓取人脸图像的过程中捕捉,本发明实施例不做限定。
因此,人脸识别装置在捕捉眼睛的眼球形状和眼球面积后,即可根据捕捉的眼球形状和眼球面积确定出眼睛当前是处于睁眼状态还是处于闭眼状态。具体的,人脸识别装置可以实时检测眼球的形状和面积,并记录眼球当前的形状和面积所保持的时间,当所保持的时间大于等于一秒时,即可确定该形状和面积所对应的眼睛状态为睁眼状态。当检测到眼球的形状和面积变化较大,且所持续的时间很短,如0.01秒,那么可以确定该眼睛状态为闭眼状态,由睁眼状态变化为闭眼状态的过程即为眼睛的眨眼过程。
同时,人脸识别装置在确定出眼睛的状态后,即可实时记录在预设时间段内眼睛由睁眼状态变化为闭眼状态的次数,该次数即为眼睛的眨眼频率。其中,预设时间段可以是20秒,也可以是30秒,还可以是1分钟,本发明实施例不做限定。
又举例来说,假设人脸识别装置在20秒内记录的眼睛由睁眼状态变化为闭眼状态的次数为8次,那么人脸识别装置也可以计算出该用户的眨眼频率为24次/分钟。
103、人脸识别装置判断该眨眼频率是否在预设频率范围内,若是,执行步骤104;若否,执行步骤105。
对人类而言,眼睛是很重要的器官,为了保护重要的眼睛,在眼球的上下侧各有一个“盖子”,这就是眼睑。我们称极短的时间为“瞬间”,瞬的原意是眼睑上下接触,亦即“眨眼”,眨眼所需时间极短,称为“瞬间”。眼睑在保护眼球不受光线或尘埃侵害的同时,也借助眨眼让泪液的薄膜扩散到眼球表面(角膜),使角膜不至于干燥,眨眼其实是让眼球保持湿润的动作。
眨眼通常是两眼一起动作,而且是在无意识下发生的。成人的眨眼次数一分钟约20次,而眨眼一次的时间大约为秒。如果从一分钟眨眼20次、一天16小时醒着来计算,人一天大约眨眼19200次。当人的心情不平静时,眨眼的次数会增加;而当人集中注意力在某件事情上时,眨眼次数则会减少。
本发明实施例中,人脸识别装置在检测出眼睛的眨眼频率后,即可判断该眨眼频率是否在预设频率范围内,如果在,则在一定程度上说明该人脸为真的人脸(也可以说是活人的人脸),如果不在,则在一定程度上说明该人脸为仿制的人脸,即假的人脸。
其中,由于人们在不同的时间、不同心情下眨眼频率会有所不听,那么可以设定正常人的眨眼频率为10~30,即预设频率范围可以为10~30次/分钟,本发明实施例不做限定。
104、人脸识别装置确定人脸为活体。
本发明实施例中,人脸识别装置在判断出该眼睛的眨眼频率在预设频率范围内时,即可在一定程度上确定该人脸为人脸活体。
105、人脸识别装置确定人脸为假体。
本发明实施例中,人脸识别装置在判断出该眼睛的眨眼频率不在预设频率范围内时,即可在一定程度上确定该人脸为人脸假体。
进一步的,人脸识别装置在判断出该眼睛的眨眼频率不在预设频率范围内时,可以输出预警提示,提示该人脸为假体。
举例来说,一些银行保险***需要通过人脸识别来获取进入保险库的权限,如果犯罪分子制作一张假的人脸,那么人脸识别装置在对人脸识别通过后,即识别出该人脸具有进入保险库的权限后,就可以通过采集人脸视频图像中眼睛的眨眼频率,并判断该眨眼频率是否在正常人的眨眼频率范围内,如果在,则在一定程度上表明该人脸为活体人脸。如果该人脸识别装置对人脸识别不通过,或者检测其眨眼频率不在正常人的眨眼频率范围内,那么人脸识别装置可以发出预警提示,以提示银行工作人员或者公安机关保险库存在安全隐患。银行工作人员或者公安机关在接收到该预警提示后,可以采取相应的防护措施,保障财产的安全。
可见,在图1所描述的方法中,人脸识别装置可以对人脸中的眼睛进行动态追踪,并在动态追踪过程中检测眼睛的眨眼频率,在眨眼频率在预设频率范围内时,确定人脸为活体,即真的人脸,并在眨眼频率不在预设频率范围内时,确定人脸为假体,即假的人脸。通过本发明实施例,可以通过眨眼频率可以精确辨别人脸的真假,从而可以提高人脸识别的安全性。
请参阅图2,图2是本发明实施例公开的另一种人脸识别方法的流程示意图。如图2所示,该人脸识别方法可以包括以下步骤:
201、人脸识别装置采集人脸视频图像,从该人脸视频图像中提取人脸的面部特征信息。
其中,面部特征信息可以是指人脸的各个特征点的位置信息以及各个特征点之间的位置关系,本发明实施例不做限定。
本发明实施例中,人脸识别装置可以预先存储人脸区域的各个特征点的位置信息。人脸识别装置在采集到人脸视频图像后,首先确定人脸区域,并基于存储的人脸区域的各个特征点的位置信息查找人脸视频图像中各个特征点的位置,具体可以是将存储的人脸区域的图像覆盖到人脸视频图像中,并在覆盖的人脸区域的图像中各个特征点对应于人脸视频图像的人脸区域中的位置的附近查找人脸视频图像中各个特征的位置,从而确定出人脸的面部特征信息。
202、人脸识别装置判断数据库中是否存在与该面部特征信息匹配的人脸图像,若是,执行步骤203;如否,结束本流程。
本发明实施例中,数据库中可以预先存储不同的人脸图像,该数据库可以是人脸识别装置本地的数据库,也可以是服务器的数据库,那么人脸识别装置就需要从服务器同步或者获取存储的人脸图像。
本发明实施例中,人脸识别装置在确定出人脸视频图像中用户的面部特征信息后,可以进行人脸识别,例如,基于模板匹配的方法进行识别,即从数据库中查找与该面部特征信息匹配的人脸图像。
需要说明的是,与该面部特征信息匹配的人脸图像可以理解为:该面部特征信息与数据库中存储的人脸图像的面部特征信息的相似度超过一定比例,即确定两者匹配,该比例可以设定为85%,也可以设定为90%,还可以设定为95%,本发明实施例不做限定。
具体的,寻找人脸视频图像中用户面部的多个特征点,如眼睛、鼻子、嘴、眉毛等,并将数据库中每个人脸图像中面部对应的特征点进行对比,比较每个特征点的形状大小等,如果相似度均超过设定的比例,那么可以初步确定人脸视频图像中的用户与数据库中人脸图像所标识的用户为同一用户。进一步的,如果确定出多个相似度超过比例的人脸图像,则将平均相似度最高的人脸图像确定为与该人脸视频图像中用户匹配的人脸图像。
可选的,人脸识别装置进行人脸识别的方式还可以包括:基于奇异值特征方法、子空间分析法、局部保持投影的方法、主成分分析法、基于图像特征的方法、基于模型可变参数的方法等。
203、人脸识别装置获取预先存储的与该人脸图像对应的眨眼频率范围。
本发明实施例中,人脸识别装置在存储不同用户的人脸图像时,可以对应采集该用户的眨眼频率,多次采集得到该用户的眨眼频率范围,从而存储起来。那么人脸识别装置在数据库中查找到与人脸视频图像中的用户的面部特征信息匹配的人脸图像后,就可以获取该人脸图像对应的眨眼频率范围,从而将该眨眼频率范围作为判断人脸视频图像中的人脸是否为活体的判断标准。
204、人脸识别装置将该眨眼频率范围确定为预设频率范围,并对该人脸视频图像中的眼睛进行动态追踪。
本发明实施例中,人脸识别装置在获取到与该人脸图像对应的眨眼频率范围后,可以将该频率范围作为预设频率范围,从而作为判断当前人脸视频图像中的人脸是否为活体的判断标准。
205、人脸识别装置在对眼睛进行动态追踪的过程中,检测眼睛的眨眼频率。
需要说明的是,人脸识别装置确定预设频率范围的步骤与检查眼睛的眨眼频率的步骤不区分先后顺序,可以同时进行,本发明实施例不做限定。
206、人脸识别装置判断该眨眼频率是否在预设频率范围内,若是,执行步骤207;若否,执行步骤208。
207、人脸识别装置确定人脸为活体,并结束本流程。
208、人脸识别装置确定人脸为假体,并结束本流程。
可见,在图2所描述的方法中,人脸识别装置不仅可以通过判断人脸视频图像中眼睛的眨眼频率是否在预设频率范围内来确定人脸是否为活体,以准确区分人脸真假,还可以对人脸视频图像中的用户进行人脸识别,从数据库中查找与用户面部特征匹配的人脸图像,并获取该人脸图像对应的眨眼频率范围,从而将其作为判断人脸视频图像中的人脸是否为活体的判断标准,这样不仅可以提高区分人脸真假的准确度,还可以提高人脸识别的精确度。
请参阅图3,图3是本发明实施例公开的一种人脸识别装置的结构示意图。如图3所示,该人脸识别装置300可以包括以下单元:
采集单元301,用于采集人脸视频图像。
追踪单元302,用于对该人脸视频图像中的眼睛进行动态追踪。
检测单元303,用于在追踪单元302对该眼睛进行动态追踪过程中,检测该眼睛的眨眼频率。
判断单元304,用于判断检测单元303检测的眨眼频率是否在预设频率范围内。
确定单元305,用于在判断单元304判断出该眨眼频率在预设频率范围内时,确定该人脸为活体;
确定单元305,还用于在判断单元304判断出该眨眼频率不在预设频率范围内时,确定该人脸为假体。
本发明实施例中,人脸识别装置300可以通过眨眼频率可以精确辨别人脸的真假,从而可以提高人脸识别的安全性。
请一并参阅图4,图4是本发明实施例公开的另一种人脸识别装置的结构示意图。其中,图4所描述的人脸识别装置300是在图3所描述的人脸识别装置300的基础上优化得到的。如图3所示,该人脸识别装置300还可以包括以下单元:
抓取单元306,用于按照预设时间间隔从采集单元301采集的人脸视频图像中抓取预设数量的人脸图像。
相应的,检测单元303检测该眼睛的眨眼频率的具体方式可以为:
根据该预设数量的人脸图像,检测该眼睛的眨眼频率。
进一步的,检测单元303可以包括捕捉子单元3031、确定子单元3032以及记录子单元3033,其中:
捕捉子单元3031,用于捕捉该眼睛的眼球形状和眼球面积。
确定子单元3032,用于根据该眼球形状和该眼球面积确定该眼睛的状态,其中,该眼睛的状态可以包括睁眼状态和闭眼状态。
记录子单元3033,用于记录在预设时间段内该眼睛的状态由睁眼状态变为闭眼状态的次数。
确定子单元3032,还用于将该次数确定为该眼睛的眨眼频率。
具体实现中,捕捉子单元3031可以是在人脸视频图像中对眼睛进行动态追踪的过程中捕捉眼睛的眼球形状和眼球面积,也可以是在预设数量的人脸图像中捕捉眼睛的眼球形状和眼球面积,即在抓取单元306按照预设时间间隔从人脸视频图像中抓取人脸图像的过程中捕捉,本发明实施例不做限定。
因此,在捕捉子单元3031捕捉眼睛的眼球形状和眼球面积后,确定子单元3032即可根据捕捉的眼球形状和眼球面积确定出眼睛当前是处于睁眼状态还是处于闭眼状态。具体的,确定子单元3032可以实时检测眼球的形状和面积,并记录眼球当前的形状和面积所保持的时间,当所保持的时间大于等于一秒时,即可确定该形状和面积所对应的眼睛状态为睁眼状态。当检测到眼球的形状和面积变化较大,且所持续的时间很短,如0.01秒,那么可以确定该眼睛状态为闭眼状态,由睁眼状态变化为闭眼状态的过程即为眼睛的眨眼过程。
同时,在确定子单元3032确定出眼睛的状态后,记录子单元3033即可实时记录在预设时间段内眼睛由睁眼状态变化为闭眼状态的次数,该次数即为眼睛的眨眼频率。其中,预设时间段可以是20秒,也可以是30秒,还可以是1分钟,本发明实施例不做限定。
可选的,该人脸识别装置300还可以包括提取单元307和获取单元308,其中:
提取单元307,用于从采集单元301采集的人脸视频图像中提取人脸的面部特征信息。
判断单元304,还用于判断数据库中是否存在与提取单元307提取的面部特征信息匹配的人脸图像。
获取单元308,用于在判断单元304判断出数据库中存在与该面部特征信息匹配的人脸图像时,获取预先存储的与该人脸图像对应的眨眼频率范围。
确定单元305,还用于将该眨眼频率范围确定为预设频率范围。
其中,面部特征信息可以是指人脸的各个特征点的位置信息以及各个特征点之间的位置关系,数据库可以是人脸识别装置本地的数据库,也可以是服务器的数据库,本发明实施例不做限定。
需要说明的是,与该面部特征信息匹配的人脸图像可以理解为:该面部特征信息与数据库中存储的人脸图像的面部特征信息的相似度超过一定比例,即确定两者匹配,该比例可以设定为85%,也可以设定为90%,还可以设定为95%,本发明实施例不做限定。
可选的,该人脸识别装置300还可以包括:
输出单元309,用于在判断单元304判断出该眨眼频率不在预设频率范围内时,输出人脸为假体的预警提示。
可见,在图3和图4所描述的人脸识别装置中,人脸识别装置不仅可以通过判断人脸视频图像中眼睛的眨眼频率是否在预设频率范围内来确定人脸是否为活体,以准确区分人脸真假,还可以对人脸视频图像中的用户进行人脸识别,从数据库中查找与用户面部特征匹配的人脸图像,并获取该人脸图像对应的眨眼频率范围,从而将其作为判断人脸视频图像中的人脸是否为活体的判断标准,这样不仅可以提高区分人脸真假的准确度,还可以提高人脸识别的精确度。
请参阅图5,图5是本发明实施例公开的人脸识别设备的结构示意图。其中,图5所示的人脸识别设备500可以包括:一个或多个处理器501,一个或多个输入设备502,一个或多个输出设备503和存储器504。上述处理器501、输入设备502、输出设备503和存储器通过总线505连接。存储器505用于存储指令,处理器501用语言执行存储器502存储的指令。其中:
输入设备502,用于采集人脸视频图像。
处理器501,用于对该人脸视频图像中的眼睛进行动态追踪,并在对该眼睛进行动态追踪过程中,检测该眼睛的眨眼频率;判断该眨眼频率是否在预设频率范围内,如果该眨眼频率在预设频率范围内,确定该人脸为活体;如果该眨眼频率不在预设频率范围内,确定该人脸为假体。
可选的,输入设备502,还用于按照预设时间间隔从采集的人脸视频图像中抓取预设数量的人脸图像。
相应的,处理器501检测该眼睛的眨眼频率的具体方式可以为:
根据该预设数量的人脸图像,检测该眼睛的眨眼频率。
进一步的,处理器501检测该眼睛的眨眼频率的具体方式还可以为:
捕捉该眼睛的眼球形状和眼球面积,并根据该眼球形状和该眼球面积确定该眼睛的状态,其中,该眼睛的状态可以包括睁眼状态和闭眼状态。记录在预设时间段内该眼睛的状态由睁眼状态变为闭眼状态的次数,将该次数确定为该眼睛的眨眼频率。
具体实现中,处理器501可以是在人脸视频图像中对眼睛进行动态追踪的过程中捕捉眼睛的眼球形状和眼球面积,也可以是在预设数量的人脸图像中捕捉眼睛的眼球形状和眼球面积,即在按照预设时间间隔从人脸视频图像中抓取人脸图像的过程中捕捉,本发明实施例不做限定。
因此,处理器501在捕捉眼睛的眼球形状和眼球面积后,即可根据捕捉的眼球形状和眼球面积确定出眼睛当前是处于睁眼状态还是处于闭眼状态。具体的,处理器501可以实时检测眼球的形状和面积,并记录眼球当前的形状和面积所保持的时间,当所保持的时间大于等于一秒时,即可确定该形状和面积所对应的眼睛状态为睁眼状态。当检测到眼球的形状和面积变化较大,且所持续的时间很短,如0.01秒,那么可以确定该眼睛状态为闭眼状态,由睁眼状态变化为闭眼状态的过程即为眼睛的眨眼过程。
同时,处理器501在确定出眼睛的状态后,即可实时记录在预设时间段内眼睛由睁眼状态变化为闭眼状态的次数,该次数即为眼睛的眨眼频率。其中,预设时间段可以是20秒,也可以是30秒,还可以是1分钟,本发明实施例不做限定。
可选的,处理器501,还用于从输入设备502采集的人脸视频图像中提取人脸的面部特征信息,并判断数据库中是否存在与提取的面部特征信息匹配的人脸图像,如果存在,则获取预先存储的与该人脸图像对应的眨眼频率范围,并将该眨眼频率范围确定为预设频率范围。
其中,面部特征信息可以是指人脸的各个特征点的位置信息以及各个特征点之间的位置关系,数据库可以是人脸识别装置本地的数据库,也可以是服务器的数据库,本发明实施例不做限定。
需要说明的是,与该面部特征信息匹配的人脸图像可以理解为:该面部特征信息与数据库中存储的人脸图像的面部特征信息的相似度超过一定比例,即确定两者匹配,该比例可以设定为85%,也可以设定为90%,还可以设定为95%,本发明实施例不做限定。
可选的,输出设备503,用于在处理器501判断出该眨眼频率不在预设频率范围内时,输出人脸为假体的预警提示。
可见,在图5所描述的人脸识别设备中,人脸识别设备不仅可以通过判断人脸视频图像中眼睛的眨眼频率是否在预设频率范围内来确定人脸是否为活体,以准确区分人脸真假,还可以对人脸视频图像中的用户进行人脸识别,从数据库中查找与用户面部特征匹配的人脸图像,并获取该人脸图像对应的眨眼频率范围,从而将其作为判断人脸视频图像中的人脸是否为活体的判断标准,这样不仅可以提高区分人脸真假的准确度,还可以提高人脸识别的精确度。
应当理解,在本发明实施例中,所称处理器501可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备502可以包括触控板、摄像头(用于采集人脸视频图像或者抓取人脸图像)、麦克风等,输出设备503可以包括显示器(LCD等)、扬声器等。
该存储器504可以包括只读存储器和随机存取存储器,并向处理器501提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器。例如,存储器504还可以存储设备类型的信息。
具体实现中,本发明实施例中所描述的处理器501、输入设备502、输出设备503可执行本发明实施例公开的人脸识别方法的第一实施例和第二实施例中所描述的实现方式,也可执行本发明实施例所描述的人脸识别装置的实现方式,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。