人脸识别***及方法
技术领域
本发明涉及图像识别技术领域,尤其涉及一种人脸识别***及方法。
背景技术
人脸识别研究可以追溯到20世纪初,经过研究人员的不懈努力,基于图像的二维人脸识别技术日趋成熟。现有的人脸识别***多采用提取手工全局特征或手工关键点特征来进行人脸识别。然而,此种方式虽对严格正脸样本之辨识率有不错的表现,但对备案样本中未曾出现的人脸角度及表情辨识率并不理想。
发明内容
鉴于以上内容,有必要提供一种人脸识别***,其在识别过程中不要求严格的人脸角度及表情,具有良好的人脸识别辨识度。
本发明一实施方式提供一种人脸识别***,包括:
图像获取模块,用于获取一待测影像并定位出所述待测影像中的人脸位置;
图像识别模块,用于根据所述人脸位置识别出所述待测影像中的五官位置;
第一特征提取模块,用于根据所述五官位置提取出人脸深度学习特征;
第二特征提取模块,用于根据所述五官位置提取出人脸手工全局特征;及
比对模块,用于将人脸特征与预设的样本库进行比对并输出人脸比对结果,以判断人脸身份;
其中,所述人脸特征包括所述人脸深度学习特征及所述人脸手工全局特征。
优选地,所述人脸识别***还包括校准模块,用于判断所述待测影像中的五官位置是否处于同一水平面,及在判断为否时,将所述待测影像中的五官位置对齐至同一水平面。
优选地,所述第一特征提取模块用于对所述待测影像中的五官位置采用卷积神经网络算法提取出所述人脸深度学习特征;所述第二特征提取模块用于对所述待测影像中的五官位置采用尺度不变特征变换算法提取出所述人脸手工全局特征。
优选地,所述预设的样本库包括以多个人脸样本的人脸深度学习特征依据支持向量机算法生成的具有深度学习特性的人脸分类单元及多个人脸样本的人脸手工全局特征,所述比对模块用于将所述第一特征提取模块提取的人脸深度学习特征输入至所述人脸分类单元,并得出第一比对结果及第一比对可靠值,判断所述第一比对可靠值是否大于预设第一基准值,及在所述第一比对可靠值大于所述预设第一基准值时,将所述第一比对结果作为人脸比对结果输出;其中,所述多个人脸样本均为同一人。
优选地,当所述第一比对可靠值不大于所述预设第一基准值时,所述比对模块还用于根据所述第二特征提取模块提取的人脸手工全局特征与所述多个人脸样本的人脸手工全局特征进行一一比对,并得出第二比对结果及第二比对可靠值,当所述第二比对结果与所述第一比对结果相同且所述第二比对可靠值大于预设第二基准值时,将所述第一比对结果作为人脸比对结果输出。
本发明一实施方式提供还提供一种人脸识别方法,包括以下步骤:
获取一待测影像并定位出所述待测影像中的人脸位置;
根据所述人脸位置识别出所述待测影像中的五官位置;
根据所述五官位置提取出人脸深度学习特征;
根据所述五官位置提取出人脸手工全局特征;及
将人脸特征与预设的样本库进行比对并输出人脸比对结果;
其中,所述人脸特征包括所述人脸深度学习特征及所述人脸手工全局特征。
优选地,所述根据所述人脸位置识别出所述待测影像中的五官位置的步骤之后还包括:
判断所述待测影像中的五官位置是否处于同一水平面;
若否,将所述待测影像中的五官位置对齐至同一水平面;及
若是,跳至下一步骤。
优选地,所述根据所述五官位置提取出所述人脸深度学习特征的步骤包括:
对所述影像中的五官位置采用卷积神经网络算法提取出所述人脸深度学习特征;
所述根据所述五官位置提取出所述人脸手工全局特征的步骤包括:
对所述影像中的五官位置采用尺度不变特征变换算法提取出所述人脸手工全局特征。
优选地,所述预设的样本库包括以多个人脸样本的人脸深度学习特征依据支持向量机算法生成的具有深度学习特性的人脸分类单元及多个人脸样本的人脸手工全局特征且所述多个人脸样本均为同一人,所述将人脸特征与预设的样本库进行比对并输出人脸比对结果的步骤包括:
将所述人脸深度学习特征输入至所述人脸分类单元,并得出第一比对结果及第一比对可靠值;
判断所述第一比对可靠值是否大于预设第一基准值;及
当所述第一比对可靠值大于所述预设第一基准值时,将所述第一比对结果作为人脸比对结果输出。
优选地,所述将人脸特征与预设的样本库进行比对并输出人脸比对结果的步骤还包括:
当所述第一比对可靠值不大于所述预设第一基准值时,将所述人脸手工全局特征与所述多个人脸样本的人脸手工全局特征进行一一比对,并得出第二比对结果及第二比对可靠值,当所述所述第二比对结果与所述第一比对结果相同且所述第二比对可靠值大于预设第二基准值时,将所述第一比对结果作为人脸比对结果输出。
与现有技术相比,上述人脸识别***及方法,除了以深度学习算法作为主要的人脸特征提取验证手段外,亦使用手工提取算法做为第二验证意见,可大幅提升人脸辨识率及可靠度,并可广泛应用于各种需要进行身份验证的场合,对于不同的人脸角度及表情具有优良的辨识度。
附图说明
图1是本发明人脸识别***的一较佳实施方式的一模块方框图。
图2是本发明人脸识别***的另一较佳实施方式的一模块方框图。
图3是本发明人脸识别方法的一较佳实施方式的一流程图。
图4是本发明人脸识别***方法的另一较佳实施方式的一流程图。
主要元件符号说明
人脸识别*** |
100 |
图像获取模块 |
1 |
图像识别模块 |
2 |
第一特征提取模块 |
3 |
第二特征提取模块 |
4 |
比对模块 |
5 |
校准模块 |
6 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1,本发明的一较佳实施方式提供一人脸识别***100。
人脸识别***100可以使用在诸如门禁***、打卡***、机器人交互***等等领域。人脸识别***100包括图像获取模块1、图像识别模块2、第一特征提取模块3、第二特征提取模块4及比对模块5。图像获取模块1用于获取一拍摄影像并定位出所拍摄影像中的人脸位置。图像识别模块2用于根据图像获取模块1定位出的人脸位置识别出影像中的五官位置。第一特征提取模块3用于根据图像识别模块2识别出的五官位置提取出人脸深度学习特征,优选使用卷积神经网络(Convolutional Neural Network,CNN)算法提取出人脸深度学习特征。第二特征提取模块4用于根据图像识别模块2识别出的五官位置提取出人脸手工全局特征,优选使用尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法提取出所述人脸手工全局特征。比对模块5用于将人脸特征与预设的样本库进行比对并输出人脸比对结果,以判断人脸身份,进而为可以实现后续流程控制操作。其中,人脸特征包括第一特征提取模块3提取的人脸深度学习特征及第二特征提取模块4提取的人脸手工全局特征。在本发明的其他实施方式中,第一特征提取模块3还可以使用其他能提取人脸深度学习特征的算法,如脸谱公司开发的的DeepFace人脸识别算法,或其他诸如DeepID人脸识别算法等等,在此不做限定。第二特征提取模块4同样还可以采用诸如局部二值模式(LocalBinary Patterns、LBP)算法、加速鲁棒特征算法(Speed-up robust features、SURF)等等,在此不做限定。
在发明一实施方式中,预设的样本库可以是在前期建立人脸样本库时,收集每位备案对象的人脸样本。可以针对每位备案对象收集10张人脸样本。当然在不影响识别***效能的情况下,可以收集更多的人脸样本,也可以收集小于10张的人脸样本。对于每一张人脸样本可以采用上述的提取方法,提取每一张人脸样本的人脸深度学习特征及人脸手工全局特征并存储到人脸样本库中,具体的样本库以下将举例说明。
举例而言,一备案对象名字为杰克,在前期建立人脸样本库时,收集10张杰克的人脸影像,按照上述方法提取每张杰克影像的人脸深度学习特征及人脸手工全局特征。将该10张影像的人脸深度学习特征利用支持向量机(Support Vector Machine、SVM)算法生成一个具有深度学习特性的人脸分类单元,同时将该10张影像的人脸手工全局特征存储至人脸样本库。此时,人脸样本库包括一个具有深度学习特性的人脸分类单元及10张影像的人脸手工全局特征。在本发明的其他实施方式中,也可以将该10张影像的人脸深度学习特征利用后传导类神经网络算法来生成一个具有深度学习特性的人脸分类单元,在此不再详述。
在进行人脸识别时,第一特征提取模块3及第二特征提取模块4提取待验证的人脸深度学习特征及人脸手工全局特征,比对模块5将第一特征提取模块3提取的待验证的人脸深度学习特征输入至人脸分类单元进行比对,并得出第一比对结果及第一比对可靠值,判断第一比对可靠值是否大于预设第一基准值。当第一比对可靠值大于预设第一基准值时,表明该次比对结果可靠,此时将直接将第一比对结果作为人脸比对结果输出。人脸比对结果包括成功识别出该待验证的人的身份(有备案记录),或者识别出为陌生人(无备案记录)。在本实施方式中,第一比对可靠值的范围为0-1.0,第一基准值优选为0.5。当第一比对可靠值大于0.5时,即表明本次比对可靠,不需要进行额外比对,可以直接输出人脸比对结果输出。
当第一比对可靠值不大于预设第一基准值时,表明第一比对结果可靠性不能确定,此时仅根据提取的人脸深度学习特征不足以判断出识别结果是否正确,需要进行补充识别,此时比对模块5再将提取的待验证的人脸手工全局特征与人脸样本库中的10张影像的人脸手工全局特征进行一一比对,得出第二比对结果及第二比对可靠值。若第二比对结果与第一比对结果相同且第二比对可靠值大于预设第二基准值时,表明第一比对结果与第二比对结果均可靠,将第一比对结果作为人脸比对结果输出。否则,直接判断待验证的人脸为陌生人。在本实施方式中,第二比对可靠值的范围为0-1.0,第二基准值优选为0.5。当第二比对可靠值大于0.5且第二比对结果与第一比对结果相同时,表明第一比对结果与第二比对结果均可靠。
需要说明的是,利用一个具有深度学习特性的人脸分类单元可以较快速地对提取的人脸深度学习特征进行比对,其计算量仅和人脸分类单元的自身特性有关,而和人脸样本库中影像张数无关。而对提取的人脸手工全局特征进行比对时,需要将提取的人脸手工全局特征与人脸样本库中每一个人脸手工全局特征进行比对,如人脸样本库中有10张杰克的影像,需要比对10次,有20张杰克的影像,即需要比对20次。
需要说明的是,若人脸识别***100采用平行算法,则人脸识别***100可以包括多个图像获取模块1、图像识别模块2、第一特征提取模块3、第二特征提取模块4、比对模块5及校准模块,这样可以显著加快人脸识别的速度。
请同时参阅图2,作为对本发明的进一步改进,人脸识别***100还包括校准模块6。校准模块6用于判断所获取的拍摄影像中的五官位置是否处于同一水平面,及在判断为不处于同一水平面时,将图像识别模块2识别出的影像中的五官位置对齐至同一水平面。第一特征提取模块3及第二特征提取模块4再根据已对齐至同一水平面的五官进行特征提取。在本实施方式中,校准模块6可以采用三维坐标转换方法将影像中的五官位置对齐至同一水平面。
请参阅图3,本发明的一较佳实施方式提供一人脸识别方法。
本人脸识别方法可以使用在图1或者图2中的人脸识别***100中。人脸识别方法包括以下步骤:
步骤S300,图像获取模块1获取一待测影像并定位出所述待测影像中的人脸位置;
步骤S302,图像识别模块2根据所述人脸位置识别出所述待测影像中的五官位置;
步骤S304,第一特征提取模块3根据所述五官位置提取出人脸深度学习特征;
步骤S306,第二特征提取模块4根据所述五官位置提取出人脸手工全局特征;
步骤S308,比对模块5将人脸特征与预设的样本库进行比对并输出人脸比对结果,其中,人脸特征包括所述人脸深度学习特征及所述人脸手工全局特征。
在本发明一实施方式中,步骤S304及步骤S306可以并列执行。
请同时参阅图4,在本发明一实施方式中,在步骤S302之后还包括步骤S3020和步骤S3022。步骤S3020,校准模块6判断所述拍摄影像中的五官位置是否处于同一水平面。步骤S3022,当判断为不处于同一水平面时,将图像识别模块2识别出的影像中的五官位置对齐至同一水平面。否则,跳至步骤S304。
在步骤S304中,具体地,第一特征提取模块3优选使用CNN算法提取出拍摄影像中的人脸深度学习特征,当然也可以使用其他诸如DeepFace、DeepID人脸识别算法提取出人脸深度学习特征。
在步骤S306中,具体地,第二特征提取模块4优选使用SIFT算法提取出拍摄影像中的人脸手工全局特征,当然也可以使用其他诸如LBP算法、SURF算法提取出人脸手工全局特征。
在发明一实施方式中,预设的样本库可以是在前期建立人脸样本库时,收集每位备案对象的人脸样本。可以针对每位备案对象收集10张人脸样本。当然在不影响识别***效能的情况下,可以收集更多的人脸样本,也可以收集小于10张的人脸样本。对于每一张人脸样本可以采用上述的提取方法,提取每一张人脸样本的人脸深度学习特征及人脸手工全局特征并存储到人脸样本库中,具体的样本库以下将举例说明。
举例而言,一备案对象名字为杰克,在前期建立人脸样本库时,收集10张杰克的人脸影像,按照上述方法提取每张杰克影像的人脸深度学习特征及人脸手工全局特征。将该10张影像的人脸深度学习特征利用支持向量机(Support Vector Machine、SVM)算法生成一个具有深度学习特性的人脸分类单元,同时将该10张影像的人脸手工全局特征存储至人脸样本库。此时,人脸样本库包括一个具有深度学习特性的人脸分类单元及10张影像的人脸手工全局特征。在本发明的其他实施方式中,也可以将该10张影像的人脸深度学习特征利用后传导类神经网络算法来生成一个具有深度学习特性的人脸分类单元,在此不再详述。
在步骤S308中,具体地,比对模块5将第一特征提取模块3提取的待验证的人脸深度学习特征输入至人脸分类单元进行比对,并得出第一比对结果及第一比对可靠值,判断第一比对可靠值是否大于预设第一基准值。当第一比对可靠值大于预设第一基准值时,表明该次比对结果可靠,此时将直接将第一比对结果作为人脸比对结果输出。人脸比对结果包括成功识别出该待验证的人的身份(有备案记录),或者识别出为陌生人(无备案记录)。在本实施方式中,第一比对可靠值的范围为0-1.0,第一基准值优选为0.5。当第一比对可靠值大于0.5时,即表明本次比对可靠,不需要进行额外比对,可以直接输出人脸比对结果输出。
当第一比对可靠值不大于预设第一基准值时,表明第一比对结果可靠性不能确定,此时仅根据提取的人脸深度学习特征不足以判断出识别结果是否正确,需要进行补充识别,此时比对模块5再将提取的待验证的人脸手工全局特征与人脸样本库中的10张影像的人脸手工全局特征进行一一比对,得出第二比对结果及第二比对可靠值。若第二比对结果与第一比对结果相同且第二比对可靠值大于预设第二基准值时,表明第一比对结果与第二比对结果均可靠,将第一比对结果作为人脸比对结果输出。否则,直接判断待验证的人脸为陌生人。在本实施方式中,第二比对可靠值的范围为0-1.0,第二基准值优选为0.5。当第二比对可靠值大于0.5且第二比对结果与第一比对结果相同时,表明第一比对结果与第二比对结果均可靠。
上述人脸识别***及方法,除了以深度学习算法作为主要的人脸特征提取验证手段外,亦使用手工提取算法做为第二验证意见,可大幅提升人脸辨识率及可靠度,并可广泛应用于各种需要进行身份验证的场合,对于不同的人脸角度及表情具有优良的辨识度。
对本领域的技术人员来说,可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整,而这些改变和调整都应属于本发明所公开的范围。