CN103778409A - 基于人脸特征数据挖掘的人脸识别方法与装置 - Google Patents

Abstract

一种基于人脸特征数据挖掘技术的人脸识别方法与装置，其通过人脸注册模块、人脸识别模块与***更新模块的特殊的***结构设计和特定的算法，实现增大有效的类内注册人脸特征信息量，更好适应人脸姿态与表情变化，而且***的自动更新可以降低环境与人脸随时间变化带来的拒识率，还针对类间各类人脸的特征差异挖掘出各自的分类阈值，降低了使用同一分类阈值而忽略类间人脸差异产生的误事率与拒识率，提高***的识别效率。

Description

基于人脸特征数据挖掘的人脸识别方法与装置

技术领域

    本发明公开一种人脸识别技术，特别是一种基于人脸特征数据挖掘技术的人脸识别方法与装置，属于人脸识别领域。 

背景技术

    人脸识别技术是一种利用人脸特征信息进行身份鉴别的生物特征识别技术，具有非接触式采集、可以隐蔽操作、方便快捷、强大的事后追踪能力、交互性强和图像采集成本低等优点，广泛应用在信息安全、视频监控、刑事侦破、公共安全、社交娱乐等领域。现有人脸识别***一般包括两种工作模式，即人脸注册模式与人脸识别模式，其通常采用6个步骤，分别为：人脸检测、人脸关键点定位、人脸形状和纹理归一化、 特征抽取、特征降维、模板比对（分类）。 

随着在实际中应用的推广，人脸识别存在的问题和难点也逐渐突显出来。在不可靠的采集环境下，用户的面部表现***，其复杂程度远远超出了标准评测中获取的图片。遮挡会导致人脸特征发生变化，会增加人脸识别的困难，增加拒识率；光照、姿态和表情的变化，也会导致一个人的不同环境下的人脸特征差异很大，降低了识别率，还有可能出现错误识别。因此，如何解决由于光照、姿态、表情与时间变化等因素造成的人脸特征的变化而提高了拒识率和误识率及降低了识别率，同时具有较高的运算速度成为迫切需要解决的问题。 

为了让人脸注册更多人脸特征的变化信息，以改善由于遮挡、光照、姿态和表情变化等因素造成的人脸特征的变化而带来的识别问题，现有技术（申请号：200710163907）提供了一种同一人雷同照片的注册评估方法。 

请参照图1，在步骤S101，首先输入待注册的图像。然后，在步骤S102执行人脸检测。步骤S103对检测得到的人脸区域进行眼睛定位。步骤 S104为人脸区域分割单元。步骤S105为人脸特征提取单元。S106为评估单元。S107为存储单元，即人脸特征注册。 

请结合参照图2所示，首先步骤S201判断待注册图像所属的人是否已经在人脸识别***中注册过；如果判断待注册图像所属的人未在人脸识别***中注册，则进行步骤S202注册；如果判断待注册图像所属的人已经在人脸识别***中注册过，则步骤S203计算待注册图像与已注册图像之间的相似度，同步骤204构成循环判定所有图像对比完成；步骤S205排序计算相似度的最大值，步骤S206将相似度的最大值与预设阈值进行比较，以判断是否对待注册图像进行步骤S202注册。 

从图1并结合图2所示可知，现有技术的上述注册评估单元仅对已注册类内雷同照片有效，而对于相似的类间人脸图像及由于姿态、光照、表情与时间变化等带来的类间人脸特征趋于相似及现有人脸识别技术存在的原理性的误识别问题仍未解决。 

现有技术（专利申请号：201210195701.6）为融合稀疏保持映射和多类别属性Bagging 算法的人脸识别方法。在实现属性Bagging 算法时，以Radon 变换的角度作为实例的属性来构建训练样本，并在其上进行基分类器的训练。在Yale 人脸数据库进行实验，每个人选取6 张图片作为训练集，剩下的5 张作为测试集，最佳识别率为迭代20次，识别率为81%。在AR 人脸数据库进行实验，每个人选取7 张图片作为训练集，剩下的7 张作为测试集，最佳识别率为迭代10次，识别率为98.29%。 

现有技术在AR库的测试结果明显好于在YALE库的识别结果，说明现有技术对于存在单一的表情或是光照的情况比较适合，而对于同时存在表情与光照变化的情况识别率较低，这也是现有的人脸识别产品往往在表情与光照同时存在时识别效率较低的普遍现象。同时，现有技术的多次迭代容易造成模型过拟合，注册人脸特征库对应的测试人脸有所变化后，形成局势率与误识率的升高，缺乏泛化能力，且现有技术的多次迭代带来的识别时间的增加与效率的降低，不利于技术实际应用。 

发明内容

针对上述提到的现有技术中的在人脸识别应用中存在的问题，本发明提供一种基于人脸特征数据挖掘技术的人脸识别方法与装置，其通过特殊的***结构设计和算法，实现增大有效的类内注册人脸特征信息量，更好适应人脸姿态与表情变化，而且***的自动更新可以降低环境与人脸随时间变化带来的拒识率，还针对类间各类人脸的特征差异挖掘出各自的分类阈值，降低了使用同一分类阈值而忽略类间人脸差异产生的误事率与拒识率，提高***的识别效率。 

本发明解决其技术问题采用的技术方案是：一种基于人脸特征数据挖掘的人脸识别装置，该装置包括人脸注册模块、人脸识别模块与***更新模块，其中 

所述的人脸注册模块利用图像局部二元模式特征相似度匹配值，根据匹配值判定类内的雷同图像并舍弃，对于非雷同照片计算核主成分分析特征，并对核主成分分析特征使用模糊FDA提取人脸特征，再利用数据挖掘技术求取该类人的分类阈值，并记录该注册人的注册密码；

所述的人脸识别模块，通过计算分割图像核主成分分析特征，并对核主成分分析特征使用模糊FDA提取人脸特征，再计算提取的当前人脸与库内人脸特征的欧氏距离，并将此值与注册库的各分类阈值进行比较判定；

所述的***更新模块为当前识别人脸识别连续3次均未识别成功，且识别分数在要求范围内且为同一类人，则通过注册密码确认识别，密码输入正确，则识别成功并进行人脸特征提取与数据挖掘获取注册库各类人的分类阈值，并更新人脸库。

一种采用上述的装置的基于人脸特征数据挖掘的人脸识别方法，该方法为 

所述的人脸注册模块包括人脸定位、雷同人脸去除、人脸特征提取与数据挖掘；

所述的人脸识别模块包括人脸定位，人脸特征提取与人脸识别；

所述的人脸库***更新模块包括***更新判定，人脸特征提取与数据挖掘。

本发明解决其技术问题采用的技术方案进一步还包括： 

所述的人脸定位为对检测到的人脸区域进行鼻尖定位，根据鼻尖定位信息将人脸分割出人脸眉毛图像、人脸眼睛图像、人脸鼻子图像和人脸嘴巴图像等4块人脸区域。

所述的雷同人脸照片去除为分别提取人脸定位步骤分割的人脸区域的LBP特征，并将计算当前人脸局部二值模式特征与当前人脸库内人脸的海明距离，如果海明距离小于设定阈值，则判定为雷同照片给予去除。 

所述的人脸特征提取为对于非雷同照片计算核主成分分析特征，对核主成分分析特征使用模糊FLDA获取投影系数，并提取人脸特征， 

所述的人脸识别为计算提取的当前人脸与库内某人脸特征的欧氏距离，并将此值与注册库的该人脸类得分类阈值进行比较判定。

所述的数据挖掘包括下述步骤： 

首先，建立人脸特征分类阈值数据挖掘模型，

Thresholdi为每类人对应的分类阈值，i为人脸库的人脸类别数，a与b分别为模型的增益系数与指数系数a取值0~6,b取值0.5~2，Xi为同类内的每个人脸特征与人脸库内除自身外的所有人进行识别的类内最相似识别分数组成；

然后，获取模型入参，利用欧氏距离作为距离测度，计算同类内的每个人脸特征与人脸库内除自身外的所有人进行识别，将每次识别的类内最相似识别分数组成一维数组Xi；

最后，获取数据挖掘分类阈值，改变a与b的值，获得多组分类阈值，在FAR与FRR曲线图中取FAR与FRR下方面积和最小的图像对应的b值，并在此图中取FRR/FAR最接近1/5时对应的阈值中的a值，以此（a,b）值并结合各人脸类的Xi ，代入数据挖掘模型中获得各类人脸的分类识别阈值 。

本发明的有益效果是：本发明不仅可增大有效的类内注册人脸特征信息量，更好适应人脸姿态与表情变化，而且***的自动更新可以降低环境与人脸随时间变化带来的拒识率，还针对类间各类人脸的特征差异挖掘出各自的分类阈值，降低了使用同一分类阈值而忽略类间人脸差异产生的误事率与拒识率，提高***的识别效率。 

下面将结合附图和具体实施方式对本发明做进一步说明。 

附图说明

图1为现有人脸注册过程的流程图。 

图2为评估单元的流程图。 

图3为本发明的***流程图。 

图4为本发明不包括数据挖掘部分在AR库的测试结果图。 

图5为图4对应的FAR（错误接受率）与FRR（错误拒绝率）图。 

图6为本发明在AR库实验结果的FAR（错误接受率）与FRR（错误拒绝率）图。 

具体实施方式

本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。 

本发明中的基于人脸特征数据挖掘的人脸识别装置由人脸注册、人脸识别与***更新3个模块组成，其中，人脸注册模块利用图像局部二元模式特征相似度匹配值，根据匹配值判定类内的雷同图像并舍弃。对于非雷同照片计算核主成分分析（KPCA）特征，并对KPCA特征使用模糊FDA提取人脸特征，再利用数据挖掘技术求取该类人的分类阈值，并记录该注册人的注册密码。人脸识别模块，通过计算分割图像核主成分分析（KPCA）特征，并对KPCA特征使用模糊FDA提取人脸特征，再计算提取的当前人脸与库内人脸特征的欧氏距离，并将此值与注册库的各分类阈值进行比较判定。***更新模块为当前识别人脸识别连续3次均未识别成功，且识别分数在要求范围内且为同一类人，则通过注册密码确认识别。密码输入正确，则识别成功并进行人脸特征提取与数据挖掘获取注册库各类人的分类阈值，并更新人脸库。本发明不仅可增大有效的类内注册人脸特征信息量，更好适应人脸姿态与表情变化，而且***的自动更新可以降低环境与人脸随时间变化带来的拒识率，还针对类间各类人脸的特征差异挖掘出各自的分类阈值，降低了使用同一分类阈值而忽略类间人脸差异产生的误事率与拒识率，提高***的识别效率。 

本发明中，同时保护一种基于人脸特征数据挖掘的人脸识别方法，其中，人脸注册模块包括，人脸定位、雷同人脸去除、人脸特征提取与数据挖掘等步骤：    

第一步，人脸定位。首先对检测到的人脸区域进行鼻尖定位，根据鼻尖定位信息将人脸分割出人脸眉毛图像、人脸眼睛图像、人脸鼻子图像和人脸嘴巴图像等4块人脸区域；

第二步，雷同人脸照片去除。首先分别提取人脸定位步骤分割的人脸区域的LBP特征，并将计算当前人脸局部二值模式（LBP，Local Binary Pattern）特征与当前人脸库内人脸的海明距离。如果海明距离小于设定阈值，则判定为雷同照片给予去除；

第三步，人脸特征提取。对于非雷同照片计算核主成分分析（KPCA）特征，对KPCA特征使用模糊FLDA获取投影系数，并提取人脸特征。

第四步，数据挖掘。 

本实施例中，人脸特征数据挖掘技术包括以下特征： 

首先，建立人脸特征分类阈值数据挖掘模型 。   

Thresholdi为每类人对应的分类阈值，i为人脸库的人脸类别数，a与b分别为模型的增益系数与指数系数a取值0~6,b取值0.5~2。Xi为同类内的每个人脸特征与人脸库内除自身外的所有人进行识别的类内最相似识别分数组成。

然后，获取模型入参。利用欧氏距离作为距离测度，计算同类内的每个人脸特征与人脸库内除自身外的所有人进行识别，将每次识别的类内最相似识别分数组成一维数组Xi。 

最后，获取数据挖掘分类阈值。改变a与b的值，获得多组分类阈值，在FAR与FRR曲线图中取FAR与FRR下方面积和最小的图像对应的b值，并在此图中取FRR/FAR最接近1/5时对应的阈值中的a值，以此（a,b）值并结合各人脸类的Xi ，代入数据挖掘模型中获得各类人脸的分类识别阈值。 

本实施例中的人脸识别模块包括人脸定位，人脸特征提取与人脸识别，其具体如下： 

第一步，人脸定位。首先对检测到的人脸区域进行鼻尖定位，根据鼻尖定位信息将人脸分割出人脸眉毛图像、人脸眼睛图像、人脸鼻子图像和人脸嘴巴图像等4块人脸区域；

第二步，人脸特征提取。计算分割图像核主成分分析（KPCA）特征，并采用KPCA特征使用所述注册模块的模糊FDA投影系数提取人脸特征。

第三步，计算提取的当前人脸与库内某人脸特征的欧氏距离，并将此值与注册库的该人脸类得分类阈值进行比较判定。 

本实施例中，人脸库***更新模块包括***更新判定，人脸特征提取与数据挖掘，具体如下： 

第一步，***更新判定。当***装置处于人脸识别模块运行过程中，当前识别人脸识别连续3次均未识别成功，且识别结果为识别分数大于设定阈值的同一类人，则需输入注册密码确认识别。密码输入正确，则识别成功，且可进入***更新。

第二步，人脸特征提取。采用当前识别人脸识别连续3次均未识别成功的最相似的当前人脸区域替代3次识别中最不相似的库内人脸区域，重新计算库内人脸区域的核主成分分析（KPCA）特征，对KPCA特征使用模糊FLDA获取投影系数，并提取人脸特征。 

第三步，数据挖掘。 

本实施例中，人脸特征数据挖掘技术包括以下特征： 

首先，建立人脸特征分类阈值数据挖掘模型 。   

Thresholdi为每类人对应的分类阈值，i为人脸库的人脸类别数，a与b分别为模型的增益系数与指数系数a取值0~6,b取值0.5~2。Xi为同类内的每个人脸特征与人脸库内除自身外的所有人进行识别的类内最相似识别分数组成。

然后，获取模型入参。利用欧氏距离作为距离测度，计算同类内的每个人脸特征与人脸库内除自身外的所有人进行识别，将每次识别的类内最相似识别分数组成一维数组Xi。 

最后，获取数据挖掘分类阈值。改变a与b的值，获得多组分类阈值，在FAR与FRR曲线图中取FAR与FRR下方面积和最小的图像对应的b值，并在此图中取FRR/FAR最接近1/5时对应的阈值中的a值，以此（a,b）值并结合各人脸类的Xi，代入数据挖掘模型中获得各类人脸的分类识别阈值

。 

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体实施方式对本发明作进一步详细的说明。 

请参看附图3，本发明提供了一种基于人脸特征数据挖掘技术的人脸识别方法与装置，其包括：人脸注册模块，人脸识别模块与人脸库***更新模块。 

所述人脸注册模块，包括，人脸定位步骤，雷同人脸去除步骤，人脸特征提取步骤与数据挖掘步骤等： 

步骤S301，人脸定位。首先对检测到的人脸区域进行鼻尖定位，根据鼻尖定位信息将人脸分割出人脸眉毛图像、人脸眼睛图像、人脸鼻子图像和人脸嘴巴图像等4块人脸区域；

步骤S302，雷同人脸照片去除。首先分别提取人脸定位步骤分割的人脸区域的LBP特征，并将计算当前人脸局部二值模式（LBP， Local Binary Pattern）特征与当前人脸库内人脸的海明距离。如果海明距离小于设定阈值，则判定为雷同照片给予去除；

步骤S303，人脸特征提取。对于非雷同照片计算核主成分分析（KPCA）特征，对KPCA特征使用模糊FLDA获取投影系数，并提取人脸特征。

步骤S304，数据挖掘。所述人脸特征数据挖掘技术包括以下特征： 

首先，建立人脸特征分类阈值数据挖掘模型 。   

Thresholdi为每类人对应的分类阈值，i为人脸库的人脸类别数，a与b分别为模型的增益系数与指数系数a取值0~6,b取值0.5~2。Xi为同类内的每个人脸特征与人脸库内除自身外的所有人进行识别的类内最相似识别分数组成。

然后，获取模型入参。利用欧氏距离作为距离测度，计算同类内的每个人脸特征与人脸库内除自身外的所有人进行识别，将每次识别的类内最相似识别分数组成一维数组Xi。 

最后，获取数据挖掘分类阈值。改变a与b的值，获得多组分类阈值，在FAR与FRR曲线图中取FAR与FRR下方面积和最小的图像对应的b值，并在此图中取FRR/FAR最接近1/5时对应的阈值中的a值，以此（a,b）值并结合各人脸类的Xi ，代入数据挖掘模型中获得各类人脸的分类识别阈值。 

人脸识别模块包括人脸定位，人脸特征提取与人脸识别： 

步骤S305，人脸定位。首先对检测到的人脸区域进行鼻尖定位，根据鼻尖定位信息将人脸分割出人脸眉毛图像、人脸眼睛图像、人脸鼻子图像和人脸嘴巴图像等4块人脸区域；

步骤S306，人脸特征提取。计算分割图像核主成分分析（KPCA）特征，并采用KPCA特征使用所述注册模块的模糊FDA投影系数提取人脸特征。

步骤S307，计算提取的当前人脸与库内某人脸特征的欧氏距离，并将此值与注册库的该人脸类得分类阈值进行比较判定。 

所述人脸库***更新模块包括***更新判定，人脸特征提取与数据挖掘： 

步骤S308，***更新判定。当***装置处于人脸识别模块运行过程中，当前识别人脸识别连续3次均未识别成功，且识别结果为识别分数大于设定阈值的同一类人，则需输入注册密码确认识别。密码输入正确，则识别成功，且可进入***更新。

步骤S303，人脸特征提取。采用当前识别人脸识别连续3次均未识别成功的最相似的当前人脸区域替代3次识别中最不相似的库内人脸区域，重新计算库内人脸区域的核主成分分析（KPCA）特征，对KPCA特征使用模糊FLDA获取投影系数，并提取人脸特征。 

步骤S304，数据挖掘。所述人脸特征数据挖掘技术包括以下特征： 

首先，建立人脸特征分类阈值数据挖掘模型 。   

Thresholdi为每类人对应的分类阈值，i为人脸库的人脸类别数，a与b分别为模型的增益系数与指数系数a取值0~6,b取值0.5~2。Xi为同类内的每个人脸特征与人脸库内除自身外的所有人进行识别的类内最相似识别分数组成。

然后，获取模型入参。利用欧氏距离作为距离测度，计算同类内的每个人脸特征与人脸库内除自身外的所有人进行识别，将每次识别的类内最相似识别分数组成一维数组Xi。 

最后，获取数据挖掘分类阈值。改变a与b的值，获得多组分类阈值，在FAR与FRR曲线图中取FAR与FRR下方面积和最小的图像对应的b值，并在此图中取FRR/FAR最接近1/5时对应的阈值中的a值，以此（a,b）值并结合各人脸类的Xi ，代入数据挖掘模型中获得各类人脸的分类识别阈值

。 

下面以一个具体实例对本发明作出说明，为了验证本发明方法与装置，在Yale 人脸数据库和AR 人脸数据上进行了实验。其中Yale 数据库包含了15 位志愿者，每位志愿者有11 张图片，共165 张图片，包含光照，表情和姿态的变换。AR 数据库包括100 位志愿者，每位志愿者有26 张图片，我们从中取50位志愿者的每人14 张无遮挡物的图片，共700 张，该库也包含光照，表情和姿态的变化。其中在Yale 人脸数据库进行实验室每个人选取6 张图片作为训练集，剩下的5 张作为测试集。在AR 人脸数据库进行实验时，每个人选取同一时间段采集的前7 张图片作为训练集，后一时间段的7 张作为测试集。表1给出了本发明在不同人脸库的识别率。表一统计结果不考虑拒绝率。图4为本发明方法不包括数据挖掘部分在AR库的测试结果。该图说明每张人脸由于自身的纹理等属性不同，其识别距离差距较大，单一判断阈值可能带来拒识率或是误识率的提高。图5为图4对应的FAR（错误接受率）与FRR（错误拒绝率）图。该图显示在FAR为4.857%时，FRR为3.429%。图6为本发明方法在AR库实验结果的FAR（错误接受率）与FRR（错误拒绝率）图。从图6可以看出，在FAR为4.857%时，FRR为0.5714%，明显降低了拒识率，提高了***的识别效率。 

表1.不同人脸库的本发明识别率 

人脸数据库	Yale	AR
			识别率	98.3%	94.6%

本发明不仅可增大有效的类内注册人脸特征信息量，更好适应人脸姿态与表情变化，而且***的自动更新可以降低环境与人脸随时间变化带来的拒识率，还针对类间各类人脸的特征差异挖掘出各自的分类阈值，降低了使用同一分类阈值而忽略类间人脸差异产生的误事率与拒识率，提高***的识别效率。

Claims (6)

1.一种基于人脸特征数据挖掘的人脸识别装置，其特征是：所述的装置包括人脸注册模块、人脸识别模块与***更新模块，其中

所述的人脸注册模块利用图像局部二元模式特征相似度匹配值，根据匹配值判定类内的雷同图像并舍弃，对于非雷同照片计算核主成分分析特征，并对核主成分分析特征使用模糊FDA提取人脸特征，再利用数据挖掘技术求取该类人的分类阈值，并记录该注册人的注册密码；

所述的人脸识别模块，通过计算分割图像核主成分分析特征，并对核主成分分析特征使用模糊FDA提取人脸特征，再计算提取的当前人脸与库内人脸特征的欧氏距离，并将此值与注册库的各分类阈值进行比较判定；

所述的***更新模块为当前识别人脸识别连续3次均未识别成功，且识别分数在要求范围内且为同一类人，则通过注册密码确认识别，密码输入正确，则识别成功并进行人脸特征提取与数据挖掘获取注册库各类人的分类阈值，并更新人脸库。

2.一种采用如权利要求1所述的基于人脸特征数据挖掘的人脸识别装置的基于人脸特征数据挖掘的人脸识别方法，其特征是：所述的方法为

所述的人脸注册模块包括人脸定位、雷同人脸去除、人脸特征提取与数据挖掘；

所述的人脸识别模块包括人脸定位，人脸特征提取与人脸识别；

所述的人脸库***更新模块包括***更新判定，人脸特征提取与数据挖掘。

3.根据权利要求2所述的方法，其特征是：所述的人脸定位为对检测到的人脸区域进行鼻尖定位，根据鼻尖定位信息将人脸分割出人脸眉毛图像、人脸眼睛图像、人脸鼻子图像和人脸嘴巴图像等4块人脸区域。

4.根据权利要求2所述的方法，其特征是：所述的雷同人脸照片去除为分别提取人脸定位步骤分割的人脸区域的LBP特征，并将计算当前人脸局部二值模式特征与当前人脸库内人脸的海明距离，如果海明距离小于设定阈值，则判定为雷同照片给予去除。

5.根据权利要求2所述的方法，其特征是：所述的人脸特征提取为对于非雷同照片计算核主成分分析特征，对核主成分分析特征使用模糊FLDA获取投影系数，并提取人脸特征，

根据权利要求2所述的方法，其特征是：所述的人脸识别为计算提取的当前人脸与库内某人脸特征的欧氏距离，并将此值与注册库的该人脸类得分类阈值进行比较判定。

6.根据权利要求2所述的方法，其特征是：所述的数据挖掘包括下述步骤：

首先，建立人脸特征分类阈值数据挖掘模型，

Thresholdi为每类人对应的分类阈值，i为人脸库的人脸类别数，a与b分别为模型的增益系数与指数系数a取值0~6,b取值0.5~2，Xi为同类内的每个人脸特征与人脸库内除自身外的所有人进行识别的类内最相似识别分数组成；

然后，获取模型入参，利用欧氏距离作为距离测度，计算同类内的每个人脸特征与人脸库内除自身外的所有人进行识别，将每次识别的类内最相似识别分数组成一维数组Xi；

最后，获取数据挖掘分类阈值，改变a与b的值，获得多组分类阈值，在FAR与FRR曲线图中取FAR与FRR下方面积和最小的图像对应的b值，并在此图中取FRR/FAR最接近1/5时对应的阈值中的a值，以此（a,b）值并结合各人脸类的Xi ，代入数据挖掘模型中获得各类人脸的分类识别阈值 。

Images