CN103353936A - 人脸识别方法及*** - Google Patents
人脸识别方法及*** Download PDFInfo
- Publication number
- CN103353936A CN103353936A CN2013103211029A CN201310321102A CN103353936A CN 103353936 A CN103353936 A CN 103353936A CN 2013103211029 A CN2013103211029 A CN 2013103211029A CN 201310321102 A CN201310321102 A CN 201310321102A CN 103353936 A CN103353936 A CN 103353936A
- Authority
- CN
- China
- Prior art keywords
- infrared
- facial image
- face
- wave band
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种人脸识别方法及***,包括:采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;基于稀疏正则化方法对提取到的每一波段的人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;再基于稀疏正则化方法对第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标;根据第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集;采用最近邻分类器获取分类结果。本发明能够在融合足够多人脸图像信息的基础之上,保证最终表达人脸的特征集有较低的维数,从而也保证人脸识别的速度和单个人需要存储的数据量较小,提高识别精度。
Description
技术领域
本发明涉及了一种有层次的基于稀疏正则化方法对多波段人脸图像特征进行评价、选择与融合的人脸识别方法。
背景技术
人脸识别技术是利用计算机获取人脸图像并进行分析预处理,然后以特定方法提取出能有效表示人脸图像的特征,最后通过机器学习的方法对人脸图像进行身份鉴定。人脸识别广泛应用于人机交互***、安全验证***、驾照和护照的验证以及罪犯身份识别等方面。最近几年随着信息和网络技术的发展,人脸识别已经成为模式识别领域最受关注的问题之一。
人脸识别领域最重要的研究课题之一是寻找高效且维数较低的特征或特征集来描述人脸的,以使在保证对光照、表情、姿态及年龄具有充分的鲁棒性情况下也保证了大数据情况下的快速人脸识别。现有的人脸特征描述方法主要分为几何特征、统计全局特征和局部纹理描述特征。几何特征主要是指以面部器官的几何形状和位置分布构成的特征,如面部器官间的欧式距离、形状曲率、角度等参数。然而,几何特征的提取非常依赖于面部器官的精确位置和面部结构等先验信息,而自动获取精确的面部器官位置形状信息是一直以来没有很好解决的技术难题。因此基于统计全局特征的人脸识别方法应运而生。其主要方法有:主成分分析方法(PCA)和线性判别分析(LDA)方法。其中,主成分分析方法虽然对人脸的特征信息压缩非常有效,但是不能获得很好的分类效果;而线性判别分析在一定程度上弥补了主成分分析的缺陷,但它要求训练样本数目较多并具有代表性。局部纹理描述特征主要有:Gabor小波特征、局部二值模式(LBP)、POEM、局部方向模式(LDP)。其中,Gabor小波特征被认为是一种符合人眼生物学原理的局部描述特征,但是它的特征维数十分庞大且计算复杂。在这众多的人脸特征描述方法中,每一种特征描述方法都有各自的优劣,而每一种特征描述方法都不能单独地全面描述整张人脸的特性,因此为了使得特征的表达作用相互补充,达到相得益彰的效果,研究将不同种类的特征进行融合是研究者们日益关注的研究方向。但是现有的用于人脸识别的特征融合方法主要通过融合的手段将多种不同数据类型或意义的特征在同一空间中组成新的特征,从而进行识别。此类融合方法融合的特征一般比较单一,并且特征维数比较高。
发明内容
本发明的目的在于提供一种人脸识别方法及***,能够在融合足够多人脸图像信息的基础之上,保证最终表达人脸的特征集有较低的维数,从而也保证人脸识别的速度和单个人需要存储的数据量较小,提高识别精度。
为解决上述问题,本发明提供一种人脸识别方法,包括:
采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;
对采集得到的每一波段的训练图像进行归一化,并进行mask和光照的预处理;
从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征;
基于稀疏正则化方法对提取到的每一波段的人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;
把得到的每一波段的人脸图像新特征组合成第一特征集,再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标;
采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像;
对采集得到的每一波段的测试图像进行归一化,并进行mask和光照的预处理;
从经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征;
根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征;
将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集,根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集;
采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离,所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。
进一步的,在上述方法中,所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。
进一步的,在上述方法中,所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。
进一步的,在上述方法中,所述全局特征为PCA或LDA。
进一步的,在上述方法中,采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的步骤中,
采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头配置为同轴,且距离相近,各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。
进一步的,在上述方法中,所述光照的预处理为Gamma校正或retinafilter。
根据本发明的另一面,提供一种人脸识别***,包括:
第一采集模块,用于采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;
第一处理模块,用于对采集得到的每一波段的训练图像进行归一化,并进行mask和光照的预处理;
第一特征模块,用于从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征;
第一新特征模块,用于基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;
第二特征集模块,用于把得到的每一波段的人脸图像的新特征组合成第一特征集,再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标;
第二采集模块,用于采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像;
第二处理模块,用于对采集得到的每一波段的测试图像进行归一化,并进行mask和光照的预处理;
第二特征模块,用于经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征;
第二新特征模块,用于根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征;
第一结果模块,用于将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集,根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集;
第二结果模块,用于采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离,所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。
进一步的,在上述***中,所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。
进一步的,在上述***中,所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。
进一步的,在上述***中,所述全局特征为PCA或LDA。
进一步的,在上述***中,所述第一采集模块和第二采集模块分别为采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头,所有摄像头配置为同轴,且距离相近,各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。
进一步的,在上述***中,所述第一处理模块和第二处理模块采用Gamma校正或retina filter方法进行所述光照的预处理。
与现有技术相比,本发明在融合可见光、近红外、中红外、远红外和热红外人脸图像信息的基础上,对图像特征进行了两次基于稀疏正则化方法的评价与选择,实现在融合足够多人脸图像信息的基础之上,保证最终表达人脸的特征集有较低的维数,从而也保证人脸识别的速度和单个人需要存储的数据量较小,本发明不仅可以适应于实时实际的环境,而且也适用于大数据存储量的情况,同时本发明采用基于稀疏正则化方法,能够克服配饰、遮挡等变化,提高识别精度。
附图说明
图1是本发明一实施例的人脸识别方法的训练流程图;
图2是本发明一实施例的人脸识别方法的测试流程图;
图3是本发明一实施例的稀疏正则化算法的原理图;
图4是本发明一实施例的人脸识别***的模块图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1和2所示,本发明提供一种人脸识别方法,包括步骤S1至步骤S11。
步骤S1,采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;具体的,本实施例提出图像组的概念,意为人脸在状态不变的情况下,获得的可见光、近红外、中红外、远红外和热红外的人脸图像,这样的五张图像就称为一组图像组。
步骤S2,对采集得到的每一波段的训练图像进行归一化,并进行mask和光照的预处理;具体的,可通过人眼定位等措施,对人脸图像进行归一化,之后覆盖掩膜以去除背景。同时为了去除光照不均的影响,加入Gamma校正或retina filter等光照预处理方法。
步骤S3,从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征;具体的,将预处理后的一组图像组中的可见光、近红外、中红外、远红外和热红外图像分别提取第一人脸图像特征,表示为Hv,Hr,Hn1,Hn2,Hn3,其中Hv表示可见光的第一人脸图像特征,Hr表示热红外的第一人脸图像特征,Hn1,Hn2,Hn3分别表示的是近红外、中红外、远红外的第一人脸图像特征。
步骤S4,基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;具体的,基于图像的稀疏表示人脸识别是近期出现的将压缩感知理论应用于模式识别中的新方法,其在克服配饰、遮挡等变化等方面具有很强的鲁棒性。与传统方法不同,这类方法将人脸进行稀疏表示,采用信号处理中的压缩采样技术,不再要求将人脸紧致地表示成一个低维空间,而是将其投影成一个非常稀疏的高维向量,并通过1范数最小化的方法,几乎无误差地恢复该向量,从而进行身份的查询和认证,并获得较好的识别结果。为了增强实时光照的鲁棒性,选择了融合不同波段下的人脸图像特征,同时为了保证最终得到的最终表达人脸的第二特征集M能够融合不同单波段图像特征中最具区分能力的特征和M特征维数不高或者较低,本发明提出了有层次的基于稀疏正则化方法对多波段人脸图像特征进行评价、选择与融合的人脸识别方法。基于稀疏正则化方法对提取到的单波段人脸图像特征进行评价与选择得到降维后的单波段人脸图像的新特征和新特征评价指标集其中,分别对应着可见光、近红外、中红外、远红外和热红外各单波段人脸特征训练后的新特征评价指标。
步骤S6,采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像;
优选的,步骤S1和步骤S6中为了保证采集可见光、近红外、中红外、远红外和热红外图像的同时性,采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头配置为同轴,且距离相近,各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。
步骤S7,对采集得到的每一波段的测试图像进行归一化,并进行mask和光照的预处理;
优选的,所述光照的预处理为Gamma校正或retina filter。
步骤S8,从经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征;
优选的,所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。
较佳的,所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。所述全局特征为PCA或LDA。
步骤S9,根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征;
步骤S10,将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集,根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集M;
步骤S11,采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离,所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。具体的,人脸图像测试库的构建过程与采集训练图像流程相似。需要同时采集可见光、近红外、中红外、远红外和热红外的图像,然后进行归一化、背景去除以及光照预处理,得到的对可见光、近红外、中红外、远红外和热红外的人脸图像组的提取特征构成代表该图像组的第二特征集,依次存于人脸图像测试库中。人脸图像测试库中距离最近的人脸图像的所属人则判定为待测试人。
详细的,基于稀疏正则化方法的具体训练方法如图3所示:
1、步骤S4中,基于稀疏正则化方法包括如下内容:
首先构建正样本与负样本,这里以LBP特征为例,其他特征方法一致。将整张图像划分为s×s的网格,在每个小区域内提取LBP特征(可见光表示为hvi,热红外表示为hni,近红外表示为hn1i,中红外表示为hn2i,远红外表示为hn3i,i=0,1,…,s×s),设s×s=m,并将每个区域的特征拼合为一个向量,可得到:Hv、Hr、Hn1、Hn2、Hn3;
同一个人不同的两张单波段(波段主要指可见光、近红外、中红外、远红外和热红外其中某一波段)图像提取特征后,计算所得的距离向量为正样本,不同人的两张单波段(波段主要指可见光、近红外、中红外、远红外和热红外其中某一波段)图像提取特征的距离向量为负样本。为了保证正样本与负样本数量的均衡,每次从全部的负样本中随机抽取与正样本相同数量的样本作为本次训练的负样本,随机若干次后,将每次训练值平均即为最终值。距离公式一般形式可表达如下:
将正样本与负样本构成矩阵 n为正样本和负样本的数目,A矩阵需按列进行样本归一化;
给定矩阵Y=[0 0 … 0 1 1 … 1]T为样本的标号所构成的矩阵,该矩阵每行的数值与A矩阵的对应行一一对应。若该行为正样本,则对应于Y的该行数值为0;若该行为负样本,则为1;
样本的标号矩阵Y与样本的特征矩阵A之间存在线性关系:Y=Aβ1,β1为评价指标向量;
由于特征的个数m大于n,致使求得到的β1不唯一,通过lasso的方法,加入稀疏正则项,解决了这个问题,优化方程如下:
其中||·||2表示欧几里得范数,||·||1表示1-范数。λ表示正则化系数,用于调整β的稀疏程度。λ越大,β1中值为零的项的数目越多;
通过上述优化方程,得到的唯一解β1。由于β1为评价指标向量,则其元素β1i的值表示了其对应特征块在分类中的重要程度。则若β1i为负,或者足够小就意味着该特征块在分类中的作用可以忽略,因此对β1中的每一元素做如下处理:
(由其作为元素的向量为)表示更新后的β1i值,T用于调整人脸特征向量的维数。T越大,选择出的特征越少,用于表征人脸的特征向量的维数越小,反之亦然,最终可得到的评价指标向量将评价指标加入到人脸特征向量的表征中,可得表征公式:中很多项为零,则使得中很多项也为零。由于为表征人脸的特征向量,则其为零项无意义,因此可以剔除,由此使得特征向量的维数降低。也可以理解为只提取不为零的特征块的特征,并乘以相应的系数。同理可以得到其余四个单波段的人脸图像新特征()和特征评价指标()。
2、步骤S5中,基于稀疏正则化方法包括如下内容:
同一个人的两个特征集,计算所得的距离向量为正样本,不同人的两特征集计算所得的距离向量为负样本。为了保证正样本与负样本数量的均衡,每次从全部的负样本中随机抽取与正样本相同数量的样本作为本次训练的负样本,随机若干次后,将每次训练值平均即为最终值,同样距离计算公式一般形式可表达如下:
将正样本与负样本构成矩阵 n为正样本和负样本的数目,A矩阵需按列进行样本归一化;
给定矩阵Y=[0 0 … 0 1 1 … 1]T为样本的标号所构成的矩阵,该矩阵每行的数值与A矩阵的对应行一一对应。若该行为正样本,则对应于Y的该行数值为0;若该行为负样本,则为1;
样本的标号矩阵Y与样本的特征矩阵A之间存在线性关系:Y=Aβ,β为评价指标向量;
由于特征的个数m大于n,致使求得到的β不唯一。通过lasso的方法,加入稀疏正则项,解决了这个问题。优化方程如下:
其中||·||2表示欧几里得范数,||·||1表示1-范数。λ表示正则化系数,用于调整β的稀疏程度。λ越大,β中值为零的项的数目越多。
通过上述优化方程,得到的唯一解β。由于β为评价指标向量,则其元素βi的值表示了其对应特征块在分类中的重要程度。则若βi为负,或者足够小就意味着该特征块在分类中的作用可以忽略,因此对β做如下处理:
同时可以得到最终表达人脸图像特征的特征集:中很多项为零,则使得M中很多项也为零。由于M为表征人脸的特征向量,则其为零项无意义,因此可以剔除,由此使得特征向量的维数降低。也可以理解为只提取不为零的特征块的特征,并乘以相应的系数,最后拼合为表征该人脸的特征向量。
本实施例提供的有层次的基于稀疏正则化方法对多波段人脸图像特征进行评价、选择与融合的人脸识别方法,不仅保证了高效的表达人脸,而且保证了较低的特征维数和较高的识别速度。
实施例二
如图4所示,本发明还提供另一种人脸识别***,包括第一采集模块1、第一处理模块2、第一特征模块3、第一新特征模块4、第二特征集模块5、第二采集模块6、第二处理模块7、第二特征模块8、第二新特征模块9、第一结果模块10和第二结果模块11。
第一采集模块1,用于采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;
第一处理模块2,用于对采集得到的每一波段的训练图像进行归一化,并进行mask和光照的预处理;
第一特征模块3,用于从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征;
优选的,所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。
较佳的,所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。所述全局特征为PCA或LDA。
第一新特征模块4,用于基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;
第二特征集模块5,用于把得到的每一波段的人脸图像的新特征组合成第一特征集,再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标;
第二采集模块6,用于采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像;
优选的,所述第一采集模块和第二采集模块分别为采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头,所有摄像头配置为同轴,且距离相近,各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。
第二处理模块7,用于对采集得到的每一波段的测试图像进行归一化,并进行mask和光照的预处理;
第二特征模块8,用于经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征;
第二新特征模块9,用于根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征;
第一结果模块10,用于将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集,根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集;
第二结果模块11,用于采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离,所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。
实施例二的其它详细内容具体可参见实施例一的相应部分,在此不再赘述。
综上所述,本发明在融合可见光、近红外、中红外、远红外和热红外人脸图像信息的基础上,对图像特征进行了两次基于稀疏正则化方法的评价与选择,实现在融合足够多人脸图像信息的基础之上,保证最终表达人脸的特征集有较低的维数,从而也保证人脸识别的速度和单个人需要存储的数据量较小,本发明不仅可以适应于实时实际的环境,而且也适用于大数据存储量的情况,同时本发明采用基于稀疏正则化方法,能够克服配饰、遮挡等变化,提高识别精度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (12)
1.一种人脸识别方法,其特征在于,包括以下步骤:
采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;
对采集得到的每一波段的训练图像进行归一化,并进行mask和光照的预处理;
从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征;
基于稀疏正则化方法对提取到的每一波段的人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;
把得到的每一波段的人脸图像新特征组合成第一特征集,再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标;
采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像;
对采集得到的每一波段的测试图像进行归一化,并进行mask和光照的预处理;
从经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征;
根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征;
将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集,根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集;
采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离,所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。
2.如权利要求1所述的人脸识别方法,其特征在于,所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。
3.如权利要求2所述的人脸识别方法,其特征在于,所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。
4.如权利要求2所述的人脸识别方法,其特征在于,所述全局特征为PCA或LDA。
5.如权利要求1所述的人脸识别方法,其特征在于,采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的步骤中,
采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头配置为同轴,且距离相近,各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。
6.如权利要求1所述的人脸识别方法,其特征在于,所述光照的预处理为Gamma校正或retina filter。
7.一种人脸识别***,其特征在于,包括:
第一采集模块,用于采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像;
第一处理模块,用于对采集得到的每一波段的训练图像进行归一化,并进行mask和光照的预处理;
第一特征模块,用于从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征;
第一新特征模块,用于基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标;
第二特征集模块,用于把得到的每一波段的人脸图像的新特征组合成第一特征集,再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标;
第二采集模块,用于采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像;
第二处理模块,用于对采集得到的每一波段的测试图像进行归一化,并进行mask和光照的预处理;
第二特征模块,用于经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征;
第二新特征模块,用于根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征;
第一结果模块,用于将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集,根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集;
第二结果模块,用于采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离,所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。
8.如权利要求7所述的人脸识别***,其特征在于,所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。
9.如权利要求7所述的人脸识别***,其特征在于,所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。
10.如权利要求7所述的人脸识别方法,其特征在于,所述全局特征为PCA或LDA。
11.如权利要求7所述的人脸识别***,其特征在于,所述第一采集模块和第二采集模块分别为采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头,所有摄像头配置为同轴,且距离相近,各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。
12.如权利要求7所述的人脸识别方法,其特征在于,所述第一处理模块和第二处理模块采用Gamma校正或retina filter方法进行所述光照的预处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310321102.9A CN103353936B (zh) | 2013-07-26 | 2013-07-26 | 人脸识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310321102.9A CN103353936B (zh) | 2013-07-26 | 2013-07-26 | 人脸识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103353936A true CN103353936A (zh) | 2013-10-16 |
CN103353936B CN103353936B (zh) | 2017-01-11 |
Family
ID=49310304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310321102.9A Active CN103353936B (zh) | 2013-07-26 | 2013-07-26 | 人脸识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103353936B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318219A (zh) * | 2014-10-31 | 2015-01-28 | 上海交通大学 | 基于局部特征及全局特征结合的人脸识别方法 |
CN104615995A (zh) * | 2015-02-11 | 2015-05-13 | 成都果豆数字娱乐有限公司 | 一种面部识别方法 |
WO2015101080A1 (zh) * | 2013-12-31 | 2015-07-09 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
CN105372198A (zh) * | 2015-10-28 | 2016-03-02 | 中北大学 | 基于集成l1正则化的红外光谱波长选择方法 |
CN105956552A (zh) * | 2016-04-29 | 2016-09-21 | 中国人民解放军国防科学技术大学 | 一种人脸黑名单监测方法 |
CN106127251A (zh) * | 2016-06-23 | 2016-11-16 | 合肥工业大学 | 一种用于描述人脸特征变化的计算机视觉方法 |
CN106372603A (zh) * | 2016-08-31 | 2017-02-01 | 重庆大学 | 遮挡人脸识别方法及装置 |
CN107527019A (zh) * | 2017-07-28 | 2017-12-29 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
CN107545163A (zh) * | 2017-08-14 | 2018-01-05 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
CN107766946A (zh) * | 2017-09-28 | 2018-03-06 | 第四范式(北京)技术有限公司 | 生成机器学习样本的组合特征的方法及*** |
CN108875649A (zh) * | 2018-06-22 | 2018-11-23 | 北京佳格天地科技有限公司 | 一种地物分类方法、***、设备和存储介质 |
CN111368597A (zh) * | 2018-12-26 | 2020-07-03 | 上海银晨智能识别科技有限公司 | 人脸识别*** |
CN112800921A (zh) * | 2021-01-22 | 2021-05-14 | 广东电网有限责任公司广州供电局 | 基于卷积神经网络的多波段光源人脸识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136516A (zh) * | 2013-02-08 | 2013-06-05 | 上海交通大学 | 可见光与近红外信息融合的人脸识别方法及*** |
CN103268485A (zh) * | 2013-06-09 | 2013-08-28 | 上海交通大学 | 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法 |
-
2013
- 2013-07-26 CN CN201310321102.9A patent/CN103353936B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136516A (zh) * | 2013-02-08 | 2013-06-05 | 上海交通大学 | 可见光与近红外信息融合的人脸识别方法及*** |
CN103268485A (zh) * | 2013-06-09 | 2013-08-28 | 上海交通大学 | 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9898649B2 (en) | 2013-12-31 | 2018-02-20 | Beijing Techshino Technology Co., Ltd. | Face authentication method and device |
WO2015101080A1 (zh) * | 2013-12-31 | 2015-07-09 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
CN104318219A (zh) * | 2014-10-31 | 2015-01-28 | 上海交通大学 | 基于局部特征及全局特征结合的人脸识别方法 |
CN104318219B (zh) * | 2014-10-31 | 2017-10-31 | 上海交通大学 | 基于局部特征及全局特征结合的人脸识别方法 |
CN104615995A (zh) * | 2015-02-11 | 2015-05-13 | 成都果豆数字娱乐有限公司 | 一种面部识别方法 |
CN105372198A (zh) * | 2015-10-28 | 2016-03-02 | 中北大学 | 基于集成l1正则化的红外光谱波长选择方法 |
CN105956552A (zh) * | 2016-04-29 | 2016-09-21 | 中国人民解放军国防科学技术大学 | 一种人脸黑名单监测方法 |
CN105956552B (zh) * | 2016-04-29 | 2019-08-02 | 中国人民解放军国防科学技术大学 | 一种人脸黑名单监测方法 |
CN106127251A (zh) * | 2016-06-23 | 2016-11-16 | 合肥工业大学 | 一种用于描述人脸特征变化的计算机视觉方法 |
CN106372603A (zh) * | 2016-08-31 | 2017-02-01 | 重庆大学 | 遮挡人脸识别方法及装置 |
CN107527019A (zh) * | 2017-07-28 | 2017-12-29 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
CN107527019B (zh) * | 2017-07-28 | 2020-12-25 | Oppo广东移动通信有限公司 | 解锁控制方法及相关产品 |
CN107545163A (zh) * | 2017-08-14 | 2018-01-05 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
US10671713B2 (en) | 2017-08-14 | 2020-06-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for controlling unlocking and related products |
CN107545163B (zh) * | 2017-08-14 | 2022-04-26 | Oppo广东移动通信有限公司 | 解锁控制方法及相关产品 |
CN107766946A (zh) * | 2017-09-28 | 2018-03-06 | 第四范式(北京)技术有限公司 | 生成机器学习样本的组合特征的方法及*** |
CN107766946B (zh) * | 2017-09-28 | 2020-06-23 | 第四范式(北京)技术有限公司 | 生成机器学习样本的组合特征的方法及*** |
CN108875649A (zh) * | 2018-06-22 | 2018-11-23 | 北京佳格天地科技有限公司 | 一种地物分类方法、***、设备和存储介质 |
CN111368597A (zh) * | 2018-12-26 | 2020-07-03 | 上海银晨智能识别科技有限公司 | 人脸识别*** |
CN112800921A (zh) * | 2021-01-22 | 2021-05-14 | 广东电网有限责任公司广州供电局 | 基于卷积神经网络的多波段光源人脸识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103353936B (zh) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103353936A (zh) | 人脸识别方法及*** | |
CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
CN103136516B (zh) | 可见光与近红外信息融合的人脸识别方法及*** | |
CN109902590B (zh) | 深度多视图特征距离学习的行人重识别方法 | |
Zhang et al. | Driver fatigue detection based on eye state recognition | |
CN106503687B (zh) | 融合人脸多角度特征的监控视频人物身份识别***及其方法 | |
CN103268485A (zh) | 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法 | |
CN102831447B (zh) | 多类别面部表情高精度识别方法 | |
CN106096535A (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
CN108960141A (zh) | 基于增强型深度卷积神经网络的行人再识别方法 | |
CN105138972A (zh) | 人脸认证方法和装置 | |
CN105335716A (zh) | 一种基于改进udn提取联合特征的行人检测方法 | |
CN103116749A (zh) | 一种基于自建图像库的近红外人脸识别方法 | |
CN103971106B (zh) | 多视角人脸图像性别识别方法及装置 | |
CN103778435A (zh) | 一种基于视频的行人快速检测方法 | |
CN101996308A (zh) | 人脸认证方法及***、人脸模型训练方法及*** | |
CN103530648A (zh) | 一种基于多帧图像的人脸识别方法 | |
CN110263215A (zh) | 一种视频情感定位方法及*** | |
CN105303150A (zh) | 实现图像处理的方法和*** | |
CN111046821A (zh) | 一种视频行为识别方法、***及电子设备 | |
CN102169543B (zh) | 基于多源信息融合和在线学习的人头计数方法 | |
CN104268507A (zh) | 一种基于rgb-d图像的手语字母识别方法 | |
Yu et al. | FF-CMnet: A CNN-based model for fine-grained classification of car models based on feature fusion | |
Ren et al. | A high compatibility finger vein image quality assessment system based on deep learning | |
CN104715266A (zh) | 基于src-dp与lda相结合的图像特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180723 Address after: 201201 1 floor of No. 977, Shanghai Feng Road, Pudong New Area, Shanghai. Patentee after: Shanghai Ling Technology Co., Ltd. Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee before: Shanghai Jiao Tong University |