CN1855118A - 一种基于图像比的光照变化下的人脸识别方法 - Google Patents
一种基于图像比的光照变化下的人脸识别方法 Download PDFInfo
- Publication number
- CN1855118A CN1855118A CN 200510011647 CN200510011647A CN1855118A CN 1855118 A CN1855118 A CN 1855118A CN 200510011647 CN200510011647 CN 200510011647 CN 200510011647 A CN200510011647 A CN 200510011647A CN 1855118 A CN1855118 A CN 1855118A
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- ratio
- face
- reflectivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005286 illumination Methods 0.000 claims abstract description 130
- 238000002310 reflectometry Methods 0.000 claims abstract description 35
- 230000001815 facial effect Effects 0.000 claims description 35
- 239000004744 fabric Substances 0.000 claims description 24
- 238000010189 synthetic method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于图像比的光照变化下的人脸识别方法。光照是人脸识别***的一个主要性能瓶颈。本发明通过将图像比技术与光照子空间理论相结合,简便地将反射率之比转换成光照条件和三维外形相似的两幅图像之比,从而得到了一种不随光照变化的人脸表示方法。这种图像比表示方法可用来合成任意光照条件下的人脸图像,从而可用于实现人脸图像的光照归一化或用于生成丰富的训练样本。本发明可在各种人脸识别***中应用,提高***在光照变化环境中的识别性能。
Description
技术领域
本发明涉及计算机视觉和模式识别领域,特别是光照变化下的人脸识别和图像合成方法。
背景技术
近年来,生物特征识别技术得到了迅速的发展。其中人脸识别技术与其它生物特征识别技术相比有着用户友好和非侵犯性等优点。自911事件之后,国家安全变得越来越重要。利用生物特征识别技术,特别是人脸识别技术,可以增强出入境控制以有效预防恐怖袭击。出于这个目的,国际民航组织(ICAO)要求其188个成员国在2010年之前开始发行生物护照。生物护照是指封装一块包含人体生物特征信息的IC芯片的护照。人脸、虹膜、指纹等生物特征被认为是人各有异、终生不变的,因此通过比较IC芯片中的人体生物特征和现场采集的人体生物特征来进行身份鉴定是最可靠的身份鉴定方法。ICAO规定将脸相特征作为最主要的特征,所以高性能的人脸识别是生物护照识别***中的一项关键技术。
而在实际的人脸识别***中,光照是制约***性能的关键因素。根据权威的人脸识别竞赛FRVT 2002的结果,目前最好的人脸识别***在室内环境下可以达到90%左右的识别率,而相同的***在室外环境下只能达到50%左右的识别率。这种性能的大幅度下降主要是由光照变化引起的。
获取人脸图像的不随光照变化的表示方法是解决光照问题的基本出发点。三维外形、反射率和环境光照是物体成像的三个要素。不随光照变化的表示方法应当仅与三维外形和反射率相关而与光照无关。在本发明中,我们将图像比技术与光照子空间相结合,通过将反射率之比转换成两幅图像之比,获得了人脸图像的一种不随光照变化的表示方法。这种表示方法可用来合成新的光照条件下的人脸图像以及进行图像的光照归一化,从而可用于提高人脸识别***对光照的鲁棒性。
发明内容
本发明的目的在于提供一种基于图像比的不随光照变化的人脸表示方法以及一种合成各种光照条件下的人脸图像的方法。并且这两种方法可结合用于光照变化下的人脸识别,从而减少光照对人脸识别***的影响。
这种不随光照变化的人脸表示方法被定义为人脸的反射率之比,由于反射率之比难于直接确定,所以我们将其转换为三维外形和光照条件相同而反射率不同的两幅图像之比。为了计算该图像比,我们首先将构建一个光照子空间。给定一幅人脸图像,通过将其投影到我们预先训练的光照子空间中,可以得到一幅与原始图像的三维外形和光照条件相似的图像,这两幅图像之比将不随光照而变化。这种不随光照变化的人脸表示方法可以用来合成不同光照条件的人脸图像。这种光照合成技术可以用来使两幅人脸图像达到相似的光照条件,实现人脸图像的光照归一化,或者生成任意光照条件下的人脸图像样本,提供丰富的人脸图像训练集。本发明可广泛应用于各种人脸识别***,推动人脸识别技术在图像检索、身份识别和验证、监控与跟踪等众多领域的应用。
为了实现在光照变化条件下的高性能人脸识别,本发明提出了一种基于图像比的人脸识别方法。首先我们从成像模型的角度进行分析,人脸可近似看作漫反射表面,因此人脸图像I(x,y)可以表示为I(x,y)=ρ(x,y)n(x,y)Ts,其中(x,y)为图像中的一点,ρ(x,y)和n(x,y)T为该点的反射率和表面法向量,s代表光源。假定两幅人脸图像Iy和Ia,其反射率之比,即ρy(u,v)/ρa(u,v),很明显是不随光照变化的。因此我们将这种反射率之比定义为人脸图像Iy的不随光照变化的表示方法。然而,人脸的反射率之比很难直接确定,因此我们必须找到其他的方法来计算反射率之比。由漫反射模型可知:
其中,Ia是三维外形和光照条件都与Iy类似的一幅图像。这意味这我们将反射率之比转换成了图像之比。接下来我们将利用光照子空间的理论获取所需的Iy。
研究显示人脸在所有可能的光照条件下的图像集合可以表示为一个低维子空间。这意味着当我们构建了这种光照子空间时,给定人脸图像Iy,就始终可以在其中找到人脸图像Ia具有与Iy类似的三维外形和光照条件,并且Ia是Iy在光照子空间的最小二乘解。
一种基于图像比的光照变化下的人脸识别方法,包括步骤:
首先通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法,然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像。
一种基于图像比的光照变化下的人脸识别方法,包括步骤:利用通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法,然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像的光照合成方法来合成与原始图像光照一致的人脸图像,从而实现图像的光照归一化,人脸识别可采用主元分析方法、线性鉴别分析方法在完成光照归一化之后的图像上进行。
这种不随光照变化的表示方法是人脸的反射率之比。
反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比。
图像比将通过以下步骤计算得到:
首先,采集不同人在不同光照条件下的多幅人脸图像组成训练集,然后利用子空间方法构建一个全局光照子空间,给定一幅人脸图像,通过最小二乘近似计算出它在这个子空间中的重建图像,原始图像与该重建图像之比就被定义为:反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比的图像比。
光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比,所述的图像比并变换其中的重建系数实现的。
光照归一化方法是通过光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比,所述的图像比并变换其中的重建系数实现的光照合成方法实现的。
附图说明
图1.本发明提出的基于图像比的不随光照变化的人脸表示方法图示
图2.利用本发明提出的图像比表示方法合成各种光照条件下的人脸图像。
图3.本发明在人脸识别***中的应用框架示例。
图4.本发明的基于图像比的光照变化下的人脸识别方法的流程图。
具体实施方式
图1.一幅人脸图像与其在全局光照子空间中的投影之比将产生与光照无关的图像比,第一副图像为原始图像,第二幅图像是投影图像,第三幅图像为与光照无关的图像比。
图2.以图1所示的方式得到图像比之后,通过变换投影系数,可以得到该人脸在各种光照条件下的图像
图3.对训练集进行统计学习之后,将得到一个全局光照子空间,人脸图像A、B在子空间中的投影以及原始图像与投影图像之比将产生系数A、B和图像比A、B。图像比B和系数A的合成图像将与图像A的光照情况保持一致(即光照归一化),光照归一化后的人脸图像即可作为人脸识别的输入,判断它们是否属于同一个人。
图4.本发明的基于图像比的光照变化下的人脸识别方法,具体实施步骤如下:
第一步,采集不同人在不同光照条件下的多幅图像作为样本集,利用现有的人脸对齐方法(例如活动形状匹配(ASM))对训练图像进行归一化和对齐;
第二步,利用子空间方法(例如PCA、LDA)等在训练集的基础上构建一个近似的全局光照子空间,提取低维子空间的基向量E;
第三步,给定人脸图像Iy,我们可以定义一个能量函数来计算Iy在光照子空间中的最小二乘解Ia,因此Ia可以表示为E的一个线性组合:Ia=Ex,Iy基于图像比Qy的与光照不变的表示方法为,其中x为最小二乘系数:
第四步,利用这种图像比表示,人脸y在不同光照条件下的新图像可以通过改变系数x来得到:
第五步,利用步骤4所述的图像合成方xB法来进行人脸图像的光照归一化,假设要比较人脸图像IA和IB是否属于同一人,则可以分别计算QA、xA和QB、xB,然后使用QA和xB合成与IB光照条件一致的图像,从而实现光照的归一化,之后可以用现有的人脸识别方法对光照归一化之后的图像进行识别。
Claims (8)
1、一种基于图像比的光照变化下的人脸识别方法,包括步骤:
首先通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法,然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像。
2、一种基于图像比的光照变化下的人脸识别方法,其特征在于,还包括步骤:
利用通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法,然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像的光照合成方法来合成与原始图像光照一致的人脸图像,从而实现图像的光照归一化,人脸识别可采用主元分析方法、线性鉴别分析方法在完成光照归一化之后的图像上进行。
3、根据权利要求1所述的基于图像比的光照变化下的人脸识别方法,其特征在于:
这种不随光照变化的表示方法是人脸的反射率之比。
4、根据权利要求3所述的基于图像比的光照变化下的人脸识别方法,其特征在于,反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比。
5、根据权利要求4所述的基于图像比的光照变化下的人脸识别方法,其特征在于,图像比将通过以下步骤计算得到:
首先,采集不同人在不同光照条件下的多幅人脸图像组成训练集,然后利用子空间方法构建一个全局光照子空间,给定一幅人脸图像,通过最小二乘近似计算出它在这个子空间中的重建图像,原始图像与该重建图像之比就被定义为:反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比的图像比。
6、根据权利要求1所述的基于图像比的光照变化下的人脸识别方法,其特征在于,光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比,所述的图像比并变换其中的重建系数实现的。
7、根据权利要求2所述的基于图像比的光照变化下的人脸识别方法,其特征在于,光照归一化方法是通过光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比,所述的图像比并变换其中的重建系数实现的光照合成方法实现的。
8、根据权利要求1所述的基于图像比的光照变化下的人脸识别方法,其步骤如下:
第一步,采集不同人在不同光照条件下的多幅图像作为样本集,利用现有的人脸对齐方法对训练图像进行归一化和对齐;
第二步,利用子空间方法在训练集的基础上构建一个近似的全局光照子空间,提取低维子空间的基向量E;
第三步,给定人脸图像Iy,我们可以定义一个能量函数来计算Iy在光照子空间中的最小二乘解Ia,因此Ia可以表示为E的一个线性组合:Ia=Ex,Iy基于图像比Qy的与光照不变的表示方法为,其中x为最小二乘系数:
第四步,利用这种图像比表示,人脸y在不同光照条件下的新图像可以通过改变系数x来得到:
第五步,利用步骤4所述的图像合成方xB法来进行人脸图像的光照归一化,假设要比较人脸图像IA和IB是否属于同一人,则可以分别计算QA、xA和QB、xB,然后使用QA和xB合成与IB光照条件一致的图像,从而实现光照的归一化,之后可以用现有的人脸识别方法对光照归一化之后的图像进行识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100116475A CN100375105C (zh) | 2005-04-28 | 2005-04-28 | 一种基于图像比的光照变化下的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100116475A CN100375105C (zh) | 2005-04-28 | 2005-04-28 | 一种基于图像比的光照变化下的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1855118A true CN1855118A (zh) | 2006-11-01 |
CN100375105C CN100375105C (zh) | 2008-03-12 |
Family
ID=37195280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100116475A Expired - Fee Related CN100375105C (zh) | 2005-04-28 | 2005-04-28 | 一种基于图像比的光照变化下的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100375105C (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100444193C (zh) * | 2007-04-29 | 2008-12-17 | 中山大学 | 一种基于二次多项式光照模型的人脸光照对齐方法 |
CN102110225A (zh) * | 2009-12-28 | 2011-06-29 | 比亚迪股份有限公司 | 户外人脸识别方法及*** |
CN102279925A (zh) * | 2011-08-25 | 2011-12-14 | 三峡大学 | 链式处理人脸识别方法及*** |
CN102682276A (zh) * | 2011-12-20 | 2012-09-19 | 河南科技大学 | 一种光照变化条件下的人脸识别方法及基图像合成方法 |
CN103679157A (zh) * | 2013-12-31 | 2014-03-26 | 电子科技大学 | 一种基于视网膜模型的人脸图像光照处理方法 |
CN103971132A (zh) * | 2014-05-27 | 2014-08-06 | 重庆大学 | 应用二维非负稀疏偏最小二乘进行人脸识别的方法 |
CN111772536A (zh) * | 2020-07-10 | 2020-10-16 | 小狗电器互联网科技(北京)股份有限公司 | 一种清洁设备及应用于清洁设备的监控方法和装置 |
CN112149557A (zh) * | 2020-09-22 | 2020-12-29 | 福州大学 | 一种基于人脸识别的人物身份跟踪方法及*** |
CN113743284A (zh) * | 2021-08-30 | 2021-12-03 | 杭州海康威视数字技术股份有限公司 | 图像识别方法、装置、设备、相机及门禁设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6888960B2 (en) * | 2001-03-28 | 2005-05-03 | Nec Corporation | Fast optimal linear approximation of the images of variably illuminated solid objects for recognition |
US7058217B2 (en) * | 2001-09-28 | 2006-06-06 | Nec Laboratories America, Inc. | Broadened-specular reflection and linear subspaces for object recognition |
-
2005
- 2005-04-28 CN CNB2005100116475A patent/CN100375105C/zh not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100444193C (zh) * | 2007-04-29 | 2008-12-17 | 中山大学 | 一种基于二次多项式光照模型的人脸光照对齐方法 |
CN102110225A (zh) * | 2009-12-28 | 2011-06-29 | 比亚迪股份有限公司 | 户外人脸识别方法及*** |
CN102110225B (zh) * | 2009-12-28 | 2013-10-30 | 比亚迪股份有限公司 | 户外人脸识别方法及*** |
CN102279925A (zh) * | 2011-08-25 | 2011-12-14 | 三峡大学 | 链式处理人脸识别方法及*** |
CN102279925B (zh) * | 2011-08-25 | 2013-09-11 | 三峡大学 | 链式处理人脸识别方法及*** |
CN102682276B (zh) * | 2011-12-20 | 2016-03-30 | 河南科技大学 | 一种光照变化条件下的人脸识别方法及基图像合成方法 |
CN102682276A (zh) * | 2011-12-20 | 2012-09-19 | 河南科技大学 | 一种光照变化条件下的人脸识别方法及基图像合成方法 |
CN103679157A (zh) * | 2013-12-31 | 2014-03-26 | 电子科技大学 | 一种基于视网膜模型的人脸图像光照处理方法 |
CN103971132A (zh) * | 2014-05-27 | 2014-08-06 | 重庆大学 | 应用二维非负稀疏偏最小二乘进行人脸识别的方法 |
CN111772536A (zh) * | 2020-07-10 | 2020-10-16 | 小狗电器互联网科技(北京)股份有限公司 | 一种清洁设备及应用于清洁设备的监控方法和装置 |
CN111772536B (zh) * | 2020-07-10 | 2021-11-23 | 小狗电器互联网科技(北京)股份有限公司 | 一种清洁设备及应用于清洁设备的监控方法和装置 |
CN112149557A (zh) * | 2020-09-22 | 2020-12-29 | 福州大学 | 一种基于人脸识别的人物身份跟踪方法及*** |
CN112149557B (zh) * | 2020-09-22 | 2022-08-09 | 福州大学 | 一种基于人脸识别的人物身份跟踪方法及*** |
CN113743284A (zh) * | 2021-08-30 | 2021-12-03 | 杭州海康威视数字技术股份有限公司 | 图像识别方法、装置、设备、相机及门禁设备 |
Also Published As
Publication number | Publication date |
---|---|
CN100375105C (zh) | 2008-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1855118A (zh) | 一种基于图像比的光照变化下的人脸识别方法 | |
CN105868689B (zh) | 一种基于级联卷积神经网络的人脸遮挡检测方法 | |
CN101329724B (zh) | 一种优化的人脸识别方法和装置 | |
CN102089770B (zh) | 对物体在监视区中的移动进行分类的设备和方法 | |
Cui et al. | An iris image synthesis method based on PCA and super-resolution | |
CN1797420A (zh) | 一种基于统计纹理分析的人脸识别方法 | |
CN102737234B (zh) | 基于Gabor滤波和联合稀疏模型的人脸识别方法 | |
CN102136075B (zh) | 复杂场景下的多视角人脸检测方法及其装置 | |
CN102629320B (zh) | 基于特征层定序测量统计描述的人脸识别方法 | |
CN110133610A (zh) | 基于时变距离-多普勒图的超宽带雷达动作识别方法 | |
CN103530657B (zh) | 一种基于加权l2抽取深度学习人脸识别方法 | |
CN103605958A (zh) | 一种基于灰度共生矩阵和小波分析的活体人脸检测方法 | |
CN1266642C (zh) | 基于多类别的人脸分类识别方法 | |
CN102184388A (zh) | 人脸和车辆自适应快速检测***及检测方法 | |
CN102208020A (zh) | 基于最优维数标度切判据的人脸识别方法 | |
CN104183029A (zh) | 一种便携式快速人群考勤方法 | |
CN106407966B (zh) | 一种应用于考勤的人脸识别方法 | |
CN105023006A (zh) | 基于增强型非参数最大边缘准则的人脸识别方法 | |
CN109726703A (zh) | 一种基于改进集成学习策略的人脸图像年龄识别方法 | |
CN103942545A (zh) | 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置 | |
CN101183477A (zh) | 自动门铃及其实现方法 | |
CN106886771A (zh) | 基于模块化pca的图像主信息提取方法及人脸识别方法 | |
Jeny et al. | Passnet-Country Identification by Classifying Passport Cover Using Deep Convolutional Neural Networks | |
Rahulkar et al. | Fast discrete curvelet transform based anisotropic iris coding and recognition using k-out-of-n: A fused post-classifier | |
CN1457015A (zh) | 基于人脸识别和手形识别的双模态生物认证*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080312 Termination date: 20160428 |