CN101916384A - 一种人脸图像重建方法、装置及人脸识别*** - Google Patents

一种人脸图像重建方法、装置及人脸识别*** Download PDF

Info

Publication number
CN101916384A
CN101916384A CN 201010268543 CN201010268543A CN101916384A CN 101916384 A CN101916384 A CN 101916384A CN 201010268543 CN201010268543 CN 201010268543 CN 201010268543 A CN201010268543 A CN 201010268543A CN 101916384 A CN101916384 A CN 101916384A
Authority
CN
China
Prior art keywords
image
target image
illumination
aligned target
standard light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010268543
Other languages
English (en)
Other versions
CN101916384B (zh
Inventor
熊鹏飞
黄磊
刘昌平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN2010102685433A priority Critical patent/CN101916384B/zh
Publication of CN101916384A publication Critical patent/CN101916384A/zh
Application granted granted Critical
Publication of CN101916384B publication Critical patent/CN101916384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种人脸图像重建方法、装置及人脸识别***,涉及模式识别技术。所述人脸图像重建方法包括:对目标图像进行像素级对齐;判断对齐后的目标图像所属光照类别;获取所述对齐后的目标图像所属光照类别的重建模型;根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像;以及将所述对齐后的目标图像的标准光照图像校正回原始形状,获得与所述目标图像形状相同的标准光照图像。本发明主要用于人像识别。

Description

一种人脸图像重建方法、装置及人脸识别***
技术领域
本发明属于模式识别技术,尤其涉及一种人脸图像重建方法、装置及人脸识别***。
背景技术
人脸识别作为一种重要的身份鉴别技术,在安全、金融、人机交互、信息、教育等诸多领域有着广泛的应用前景。由于采集的光照环境无法控制,模板图像与测试图像的光照条件总是不尽相同,这使得目前基于图像的人脸识别***难以应对光照变化带来的影响。
光照变化下人脸识别***的改进主要基于两类:(1)光照模板差分:将光照下人脸图像分解为人脸光照不变量和光照模板;(2)光照子空间:从人脸光照图像拟合光照子空间,任意光照的图像均可由该光照子空间线性表出。
在第一类方法下,由于光照模板为光源在人脸图像上沿着人脸法向方向的投影,与光照不变量之间并不相互独立,直接的模板差分所获得的光照不变图像使得人脸结构和纹理信息被大大削弱,往往只剩下轮廓信息,难以描述整体图像特征;在第二类方法下,由于从参考图像中训练目标图像的光照子空间,因此目标图像的重建图像也依赖于参考图像,从而导致图像失真,而且该类方法直接以眼睛位置来对齐图像,由于不同个体图像之间本身存在差异,导致未精确对齐的图像重建失真更加严重。
在实现本发明的过程中发明人发现,由于不同光照下图像之间的表象差异很大,而光照模板差分和光照子空间的方法都采用相同的方法应对所有的光照条件,这样必然导致不同光照下的人脸识别结果差异很大。
发明内容
本发明实施例提供一种人脸图像重建方法、装置及人脸识别***,能够改善光照变化下的人脸识别结果。
本发明实施例采用如下技术方案:
一种人脸图像重建方法,包括:
对目标图像进行像素级对齐;
判断对齐后的目标图像所属光照类别;
获取所述对齐后的目标图像所属光照类别的重建模型;
根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像。
一种人脸图像重建装置,包括:
对齐单元,用于对目标图像进行像素级对齐;
光照类别判断单元,用于判断对齐后的目标图像所属光照类别;
重建模型获取单元,用于获取所述对齐后的目标图像所属光照类别的重建模型;
重建单元,用于根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像。
一种人脸识别***,包括人脸识别装置和人脸图像重建装置,其中,
所述人脸图像重建装置,用于对目标图像进行重建获得目标图像的标准光照图像;
所述人脸识别装置,用于对所述人脸图像重建装置重建所得的目标图像的标准光照图像进行人脸识别。
本发明实施例的人脸图像重建方法、装置及人脸识别***,通过对目标图 像进行像素级对齐,可以获得比仅以眼睛位置进行对齐的图像更好的对齐效果,使得对齐后的图像不会出现大的失真;通过判断对齐后的目标图像所属光照类别,并获取所述对齐后的目标图像所属光照类别的重建模型,然后根据该重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像,可以将相同光照投影的图像分为一类,将目标图像作为一个整体进行图像重建,与现有技术相比,避免了光照模板差分导致的图像特征的丢失,同时也避免了光照子空间带来的重建误差,因此能够改善光照变化下的人脸识别结果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍。
图1为本发明实施例提供的人脸图像重建方法的流程示意图;
图2为本发明实施例的人脸对齐示意图;
图3为本发明实施例的光照分类示意图;
图4为本发明实施例的人脸图像重建方法的流程图;
图5为一个具体人脸图像采用本发明实施例的人脸图像重建方法获得标准光照图像的流程图;
图6(a)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的人脸识别率与其他算法的对比示意图;
图6(b)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的图像表象与其他算法的对比示意图;
图7(a)为人脸对齐与未对齐情况下人脸识别率的对比示意图;
图7(b)为人脸对齐与未对齐情况下人脸重建效果的对比示意图,其中第一行为未对齐重建,第二行为对齐重建;
图8为本发明实施例提供的人脸图像重建装置的功能单元结构图;
图9为本发明实施例提供的人脸识别***的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示,本发明实施例提供的人脸图像重建方法,包括:
步骤11,对目标图像进行像素级对齐。
该步骤具体可以为:根据每张训练图像的关键点变形通用人脸模型,依次获得每张训练图像对应的真实感人脸模型;根据所有训练图像的真实感人脸模型的均值,利用迭代方法得到标准人脸模型;根据所述标准人脸模型变形目标图像,使得所述目标图像与所述标准人脸模型像素级对齐。
其中,所述关键点为预先定义的人脸像素点,在本发明中,关键点定义为人脸上81个点,包括人脸轮廓,眼睛,鼻子,嘴巴等器官,用来描述人脸形状。关键点可以通过主动形状模型(Active Shape Model,ASM)自动定位获得。
所述的通用人脸模型,是从三维数据库中导出,为人头网格模型,共含有13936个顶点和27538个面片。该通用人脸模型上的部分稀疏点与预先定义的人脸像素点一一对应,在本发明中将这些对应点称为模型对应点。
首先,根据每张训练图像的关键点变形通用人脸模型获得一组真实感人脸模型。
假设训练图像的关键点序列为pI,通用人脸模型的对应点序列为pM,通过RBF变形可以使得在变形函数F(x)的作用下,pM与pI相同。
F(pM)=pI,其中: 为所选RBF核函数, ||x-xi||表示点x与xi之间距离。
根据给定的对应点pM和pI,可以计算得到变形系数权重ω:
p I j = Σ i = 1 n ω i h ( | | p M j - p M i | | ) .
在获得变形函数后,对于通用人脸模型上除模型对应点之外的稀疏点pM,带入该变形函数可以计算得到模型变形后的对应图像像素点pI,从而实现通用人脸模型与训练图像上的像素点之间的完全对齐。
p I ′ = Σ i = 1 n ω i h ( | | p M ′ - p i M | | )
由于特征点选取在人脸器官和轮廓等部位,因此可以精确对齐人脸关键部位,并约束其他相对平滑的人脸区域。变形后的通用人脸模型即为每张训练图像对应的三维真实感人脸模型。
需要说明的是,由于每张训练图像姿态可能不同,为保证所有真实感人脸模型具有相同姿态,在根据每张训练图像变形通用人脸模型前,有必要先对训练图像姿态进行调整。
人脸图像的姿态存在三个方向的旋转变化,对于一组关键点pI,令其旋转为正面的特征点pI n,则有
pI n=s·R(α,β,γ)·pI+t
其中s,R,t分别对应旋转变换中的尺度、旋转和位移因子,α,β,γ为三个方向的旋转角度。由于通用人脸模型为完全正面,因此特征点对齐后的pI n与模型对应点pM之间的距离最小,姿态旋转的角度可以通过最小化相应能量函数获得:
( α , β , r ) = arg min α , β , r ( | | P I n - P M | | )
其中能量函数为模型对应点的前两位坐标与图像关键点之间的距离。根据 LM(Levenberg-Marquardt)算法可以很容易获得人脸姿态旋转角度,从而将人脸校正为正面姿态。
接着,在获得所有真实感人脸模型后,利用迭代的方法获得标准人脸模型。获得标准人脸模型的过程如下:
(1)根据姿态矫正后的每张训练图像的人脸形状,变形通用人脸模型到每个人脸形状,得到每张训练图像对应的真实人脸模型;
(2)计算所有真实人脸模型的平均值得到平均人脸模型,变形姿态校正后的每张训练图像人脸形状到平均人脸模型;
(3)重复第(2)步,直到前后两次平均人脸模型差异小于某阈值,则此时平均人脸模型即为标准人脸模型。
然后,根据所述标准人脸模型变形目标图像,使得所述目标图像与所述标准人脸模型像素级对齐。
由于标准人脸模型减小了人脸模型与人脸形状之间的差异,因此根据标准人脸模型变形目标图像,使得目标图像与标准人脸模型像素级对齐后,不会使得对齐后的人脸形状出现大的失真。
参见图2,图2为本发明实施例的人脸对齐示意图,图2第一列给出了通用人脸模型,真实感人脸模型和标准人脸模型示意图,图2后四列对应四张不同人脸,每行依次为原始人脸图像、真实感人脸模型、眼睛对齐图像和像素级对齐图像。从图2中可以看出标准人脸模型与人脸形状更为接近,人脸图像经像素级对齐后实现了像素点的一一对应,比仅仅以眼睛位置进行对齐的图像获得更好的对齐效果。
步骤12,判断对齐后的目标图像所属光照类别。
根据光照在图像上的投影,将相同光照投影分布的图像分为一类,便于每 类光照下的图像重建关系拟合。由于光照体现为光源沿人脸法向的投影,在人脸法向与光源方向相同的区域,其光照投影强度最大,会形成光照中心。光照中心近似为图像较亮区域的中心,相同的光照中心表现为近似的光照方向和相同的图像明暗变化,因此本发明以光照中心的位置来进行光照类别分类。
首先,根据对齐后的目标图像的像素均值,对对齐后的目标图像进行明暗二值化分割。
假设人脸图像I为h*w大小,I的像素均值为 
Figure BDA0000025468910000071
则二值化图像Ib为: 其中明值取1,暗值取0。
然后,计算所述对齐后的目标图像上所有取明值像素点的重心,作为所述对齐后的目标图像的光照中心。
图像二值化后,所有像素值为1的点为原始图像较亮点,计算图像上所有1像素点的重心,即为图像的光照中心。
最后,根据光照中心的所在位置判断所述对齐后的目标图像所属光照类别。
由于人脸结构差异,相同光照下的人脸图像其光照中心的所在位置不可能完全相同,本发明采用按固定规则对图像进行分块来实现光照分类,将光照中心属于相同分块的图像分为同一光照类别。
假设将人脸图像均匀划分为nh*nw块,则人脸图像对应的光照类别为:cL={c|PL∈Ic},其中Ic为第c块子图像,PL为图像光照中心,cL为其对应光照类别。子图像块大小根据实验获得,理论上而言,子图像块越小,图像光照类别越细,分类效果越好,但由于图像之间存在差异,相同光照下的图像光照中心位置会有偏差,因此过小的子图像块反而会带来分类误差。在本发明中将所有图像归一化为64*64大小,子图像块为8*8。
对于标准光照图像,其二值化图像的0、1值均匀分布,因此光照中心通常为图像中心点,这与标准光照方向基本一致。对于单光源图像,由于光源的投影并不是图像某点的亮度变化,而是某一区域的亮度增强,因此光照中心即可反映光源的方向;对于多光源图像,在其二值化图像上,图像光照中心为多种光源的中心。由于本发明的光照分类目的不是精确地对光照方向估计,而是将相同光照投影的图像分为一类,因此对任意光照条件均可正确分类。
参见图3,图3为本发明实施例的光照分类示意图。图3给出了人脸分块以及不同光照类别图像的样本,其中每个样本对应一张原图和一张二值化图像。从图3中可以看出,本发明实施例的光照分类结果与图像原始光照方向基本一致。
步骤13,获取所述对齐后的目标图像所属光照类别的重建模型。
为获取每种光照类别的重建模型,本发明实施例将所有训练图像按光照类别进行分类,对每类光照类别下的每张训练图像,配对一张对应的标准光照图像,从而获得该种光照类别下的一组训练图像对,然后根据该种光照类别下的一组训练图像对,拟合得到原始光照图像与标准光照图像之间的重建关系。
具体地,首先利用该种光照类别下的一组训练图像和对应的一组标准光照图像分别建立原始光照子空间和标准光照子空间,然后投影所述一组训练图像到原始光照子空间进行最大主元分析(Principal component analysis,PCA)降维并获得一组投影系数,投影所述对应的一组标准光照图像到标准光照子空间进行PCA降维并获得另一组投影系数;最后线性拟合所述两组投影系数,获得两组投影系数之间的重建矩阵和重建误差,从而获得该种光照类别下的重建模型。对于任意图像,其原始光照图像 
Figure BDA0000025468910000081
(t表示1~n图像序列中的任意一张)和标准光照图像 
Figure BDA0000025468910000082
之间近似存在线性关系:
I t N = F ( I t L ) = R · I t L + E ,
其中,F(x)=R·x+E为对应关系,R为重建矩阵,E为重建误差。假设 
Figure BDA0000025468910000092
为光照类别Lc下的所有原始光照图像, 
Figure BDA0000025468910000093
为对应标准光照图像,其中n为该光照类别下的图像数目,Rc和Ec分别为对应重建关系,则
[ I 1 N , I 2 N , . . . , I n N ] = F ( I L ) = R c · [ I 1 L , I 2 L , . . . , I n L ] + E c
设图像像素数目为m,则重建矩阵Rc为m*m维,重建误差Ec为m*1维。Rc和Ec可以根据最小二乘法从子集IL和IN中计算得出。由于多数情况下图像像素数目m要远远大于图像个数n,即IN列满秩,计算所得的Rc和Ec会存在很大的误差,因此需要对图像进行降维。
根据PCA理论,任意图像投影为对应子空间内一点。分别以原始光照图像和标准光照图像构建子空间,则:
I t N = I N ‾ + Σ i α i B i N , I t L = I L ‾ + Σ i β i B i L
其中α,β,BN,BL分别对应两组图像的投影系数和投影基。投影后投影系数α,β可分别描述原始光照图像和标准光照图像,从而原始图像得以降维。设投影系数为k维,由于原始光照图像子空间和标准光照图像子空间相互对应,因此两组投影系数维度可以保持一致。
设投影系数重建矩阵和重建误差分别为Rp和Ep,则原始光照图像和标准光照图像之间的对应关系可以转化为相应投影系数之间的关系:
α = R p · β + E p = R p 0 0 E p · β 1 R p ′ · β ′
,其中R′p为(k+1)*(k+1)维。由于PCA降维后,图像数目n与k+1相当,因此可以直接得到如下重建矩阵:
R p 0 0 E p = R p ′ = α · β ′ T · ( β ′ · β ′ T ) - 1 .
步骤14,根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像。
该步骤具体可以为:投影对齐后的目标图像到所属光照类别的原始光照子空间中,得到其原始光照的投影系数;然后利用该原始光照的投影系数,从对应光照类别的重建模型中得到其标准光照的投影系数;最后再利用该标准光照的投影系数,从对应光照类别的标准光照图像子空间中重建出该对齐后的目标图像的标准光照图像。
对于输入图像 
Figure BDA0000025468910000102
投影到对应原始光照子空间中得到对应原始光照的投影系数βin,然后根据其对应的重建模型计算出其对应标准光照的投影系数αin=Rc·βin+Ec,从而重构出标准光照图像为 
Figure BDA0000025468910000103
为此,本发明实施例的人脸图像重建方法,通过对目标图像进行像素级对齐,可以获得比仅以眼睛位置进行对齐的图像更好的对齐效果,使得对齐后的图像不会出现大的失真;通过判断对齐后的目标图像所属光照类别,并获取所述对齐后的目标图像所属光照类别的重建模型,然后根据该重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像,可以将相同光照投影的图像分为一类,将目标图像作为一个整体进行图像重建,与现有技术相比,避免了光照模板差分导致的图像特征的丢失,同时也避免了光照子空间带来的重建误差,因此能够改善光照变化下的人脸识别结果。
进一步地,本发明实施例的人脸图像重建方法还可以包括:
步骤15,将所述对齐后的目标图像的标准光照图像校正回原始形状,获得与所述目标图像形状相同的标准光照图像。
由于在重建之前,将目标图像与标准人脸模型进行了像素级对齐,所以重建所得的标准光照图像的像素点与标准人脸模型的稀疏点一一对应,因此有必要根据径向基函数(Radial Basis Function,RBF)变形该重建图像,使得图像关键点与目标图像的关键点保持一致,从而得到与对齐前目标图像形状相同的标准光照图像。为此可以进一步地改善光照变化下的人脸识别结果。
综上所述,本发明实施例的人脸图像重建方法的流程图可以如图4所示,包括如下步骤:
步骤101,通过所有训练图像训练通用人脸模型得到标准人脸模型,将任意光照的目标图像与该标准人脸模型进行像素级对齐。
步骤102,对对齐后的所有训练图像和目标图像进行光照类别判断。
步骤103,为每种光照类别的训练图像建立训练图像对,获得重建模型。
具体地,可以利用每种光照类别的一组训练图像和对应的一组标准光照图像分别建立对应光照类别的原始光照子空间和标准光照子空间,分别投影训练图像和标准光照图像到对应的子空间进行PCA降维并获得两组投影系数,依据该两组投影系数训练重建关系获得对应光照类别的重建模型。
步骤104,选择对应光照类别的重建模型对对齐后的目标图像进行图像重建,获得对齐后的目标图像的标准光照图像。
步骤105,对重建所得的图像进行形状校正,获得与所述目标图像形状相同的标准光照图像。
参见图5,图5为一个具体人脸图像采用本发明实施例的人脸图像重建方法获得标准光照图像的流程图。包括图像对齐、标准光照图像重建以及形状校正的处理步骤,在处理之前,还需要根据训练图像将通用人脸模型训练成标准人脸模型,以及根据训练图像训练不同光照重建关系获得不同光照类型的重建 模型。
在Yale B数据库上,对本发明实施例的人脸图像重建方法进行了实验验证。参见图6(a)和6(b),图6(a)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的人脸识别率与其他算法的对比示意图;图6(b)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的图像表象与其他算法的对比示意图,这些其他对比算法包括:图像亮度调节、离散余弦变换(DiscreteCosine Transform,DCT)、阴影光照处理(Shadow Illuminator Process,SIP)、商图像(Quoient Image,QI)。Yale B数据库根据光照方向被分为5个子集,实验中以第一个子集为模板,其他子集为测试,图6(a)和6(b)依次给出了原始图像、亮度调节图像、DCT图像、SIP图像、QI图像和采用本发明实施例获得的标准光照图像,在不同光照方向下的识别结果。由图6(a)和6(b)可以看出,不论在人脸识别率还是图像表象上,本发明实施例的人脸图像重建方法都体现了最优秀的重建效果。
参见图7(a)和7(b),图7(a)为人脸对齐与未对齐情况下人脸识别率的对比示意图;7(b)为人脸对齐与未对齐情况下人脸重建效果的对比示意图,其中第一行为未对齐重建,第二行为对齐重建。由图7(a)和7(b)可以看出,本发明提供的人脸对齐方法更有效的实现了图像重建,减小了图像失真。
需要说明的是,本发明实施例中提供的人脸对齐方法和光照分类方法也可以用于其它图像处理,并不限于本发明实施例的人脸图像重建方法。
基于本发明实施例的人脸图像重建方法,本发明实施例还提供了一种人脸图像重建装置和一种人脸识别***。
参见图8,本发明实施例提供的人脸图像重建装置,包括:
对齐单元81,用于对目标图像进行像素级对齐;
光照类别判断单元82,用于判断对齐后的目标图像所属光照类别;
重建模型获取单元83,用于获取所述对齐后的目标图像所属光照类别的重建模型;
重建单元84,用于根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像。
进一步地,仍参见图8,本发明实施例提供的人脸图像重建装置还可以包括:
校正单元85,用于将所述重建单元84获得的对齐后的目标图像的标准光照图像校正回原始形状,获得与所述目标图像形状相同的标准光照图像。
参见图9,本发明实施例提供的人脸识别***,包括本发明实施例的人脸图像重建装置80和人脸识别装置90,其中,
所述人脸图像重建装置80,用于对目标图像进行重建获得目标图像的标准光照图像;具体地,可以包括图8所示的对齐单元81、光照类别判断单元82、重建模型获取单元83和重建单元84,并且可选地,还可以包括校正单元85。
所述人脸识别装置90,用于对所述人脸图像重建装置80重建所得的目标图像的标准光照图像进行人脸识别。
本发明实施例的人脸图像重建装置及人脸识别***中各功能单元的原理说明可以参照图1所述方法实施例的原理,在此不再赘述。
本发明实施例的人脸图像重建装置和人脸识别***,通过对齐单元对目标图像进行像素级对齐,可以获得比仅以眼睛位置进行对齐的图像更好的对齐效果,使得对齐后的图像不会出现大的失真;通过光照类别判断单元判断对齐后的目标图像所属光照类别,并由重建模型获取单元获取所述对齐后的目标图像所属光照类别的重建模型,然后由重建单元根据该重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像,可以将相同光照投影 的图像分为一类,将目标图像作为一个整体进行图像重建,与现有技术相比,避免了光照模板差分导致的图像特征的丢失,同时也避免了光照子空间带来的重建误差,因此能够改善光照变化下的人脸识别结果。
上述具体实施例并不用以限制本发明,对于本技术领域的普通技术人员来说,凡在不脱离本发明原理的前提下,利用本发明提出的通过人脸对齐和光照分类实现对人脸图像的重建,均应包含在本发明的保护范围之内。

Claims (12)

1.一种人脸图像重建方法,其特征在于,包括:
对目标图像进行像素级对齐;
判断对齐后的目标图像所属光照类别;
获取所述对齐后的目标图像所属光照类别的重建模型;
根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像。
2.根据权利要求1所述的方法,其特征在于,所述对目标图像进行像素级对齐包括:
根据每张训练图像的关键点变形通用人脸模型,依次获得每张训练图像对应的真实感人脸模型;
根据所有训练图像的真实感人脸模型的均值,利用迭代方法得到标准人脸模型;
根据所述标准人脸模型变形目标图像,使得所述目标图像与所述标准人脸模型像素级对齐。
3.根据权利要求2所述的方法,其特征在于,在根据每张训练图像的关键点变形通用人脸模型之前,所述对目标图像进行像素级对齐还包括:
调整每张训练图像为正面姿态。
4.根据权利要求1所述的方法,其特征在于,所述判断对齐后的目标图像所属光照类别包括:
根据对齐后的目标图像的像素均值,对对齐后的目标图像进行明暗二值化分割;
计算所述对齐后的目标图像上所有取明值像素点的重心,作为所述对齐后的目标图像的光照中心;
根据所述光照中心的所在位置判断所述对齐后的目标图像所属光照类别。
5.根据权利要求4所述的方法,其特征在于,所述判断对齐后的目标图像所属光照类别还包括:
按固定规则对目标图像进行分块;
则所述根据所述光照中心的所在位置判断所述对齐后的目标图像所属光照类别具体为:
根据所述光照中心所在分块判断所述对齐后的目标图像所属光照类别。
6.根据权利要求1所述的方法,其特征在于,所述获取所述对齐后的目标图像所属光照类别的重建模型包括:
将所有训练图像按光照类别进行分类;
为所述对齐后的目标图像所属光照类别的每张训练图像配对一张对应的标准光照图像;
根据所述对齐后的目标图像所属光照类别的一组训练图像和对应的一组标准光照图像分别建立原始光照子空间和标准光照子空间;
分别投影所述一组训练图像和对应的一组标准光照图像到对应的子空间进行最大主元分析降维,并获得两组投影系数;
线性拟合所述两组投影系数获得所述对齐后的目标图像所属光照类别的重建模型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像包括:
投影所述对齐后的目标图像到所属光照类别的原始光照子空间中,得到所述对齐后的目标图像的原始光照的投影系数;
利用所述原始光照的投影系数,从所述重建模型中得到所述对齐后的目标图像的标准光照的投影系数;
利用所述标准光照的投影系数,从所述对齐后的目标图像所属光照类别的标准光照图像子空间中重建出所述对齐后的目标图像的标准光照图像。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述对齐后的目标图像的标准光照图像校正回原始形状,获得与所述目标图像形状相同的标准光照图像。
9.根据权利要求8所述的方法,其特征在于,所述将所述对齐后的目标图像的标准光照图像校正回原始形状包括:
根据径向基函数变形所述对齐后的目标图像的标准光照图像,将所述对齐后的目标图像的标准光照图像的关键点与对齐前的目标图像的关键点保持一致。
10.一种人脸图像重建装置,其特征在于,包括:
对齐单元,用于对目标图像进行像素级对齐;
光照类别判断单元,用于判断对齐后的目标图像所属光照类别;
重建模型获取单元,用于获取所述对齐后的目标图像所属光照类别的重建模型;
重建单元,用于根据所述重建模型重建所述对齐后的目标图像,获得所述对齐后的目标图像的标准光照图像。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
校正单元,用于将所述重建单元获得的对齐后的目标图像的标准光照图像校正回原始形状,获得与所述目标图像形状相同的标准光照图像。
12.种人脸识别***,其特征在于,包括人脸识别装置和人脸图像重建装置,其中,
所述人脸图像重建装置,用于对目标图像进行重建获得目标图像的标准光照图像;
所述人脸识别装置,用于对所述人脸图像重建装置重建所得的目标图像的标准光照图像进行人脸识别。
CN2010102685433A 2010-09-01 2010-09-01 一种人脸图像重建方法、装置及人脸识别*** Active CN101916384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102685433A CN101916384B (zh) 2010-09-01 2010-09-01 一种人脸图像重建方法、装置及人脸识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102685433A CN101916384B (zh) 2010-09-01 2010-09-01 一种人脸图像重建方法、装置及人脸识别***

Publications (2)

Publication Number Publication Date
CN101916384A true CN101916384A (zh) 2010-12-15
CN101916384B CN101916384B (zh) 2012-11-28

Family

ID=43323893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102685433A Active CN101916384B (zh) 2010-09-01 2010-09-01 一种人脸图像重建方法、装置及人脸识别***

Country Status (1)

Country Link
CN (1) CN101916384B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424483A (zh) * 2013-08-21 2015-03-18 中移电子商务有限公司 一种人脸图像的光照预处理方法、装置及终端
CN107945137A (zh) * 2017-12-06 2018-04-20 深圳云天励飞技术有限公司 人脸检测方法、电子设备及存储介质
CN108537199A (zh) * 2018-04-18 2018-09-14 西安第六镜网络科技有限公司 基于3d重建的人脸图像矫正增益装置及方法
CN108932458A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
CN108946349A (zh) * 2018-07-23 2018-12-07 广州跨行网络科技有限公司 一种人脸识别和云视频对讲的电梯控制***及其实施方法
CN109087429A (zh) * 2018-09-19 2018-12-25 重庆第二师范学院 基于人脸识别技术的图书馆借书证人证一致性检验的方法
CN109086752A (zh) * 2018-09-30 2018-12-25 北京达佳互联信息技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN109214324A (zh) * 2018-08-27 2019-01-15 曜科智能科技(上海)有限公司 基于多相机阵列的最正脸图像输出方法及输出***
CN111325851A (zh) * 2020-02-28 2020-06-23 腾讯科技(深圳)有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112434616A (zh) * 2020-11-26 2021-03-02 成都新希望金融信息有限公司 一种用户分类方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701026B1 (en) * 2000-01-26 2004-03-02 Kent Ridge Digital Labs Method and apparatus for cancelling lighting variations in object recognition
CN101046847A (zh) * 2007-04-29 2007-10-03 中山大学 一种基于二次多项式光照模型的人脸光照对齐方法
CN101261678A (zh) * 2008-03-18 2008-09-10 中山大学 在不同尺度特征图像上进行人脸光照规一化的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701026B1 (en) * 2000-01-26 2004-03-02 Kent Ridge Digital Labs Method and apparatus for cancelling lighting variations in object recognition
CN101046847A (zh) * 2007-04-29 2007-10-03 中山大学 一种基于二次多项式光照模型的人脸光照对齐方法
CN101261678A (zh) * 2008-03-18 2008-09-10 中山大学 在不同尺度特征图像上进行人脸光照规一化的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《吉首大学学报(自然科学版)》 20070325 赵英男等 光照变化条件下的人脸识别预处理 63-66 第28卷, 第2期 2 *
《电脑开发与应用》 20080405 刘丽华 人脸光照问题研究综述 36-39 第21卷, 第4期 2 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424483A (zh) * 2013-08-21 2015-03-18 中移电子商务有限公司 一种人脸图像的光照预处理方法、装置及终端
CN108932458A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
CN108932458B (zh) * 2017-05-24 2020-09-11 恒睿(重庆)人工智能技术研究院有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
CN107945137A (zh) * 2017-12-06 2018-04-20 深圳云天励飞技术有限公司 人脸检测方法、电子设备及存储介质
CN108537199A (zh) * 2018-04-18 2018-09-14 西安第六镜网络科技有限公司 基于3d重建的人脸图像矫正增益装置及方法
CN108946349A (zh) * 2018-07-23 2018-12-07 广州跨行网络科技有限公司 一种人脸识别和云视频对讲的电梯控制***及其实施方法
CN109214324A (zh) * 2018-08-27 2019-01-15 曜科智能科技(上海)有限公司 基于多相机阵列的最正脸图像输出方法及输出***
CN109087429A (zh) * 2018-09-19 2018-12-25 重庆第二师范学院 基于人脸识别技术的图书馆借书证人证一致性检验的方法
CN109087429B (zh) * 2018-09-19 2020-12-04 重庆第二师范学院 基于人脸识别技术的图书馆借书证人证一致性检验的方法
CN109086752A (zh) * 2018-09-30 2018-12-25 北京达佳互联信息技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN111325851A (zh) * 2020-02-28 2020-06-23 腾讯科技(深圳)有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112434616A (zh) * 2020-11-26 2021-03-02 成都新希望金融信息有限公司 一种用户分类方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN101916384B (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
CN101916384B (zh) 一种人脸图像重建方法、装置及人脸识别***
CN101499128B (zh) 基于视频流的三维人脸动作检测和跟踪方法
CN112418074B (zh) 一种基于自注意力的耦合姿态人脸识别方法
CN104700076B (zh) 人脸图像虚拟样本生成方法
Ramanathan et al. Face verification across age progression
CN103824050B (zh) 一种基于级联回归的人脸关键点定位方法
CN108537743A (zh) 一种基于生成对抗网络的面部图像增强方法
CN101159015B (zh) 一种二维人脸图像的识别方法
CN101714262B (zh) 单幅图像的三维场景重建方法
CN100410963C (zh) 一种基于块内相关性的二维线性鉴别分析人脸识别方法
US8811744B2 (en) Method for determining frontal face pose
CN104504376A (zh) 一种人脸图像的年龄分类方法和***
CN105550658A (zh) 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN101964064A (zh) 一种人脸比对方法
CN106303233A (zh) 一种基于表情融合的视频隐私保护方法
CN102402691A (zh) 一种对人脸姿态和动作进行跟踪的方法
CN101968846A (zh) 一种人脸跟踪方法
CN102043966B (zh) 基于部分主分量分析和姿态估计联合的人脸识别方法
Wu et al. Facial gender classification using shape-from-shading
CN100403333C (zh) 个人身份验证方法和***
Hsu et al. A novel eye center localization method for multiview faces
CN102799872A (zh) 基于面部图像特征的图像处理方法
CN103295019B (zh) 一种基于概率统计的中文碎片自适应恢复方法
CN102236786A (zh) 一种光照自适应的人体肤色检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant