CN1828630A - 基于流形学习的人脸姿势识别方法 - Google Patents
基于流形学习的人脸姿势识别方法 Download PDFInfo
- Publication number
- CN1828630A CN1828630A CN 200610025470 CN200610025470A CN1828630A CN 1828630 A CN1828630 A CN 1828630A CN 200610025470 CN200610025470 CN 200610025470 CN 200610025470 A CN200610025470 A CN 200610025470A CN 1828630 A CN1828630 A CN 1828630A
- Authority
- CN
- China
- Prior art keywords
- face
- people
- facial image
- image
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种图像处理技术领域的基于流形学习的人脸姿势识别方法。本发明先用一部分人的各种人脸姿势图像作为训练集,然后训练集中的每一幅图像进行Gabor变换,用于消除或者降低人脸图像中的光照变化、分辨率,提取区分人脸姿势的有效特征;训练集中的人脸图像Gabor变换后,采用局部保持映射方法进行降维,消除人脸的身份,并且相同姿势的人脸聚集在一起,揭示了人脸姿势的变化;最后使用模糊聚类方法进行人脸姿势识别。本发明应用于人脸识别、人机交互、表情识别等方面,具有较快的速度和较高的精度。
Description
技术领域
本发明涉及一种图像处理技术领域的方法,具体的说,涉及的是一种基于流形学习的人脸姿势识别方法,能直接应用于三维人脸识别、人机交互、人脸跟踪、三维动画等领域。
背景技术
人脸识别是一种典型的生物特征识别技术之一。在约束环境下采集的人脸图像(在对象配合的情况下拍摄的正面、中性表情、无遮挡、光照均匀的高质量人脸相片),近年来在对人脸识别***和商业***的FERET和FRVT测试表明识别率可达到95%以上(使用FERET人脸数据库)。但是人脸是一类非常相似的非刚体,所有的人脸几乎由同样的几何特征所构成,人脸的识别需要利用脸部或者特征结构的细微差别,这是极其困难的。而且,由于光照的变化、人脸姿态的变化都将使脸部三维特征的二维投影有很大的变化,这更增加了人脸处理的复杂性。因此现有大多数的人脸识别方法和***都对工作条件提出了严格的控制,使得这些***难以在实际中得到广泛的应用,尤其是对人脸姿态的限制更是其中的关键。人脸姿势识别在计算机视觉和计算机图形学中发挥着很重要的作用,并且有比较广泛的应用,比如人脸识别,人脸跟踪和人机交互等。但由于在二维图像中没有第三维的信息,所以解决这个问题变的很困难。而且还有一些影响因素,比如:光照的变化,图像的质量和分辨率以及个人的身份变化,也严重影响了人脸姿势识别问题的解决。
经对现有技术的文献检索发现,Volker Blanz等(Volker Blanz,Thomas Vetter,Face recognition based on fitting a 3D morphable model(基于拟合三维形变模型的人脸识别),IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE模式分析与机器智能学报),25(9)(2003):1063-1074),此方法计算成本很高,不符合实时性的要求,而且需要使用三维的扫描仪采集人脸图像作为训练样本,所以成本比较高。
发明内容
本发明的目的在于针对现有技术的不足,提出一种基于流形学习的人脸姿势识别方法。使其具有比较高的可靠性和稳健性,可以广泛的应用于人脸识别、表情识别和人机交互等领域。
本发明是通过以下技术方案实现的,本发明先用一部分人的各种人脸姿势图像作为训练集,然后训练集中的每一幅图像进行Gabor变换,用于消除或者降低人脸图像中的光照变化、分辨率等影响因素,提取区分人脸姿势的有效特征。训练集中的人脸图像Gabor变换后,变换结果的维数很高,而且由于人脸姿势的变化,引起许多的非线性变化,所以采用局部保持映射方法进行降维。使用此降维方法可以消除人脸的身份,并且相同姿势的人脸聚集在一起,揭示了人脸姿势的变化。最后使用模糊聚类方法进行人脸姿势识别。这样就完成了人脸姿势识别。
所述训练集中的人脸图像进行Gabor变换是指:为了减少运算成本,训练集中的每一幅人脸图像大小缩减到20×20,然后采用Gabor滤波器进行变换,选择Gabor滤波器有两个因素,一个是尺度,另一个是方向。在本发明中,选用5个尺度和8个方向。人脸图像进行Gabor变换后,可以提取出有利于区分人脸姿势的有效特征。这样一幅人脸图像经过Gabor变换,可以产生40(5×8)幅与原图像相同大小的人脸图像。在这40幅Gabor变换的人脸图像里,突出人脸在不同尺度和不同频率的有效特征。在40幅变换人脸图像中,每一幅人脸中的每一行(或列)进行首尾相接形成一个向量,这样共形成40个向量,然后把40个向量再连接起来,形成一个完整的Gabor向量(20×20×5×8=8000)。训练集中的每一幅人脸图像按照同样的方法操作,把每一幅人脸图像的Gabor变换结果排列在一个矩阵中,占据矩阵中的一列(或行),这样整个训练集形成一个8000×N(N代表训练集中人脸图像的数量)的矩阵。
所述用局部保持映射方法进行降维是指:训练集中的每幅人脸图像进行Gabor变换后,得到一个高维矩阵。在本发明中采用局部保持映射进行降维,明确考虑了在人脸图像空间的流形结构。流形的结构由一个保持了图像的局部结构信息的K最近邻图来表示,表示人脸的低维子空间由局部保持投影得到。图像空间中的每个人脸图像投影到一个由一组特征图像构成的低维的人脸子空间,由于人脸子空间保持了数据流形的局部结构,经过降维后,消除了人的身份的影响而且相同姿势的不同人的人脸聚集在一起。有利于后面的人脸姿势识别。
所述用模糊聚类方法进行姿势识别是指:人脸训练集经过降维后,采用模糊聚类方法得到相同姿势人脸的聚类中心。输入一个新的人脸图像,经过与训练集相同的的图像大小缩减、Gabor变换、降维后等步骤后,计算新的人脸图像与各个聚类中心的距离。然后比较这些距离的大小,新的人脸图像就属于距离最小的那一类。这样就可以识别出新的人脸图像的姿势。
本发明具有以下优点:(1)本发明具有很好的实时性。使用P42.661G内存的计算机,需要运行的时间是20ms。(2)本发明不需要大量的训练样本。(3)本发明采用的是整个人脸的外观,不用提取人脸的任何特征。(4)本发明使用的人脸图像是二维人脸图像,具有不同的人脸姿势,使用一般的采集设备,所以成本比较低,采集图像比较方便。
本发明识别的人脸姿势具有比较高的可靠性和稳健性,可以广泛的应用于人脸识别、表情识别和人机交互等领域。
附图说明
图1为本发明方法的流程图
具体实施方式
以下结合具体的实施例对本发明的技术方案作进一步详细描述。
本发明的基于流形学习的人脸姿势识别的实现方法按如下步骤进行:依据上述附图,整个发明分为两部分:训练阶段和测试阶段。
首先,说明训练阶段的具体步骤:
1.首先,采用Gabor滤波器用于变换训练集中的各种姿势的不同人的人脸图像。Gabor滤波器对人脸图像的处理是利用Gabor核函数ψu,v(x,y)与图像I(x,y)的卷积实现,即:Ou,v(x,y)=I(x,y)*ψu,v(x,y)。由于Gabor滤波器输出Ou,v(x,y)包含了图像的位置、灰度局部标准化、尺度和方向特征。Gabor滤波器的方向有助于提取人脸姿势的特征,区别不同的人脸姿势。因此可以利用Gabor滤波器消除上述提出的影响人脸姿势识别的影响因素。然后将人脸图像在不同尺度和方向上的输出Ou,v(x,y)连接起来形成一个特征矢量Y。
这样定义的Gabor特征Y包括了m+1个尺度和n+1个方向的滤波器输出Ou,v(x,y),u∈{0,1,...,m},v∈{0,1,...n},其中包括图像的频率、方向和尺度等信息,可以作为一种图像的表征方法。整个训练集中的所有不同人的不同姿势的人脸图像进行Gabor变换,形成一个矢量矩阵X=(Y1,Y2,...,Yn)。在本发明中,m=4,n=7。
2.训练集中的各种姿势的人脸图像经过Gabor变换后,整个训练集变成一个向量矩阵X。使用局部保持映射算法进行降维。局部保持映射算法是在数据的内在几何结构中寻找保持数据局部结构的投影方向,使用局部结构的近邻性质,使得相同姿势的人脸聚集在一个子集中。在本发明中,局部保持映射降维方法的目标函数是:
其中Sij是点xi和xj的连接权重,
最小化目标函数就是在保证点xi和xj的距离比较小时,yi和yj之间的距离同样比较小。所以
转化为:
其中X=[x1,x2,...,xn],D是一个对角阵,并且Djj=∑iSij。L=D-S为Laplacian矩阵。矩阵D表示数据分布的稠密程度。最小化目标函数的变换矩阵w可以通过求解广义特征值分解问题得到:XLXTw=λXDXTw。w0,w1,...,wk-1是方程的解,按照特征值的顺序排列λ0,λ1,...,λk-1。因此,嵌入如下所示:x→y=WTx,W=WPCAWLPP。但是在XLXTw=λXDXTw中,XDXT有时是奇异的,为了克服这个难题,把人脸图像映射到PCA子空间,这样XDXT转换为非奇异矩阵。另外,PCA预处理人脸图像可以降低图像噪声,用WPCA表示PCA变换矩阵。WLPP表示局部保持映射变换矩阵。
3.降维后,相同姿势的不同人的人脸聚集在一起。采用模糊聚类的方法识别人脸姿势。在本发明中,目标函数J(U,V)定义为:
其中U=[μik](i=1,2,...,c;k=1,2,...,n)为模糊聚类矩阵,且满足μik∈[0,1], k及
V={v1,v2,...,vc}为c个聚类中心的集合,且vi∈Rp;m∈[2,∞]为加权指数;‖Xk-mi‖2为第k个样本到第i类的距离。使用局部保持映射方法把高维信息降到一维信息,里面包含人脸姿势变化的信息,并且每个人的相同人脸姿势的点是聚集在一起的,所以用模糊聚类方法可以把相同角度的人脸姿势聚集成一类。因此,可以通过模糊聚类的方法识别出被测试对象的人脸姿势。
然后进行测试阶段:输入一个新的人脸,经过与训练阶段相同的图像大小缩减、Gabor变换、局部保持映射降维等方法后。计算新的图像与各个聚类中心的距离。然后比较这些距离的大小,新的图像就属于距离最小的那一类。这样就可以识别人脸姿势。
本发明的方法能够获得较高的测试准确率,广泛的应用于人脸识别、人机交互、人脸跟踪等领域中。
Claims (4)
1.一种基于流形学习的人脸姿势识别方法,其特征在于,用一部分人的各种人脸姿势图像作为训练集,然后训练集中的每一幅图像进行Gabor变换,用于消除或者降低人脸图像中的光照变化、分辨率,提取区分人脸姿势的有效特征;采用局部保持映射方法进行降维,经过降维后,相同姿势的人脸将会聚集在一起,然后使用模糊聚类方法进行识别,从而完成人脸姿势识别。
2.根据权利要求1所述的基于流形学习的人脸姿势识别方法,其特征是,所述训练集中的人脸图像进行Gabor变换,是指:训练集中的每一幅人脸图像大小缩减到20×20,然后采用Gabor滤波器进行变换,Gabor滤波器选用5个尺度和8个方向,提取出有利于区分人脸姿势的有效特征,这样一幅人脸图像经过Gabor变换,能产生40幅与原图像相同大小的人脸图像,在这40幅Gabor变换的人脸图像里,突出人脸在不同尺度和不同频率的有效特征,在40幅变换人脸图像中,每一幅人脸中的每一行或列进行首尾相接形成一个向量,这样共形成40个向量,然后把40个向量再连接起来,形成一个完整的Gabor向量,训练集中的每一幅人脸图像按照同样的方法操作,把每一幅人脸图像的Gabor变换结果排列在一个矩阵中,占据矩阵中的一列或行,这样整个训练集形成一个8000×N的矩阵,N代表训练集中人脸图像的数量。
3.根据权利要求1所述的基于流形学习的人脸姿势识别方法,其特征是,所述的用局部保持映射方法进行降维是指:训练集中的每幅人脸图像进行Gabor变换后,得到一个高维矩阵,采用局部保持映射进行降维,考虑了在人脸图像空间的流形结构,流形的结构由一个保持了图像的局部结构信息的K最近邻图来表示,表示人脸的低维子空间由局部保持投影得到,图像空间中的每个人脸图像投影到一个由一组特征图像构成的低维的人脸子空间,由于人脸子空间保持了数据流形的局部结构,经过降维后,消除了人的身份的影响而且相同姿势的不同人的人脸聚集在一起。
4.根据权利要求1所述的基于流形学习的人脸姿势识别方法,其特征是,所述的用模糊聚类方法进行姿势识别是指:人脸训练集经过降维后,采用模糊聚类方法得到相同姿势人脸的聚类中心,输入一个新的人脸图像,经过与训练集相同的图像大小缩减、Gabor变换、降维后,计算新的人脸图像与各个聚类中心的距离,然后比较这些距离的大小,新的人脸图像就属于距离最小的那一类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200610025470 CN1828630A (zh) | 2006-04-06 | 2006-04-06 | 基于流形学习的人脸姿势识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200610025470 CN1828630A (zh) | 2006-04-06 | 2006-04-06 | 基于流形学习的人脸姿势识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1828630A true CN1828630A (zh) | 2006-09-06 |
Family
ID=36947014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200610025470 Pending CN1828630A (zh) | 2006-04-06 | 2006-04-06 | 基于流形学习的人脸姿势识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1828630A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872424A (zh) * | 2010-07-01 | 2010-10-27 | 重庆大学 | 基于Gabor变换最优通道模糊融合的人脸表情识别方法 |
CN101930537A (zh) * | 2010-08-18 | 2010-12-29 | 北京交通大学 | 基于弯曲不变量相关特征的三维人脸识别方法及*** |
CN102073799A (zh) * | 2011-01-28 | 2011-05-25 | 重庆大学 | 基于基因表达谱的肿瘤基因识别方法 |
CN102194135A (zh) * | 2010-03-08 | 2011-09-21 | 艾美特电器(深圳)有限公司 | 基于核自适应局部保持映射的图像分类方法和图像处理器 |
CN102194107A (zh) * | 2011-05-13 | 2011-09-21 | 华南理工大学 | 一种改进线性鉴别分析降维的笑脸识别方法 |
CN101515328B (zh) * | 2008-12-18 | 2012-05-09 | 东华大学 | 一种用于鉴别具有统计不相关性的局部保持投影方法 |
CN101777116B (zh) * | 2009-12-23 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
CN101523412B (zh) * | 2006-10-11 | 2013-01-02 | 惠普开发有限公司 | 基于人脸的图像聚类 |
CN102947777A (zh) * | 2010-06-22 | 2013-02-27 | 微软公司 | 用户跟踪反馈 |
CN103336960A (zh) * | 2013-07-26 | 2013-10-02 | 电子科技大学 | 一种基于流形学习的人脸识别方法 |
CN103345762A (zh) * | 2013-06-19 | 2013-10-09 | 无锡引域智能机器人有限公司 | 基于流形学习的贝叶斯视觉跟踪方法 |
CN104504405A (zh) * | 2014-12-02 | 2015-04-08 | 苏州福丰科技有限公司 | 一种三维人脸的识别方法 |
CN105320920A (zh) * | 2014-07-29 | 2016-02-10 | 国网山西省电力公司信息通信分公司 | 数据降维方法及基于数据降维方法的人脸识别方法 |
CN107292252A (zh) * | 2017-06-09 | 2017-10-24 | 南京华捷艾米软件科技有限公司 | 一种自主学习的身份识别方法 |
-
2006
- 2006-04-06 CN CN 200610025470 patent/CN1828630A/zh active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101523412B (zh) * | 2006-10-11 | 2013-01-02 | 惠普开发有限公司 | 基于人脸的图像聚类 |
CN101515328B (zh) * | 2008-12-18 | 2012-05-09 | 东华大学 | 一种用于鉴别具有统计不相关性的局部保持投影方法 |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
CN101777116B (zh) * | 2009-12-23 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
CN102194135A (zh) * | 2010-03-08 | 2011-09-21 | 艾美特电器(深圳)有限公司 | 基于核自适应局部保持映射的图像分类方法和图像处理器 |
CN102947777B (zh) * | 2010-06-22 | 2016-08-03 | 微软技术许可有限责任公司 | 用户跟踪反馈 |
CN102947777A (zh) * | 2010-06-22 | 2013-02-27 | 微软公司 | 用户跟踪反馈 |
CN101872424B (zh) * | 2010-07-01 | 2013-03-27 | 重庆大学 | 基于Gabor变换最优通道模糊融合的人脸表情识别方法 |
CN101872424A (zh) * | 2010-07-01 | 2010-10-27 | 重庆大学 | 基于Gabor变换最优通道模糊融合的人脸表情识别方法 |
CN101930537B (zh) * | 2010-08-18 | 2014-08-20 | 北京交通大学 | 基于弯曲不变量相关特征的三维人脸识别方法及*** |
CN101930537A (zh) * | 2010-08-18 | 2010-12-29 | 北京交通大学 | 基于弯曲不变量相关特征的三维人脸识别方法及*** |
CN102073799A (zh) * | 2011-01-28 | 2011-05-25 | 重庆大学 | 基于基因表达谱的肿瘤基因识别方法 |
CN102194107B (zh) * | 2011-05-13 | 2013-03-20 | 华南理工大学 | 一种改进线性鉴别分析降维的笑脸识别方法 |
CN102194107A (zh) * | 2011-05-13 | 2011-09-21 | 华南理工大学 | 一种改进线性鉴别分析降维的笑脸识别方法 |
CN103345762A (zh) * | 2013-06-19 | 2013-10-09 | 无锡引域智能机器人有限公司 | 基于流形学习的贝叶斯视觉跟踪方法 |
CN103345762B (zh) * | 2013-06-19 | 2016-08-17 | 无锡引域智能机器人有限公司 | 基于流形学习的贝叶斯视觉跟踪方法 |
CN103336960A (zh) * | 2013-07-26 | 2013-10-02 | 电子科技大学 | 一种基于流形学习的人脸识别方法 |
CN105320920A (zh) * | 2014-07-29 | 2016-02-10 | 国网山西省电力公司信息通信分公司 | 数据降维方法及基于数据降维方法的人脸识别方法 |
CN105320920B (zh) * | 2014-07-29 | 2019-05-21 | 国网山西省电力公司信息通信分公司 | 数据降维方法及基于数据降维方法的人脸识别方法 |
CN104504405A (zh) * | 2014-12-02 | 2015-04-08 | 苏州福丰科技有限公司 | 一种三维人脸的识别方法 |
CN107292252A (zh) * | 2017-06-09 | 2017-10-24 | 南京华捷艾米软件科技有限公司 | 一种自主学习的身份识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1828630A (zh) | 基于流形学习的人脸姿势识别方法 | |
CN112506342B (zh) | 基于动态手势识别的人机交互方法及*** | |
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
Kölsch et al. | Robust Hand Detection. | |
US8391613B2 (en) | Statistical online character recognition | |
Berretti et al. | Representation, analysis, and recognition of 3D humans: A survey | |
Coetzer et al. | Offline signature verification using the discrete radon transform and a hidden Markov model | |
Chacko et al. | Handwritten character recognition using wavelet energy and extreme learning machine | |
Howell et al. | Towards unconstrained face recognition from image sequences | |
Doermann et al. | Applying algebraic and differential invariants for logo recognition | |
Liu et al. | Handwriting recognition: soft computing and probabilistic approaches | |
CN106204651B (zh) | 一种基于改进的判决与生成联合模型的目标跟踪方法 | |
Al-Shoshan | Handwritten signature verification using image invariants and dynamic features | |
CN101751555A (zh) | 一种形变指纹识别方法及*** | |
Al Hamad | Use an efficient neural network to improve the Arabic handwriting recognition | |
CN114723764A (zh) | 一种点云物体的参数化边缘曲线提取方法 | |
Jing et al. | 3D face recognition: A survey | |
Jiang et al. | Forgery-free signature verification with stroke-aware cycle-consistent generative adversarial network | |
Coetzer | Off-line signature verification | |
Garhawal et al. | A study on handwritten signature verification approaches | |
CN103942572A (zh) | 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置 | |
Artola et al. | Glad: A global-to-local anomaly detector | |
CN113344110A (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
CN108932468A (zh) | 一种适用于心理学的面部识别方法 | |
CN105955473A (zh) | 一种基于计算机的静态手势图像识别交互*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |