CN102592309A - 一种非线性三维人脸的建模方法 - Google Patents
一种非线性三维人脸的建模方法 Download PDFInfo
- Publication number
- CN102592309A CN102592309A CN2011104402240A CN201110440224A CN102592309A CN 102592309 A CN102592309 A CN 102592309A CN 2011104402240 A CN2011104402240 A CN 2011104402240A CN 201110440224 A CN201110440224 A CN 201110440224A CN 102592309 A CN102592309 A CN 102592309A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- samples
- sample
- projection
- dimensional samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
一种重建效果更好的非线性三维人脸的建模方法,包括非线性三维人脸的建模方法,包括(1)从已有人脸数据库中分别选取三维样本和二维样本,作为训练样本集,并对这些样本实施规格化操作;在训练阶段,将二维、三维训练样本集按照身份信息进行配对,使得这两组样本集中的样本按照身份信息相互对应;(2)以这两组对应样本集为基础训练各自的投影矩阵,使得不同维度的样本投影后具有最大的相关性;(3)在重建阶段,对于输入的二维人脸图像,对其进行规格化处理,在二维训练样本集的子空间进行投影,根据相关性距离选取与其相关度高的三维样本,基于这些选定的三维样本构建三维人脸形变模型,并将其与输入图像进行匹配来实现三维人脸样本重建。
Description
技术领域
本发明属于图像处理的技术领域,具体地涉及一种非线性三维人脸的建模方法。
背景技术
三维人脸重建是根据输入二维人脸图像重建其三维人脸数据的工作。由于三维人脸模型在计算机游戏、人机交互等领域有着广阔的应用前景,因此三维人脸重建已经成为是计算机图形学、计算机视觉最活跃的研究热点。自从Parke于1972年首次使用计算机方法表示人脸,人脸建模就得到了广泛的关注。经过30多年的发展,三维人脸建模方法有了长足的进步。Vetter等人1999年提出了基于形变模型的人脸建模方法,该方法第一次实验了人脸建模的完全自动化,并且可以由一幅人脸图像重建特定人的三维人脸模型。由于该模型是建立在像素级对应的三维原型人脸数据上,且模型中考虑了人脸姿态、光照等因素,因此该模型可以生成高度真实感的三维人脸。形变模型的基础是线性组合的思想,即一类对象可以用该类对象基向量的线性组合来表示。基于形变模型的建模方法是通过调节模型的组合参数实现形变模型与输入图像之间的匹配。而人脸是嵌套在高维空间当中的非线性流形。基于线性理论的重建算法必定会忽略人脸结构的细节,难以达到较好的重建效果。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种重建效果更好的非线性三维人脸的建模方法。
本发明的技术解决方案是:这种非线性三维人脸的建模方法,包括以下步骤:(1)从已有的人脸数据库中分别选取三维样本和二维样本,作为训练样本集,并对这些样本实施规格化操作;在训练阶段,将二维训练样本集与三维训练样本集按照身份信息进行配对,使得这两组样本集中的样本按照身份信息相互对应;(2)以这两组对应样本集为基础训练各自的投影矩阵,使得不同维度的样本投影后具有最大的相关性;(3)在重建阶段,对于输入的二维人脸图像,首先对其进行规格化处理,然后在二维训练样本集的子空间进行投影,根据相关性距离选取与其相关度高的三维样本,基于这些选定的三维样本构建三维人脸形变模型,并将其与输入图像进行匹配来实现三维人脸样本重建。
由于本方法基于典型相关性分析和形变模型,所以重建效果更好。
具体实施方式
这种非线性三维人脸的建模方法,包括以下步骤:(1)从已有的人脸数据库中分别选取三维样本和二维样本,作为训练样本集;在训练阶段,将二维训练样本集与三维训练样本集按照身份信息进行配对,使得这两组样本集中的样本按照身份信息相互对应;(2)以这两组对应样本集为基础训练各自的投影矩阵,使得不同维度的样本投影后具有最大的相关性;(3)在重建阶段,首先将二维训练样本集的二维样本进行规格化处理(将其按照双眼间的距离进行尺度对齐,按照鼻尖点的位置进行位移对齐,并规格化为192*192大小的样本);对于输入的二维人脸图像,首先将其进行规格化处理,然后在规格化的二维训练样本集的子空间进行投影,根据相关性距离选取与其相关度高的三维样本,基于这些选定的三维样本构建三维人脸形变模型,并将其与输入图像进行匹配来实现三维人脸样本重建。
优选地,步骤(1)包括以下分步骤:(1.1)从已有的人脸数据库中选取三维样本集和二维样本集;(1.2)三维样本集和二维样本集按照身份信息对应;(1.3)对三维样本和二维样本进行规格化。
更进一步地,所述步骤(1.3)包括:对三维样本规格化:使用交互的方式获取三维样本瞳孔之间的位置,计算所有三维样本的瞳孔间的距离,以这些距离的平均值为标准对所有三维样本进行尺度变化,以眉心点为标准对所有三维样本进行平移对齐;对二维样本规格化:使用交互的方式获取二维样本瞳孔之间的位置,计算所有二维样本的瞳孔间的距离,以这些距离的平均值为标准对所有二维样本进行尺度变化,以眉心点为标准对所有二维样本进行平移对齐。
优选地,步骤(2)包括以下分步骤:
(2.1)计算二维样本与三维样本的均值向量;
(2.2)将所有样本减去各自对应的均值向量;
(2.3)以相关性公式为目标函数,对其求最大值优化,在目标函数最大化时求出二维样本和三维样本对应的特征向量,其中相关性公式为:
(2.4)基于二者的公共维度构建各自的投影子空间,在优化目标的约束下使得投影后的向量具有最大的相关性。
在训练过程中,首先将这两组样本按照身份信息一一对应起来,这样就形成了一个耦合的训练集。在重建阶段与输入图像最相关的三维人脸样本集可以被计算出来,根据学习到的2D-3D的映射关系。令X代表二维样本,Y代表三维样本。
典型相关分析是研究两组变量之间相关关系一种统计方法,它所解决的问题是如何寻找两组对应的基向量,使得这些变量在对应基向量上的投影之间的相关性被同时最大化。本文使用该方法来建立二维图像与三维样本之间的关系,根据该公式我们可以获得二维样本与三维样本之间的近邻关系。令(X,Y)是两个对应的变量集合。其中X代表二维样本集,Y代表三维样本集。假设X的投影基向量是Wx,Y的投影基向量是Wy。X和Y在基向量Wx和Wy上的线性投影为和根据相关性系数的定义,我们可以得知要和的相关性由下式计算:
即:
根据协方差公式的定义Cxx=E[XXT],Cyy=E[YYT],Cxy=E[XYT],上式可以改写为
Wx和Wy的求解可以通过最大化上式得出,也就是通过求解下面的特征值问题获得。
在训练指中,首先将原始样本减去均值。
被选定的三维样本与输入二维样本的相关性应大于某一阈值,该阈值通过三西格玛准则确定。
优选地,步骤(3)包括以下分步骤:
(3.1)输入二维人脸图像;
(3.2)规格化该人脸图像;
(3.3)在二维样本的子空间进行投影;
(3.4)计算步骤(3.3)的投影与三维样本投影向量的相关性;
(3.5)根据所有距离的方差确定所选三维样本的范围;
(3.6)基于所选三维样本构建形变模型;
(3.7)将构建的形变模型与输入图像进行匹配;
(3.8)使用粒子群算法进行模型优化,实现三维人脸样本重建。
输入图像的对齐:
使用手工标定的方法标记的瞳孔位置,计算瞳孔之间的距离,然后根据瞳孔距离对输入图像进行规格化处理,然后按照眉心位置进行平移对齐。
三维样本选择:
样本选择的目的是选出与输入图像相关性高的样本作为输入图像的表示空间。我们使用适应度度量二维样本与三维样本投影后的距离。
基于选定的三维人脸样本构建这些样本的子空间,使用PCA(主成分分析,Principal Component Analysis)方法计算该空间的基向量。选择满足要求的基向量作为该局部子空间的表示模型。选择表示前n个基向量的和与所有基向量和的比大于99%
三维人脸重建:就是使用该子空间的基向量对输入图像进行重构的过程。对于给定的人脸图像要进行三维建模,就是要调节基向量的组合参数,使重构后的三维人脸在相同视点的投影图像与输入人脸图像的误差最小。如果使用图像对应像素点的灰度差的平方和作为两图像的误差,则要求得模型组合参数使得下式最小:
EI=∑x,y||Iinput(x,y)-Imodel(x,y)||2
其中Iinput是给定人脸图像,Imodel是三维模型人脸在某视点观察得到的人脸图像。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (5)
1.一种非线性三维人脸的建模方法,其特征在于,包括以下步骤:
(1)从已有的人脸数据库中分别选取三维样本和二维样本,作为训练样本集,并对这些样本实施规格化操作;在训练阶段,将二维训练样本集与三维训练样本集按照身份信息进行配对,使得这两组样本集中的样本按照身份信息相互对应;
(2)以这两组对应样本集为基础训练各自的投影矩阵,使得不同维度的样本投影后具有最大的相关性;
(3)在重建阶段,对于输入的二维人脸图像,首先对其进行规格化处理,然后在二维训练样本集的子空间进行投影,根据相关性距离选取与其相关度高的三维样本,基于这些选定的三维样本构建三维人脸形变模型,并将其与输入图像进行匹配来实现三维人脸样本重建。
2.根据权利要求1所述的方法,其特征在于,步骤(1)包括以下分步骤:
(1.1)从已有的人脸数据库中选取三维样本集和二维样本集;
(1.2)三维样本集和二维样本集按照身份信息对应;
(1.3)对三维样本和二维样本进行规格化操作。
3.根据权利要求2所述的方法,其特征在于,所述步骤(1.3)包括:对三维样本规格化:使用交互的方式获取三维样本瞳孔之间的位置,计算所有三维样本的瞳孔间的距离,以这些距离的平均值为标准对所有三维样本进行尺度对齐,以眉心点为标准对所有三维样本进行平移对齐;对二维样本规格化:使用交互的方式获取二维样本瞳孔之间的位置,计算所有二维样本的瞳孔间的距离,以这些距离的平均值为标准对所有二维样本进行尺度对齐,以眉心点为标准对所有二维样本进行平移对齐。
4.根据权利要求3所述的方法,其特征在于,步骤(2)包括以下分步骤:
(2.1)计算二维样本与三维样本的均值向量;
(2.2)将所有样本减去各自对应的均值向量;
(2.3)以相关性公式为目标函数,对其求最大值优化,在目标函数最大化时求出二维样本和三维样本对应的特征向量,其中相关性公式为:
(2.4)在优化目标的约束下使得投影后的向量具有最大的相关性。
5.根据权利要求4所述的方法,其特征在于,步骤(3)包括以下分步骤:
(3.1)输入二维人脸图像;
(3.2)规格化该人脸图像;
(3.3)在二维样本的子空间进行投影;
(3.4)计算步骤(3.3)的投影与三维样本投影向量的相关性;
(3.5)根据所有距离的方差确定所选三维样本的范围;
(3.6)基于所选三维样本构建形变模型;
(3.7)将构建的形变模型与输入图像进行匹配;
(3.8)使用粒子群算法进行模型优化,实现三维人脸样本重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110440224.0A CN102592309B (zh) | 2011-12-26 | 2011-12-26 | 一种非线性三维人脸的建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110440224.0A CN102592309B (zh) | 2011-12-26 | 2011-12-26 | 一种非线性三维人脸的建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102592309A true CN102592309A (zh) | 2012-07-18 |
CN102592309B CN102592309B (zh) | 2014-05-07 |
Family
ID=46480893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110440224.0A Expired - Fee Related CN102592309B (zh) | 2011-12-26 | 2011-12-26 | 一种非线性三维人脸的建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102592309B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103310440A (zh) * | 2013-05-16 | 2013-09-18 | 北京师范大学 | 基于典型相关分析的颅骨身份认证方法 |
CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
CN109377544A (zh) * | 2018-11-30 | 2019-02-22 | 腾讯科技(深圳)有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
US11188616B2 (en) | 2020-02-25 | 2021-11-30 | International Business Machines Corporation | Multi-linear dynamical model reduction |
TWI788630B (zh) * | 2019-02-26 | 2023-01-01 | 大陸商騰訊科技(深圳)有限公司 | 三維人臉模型生成方法、裝置、電腦設備及儲存介質 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
WO2008144825A1 (en) * | 2007-06-01 | 2008-12-04 | National Ict Australia Limited | Face recognition |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及*** |
CN101877146A (zh) * | 2010-07-15 | 2010-11-03 | 北京工业大学 | 一种扩充三维人脸数据库的方法 |
CN101923721A (zh) * | 2010-08-31 | 2010-12-22 | 汉王科技股份有限公司 | 无光照人脸图像重建方法和*** |
-
2011
- 2011-12-26 CN CN201110440224.0A patent/CN102592309B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
WO2008144825A1 (en) * | 2007-06-01 | 2008-12-04 | National Ict Australia Limited | Face recognition |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及*** |
CN101877146A (zh) * | 2010-07-15 | 2010-11-03 | 北京工业大学 | 一种扩充三维人脸数据库的方法 |
CN101923721A (zh) * | 2010-08-31 | 2010-12-22 | 汉王科技股份有限公司 | 无光照人脸图像重建方法和*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103310440A (zh) * | 2013-05-16 | 2013-09-18 | 北京师范大学 | 基于典型相关分析的颅骨身份认证方法 |
CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
CN109377544A (zh) * | 2018-11-30 | 2019-02-22 | 腾讯科技(深圳)有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
CN109377544B (zh) * | 2018-11-30 | 2022-12-23 | 腾讯科技(深圳)有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
TWI788630B (zh) * | 2019-02-26 | 2023-01-01 | 大陸商騰訊科技(深圳)有限公司 | 三維人臉模型生成方法、裝置、電腦設備及儲存介質 |
US11188616B2 (en) | 2020-02-25 | 2021-11-30 | International Business Machines Corporation | Multi-linear dynamical model reduction |
Also Published As
Publication number | Publication date |
---|---|
CN102592309B (zh) | 2014-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cherian et al. | Riemannian dictionary learning and sparse coding for positive definite matrices | |
US10198623B2 (en) | Three-dimensional facial recognition method and system | |
CN105447441B (zh) | 人脸认证方法和装置 | |
Sharma et al. | Pose invariant virtual classifiers from single training image using novel hybrid-eigenfaces | |
Zhou et al. | A bayesian mixture model for multi-view face alignment | |
CN102592309B (zh) | 一种非线性三维人脸的建模方法 | |
CN104700076A (zh) | 人脸图像虚拟样本生成方法 | |
WO2014205768A1 (zh) | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 | |
Sung et al. | Pose-Robust Facial Expression Recognition Using View-Based 2D $+ $ 3D AAM | |
Yin et al. | Sparse representation over discriminative dictionary for stereo matching | |
Lee et al. | A SfM-based 3D face reconstruction method robust to self-occlusion by using a shape conversion matrix | |
CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
Efraty et al. | Profile-based 3D-aided face recognition | |
CN107292299A (zh) | 基于内核规范相关分析的侧面人脸识别方法 | |
CN103745209A (zh) | 一种人脸识别方法及*** | |
Ho et al. | Facial modeling from an uncalibrated face image using a coarse-to-fine genetic algorithm | |
CN105740838A (zh) | 针对不同尺度人脸图像的识别方法 | |
Yang et al. | Robust template matching with large angle localization | |
CN114283265A (zh) | 一种基于3d旋转建模的无监督人脸转正方法 | |
CN103325104A (zh) | 基于迭代稀疏表达的人脸图像超分辨率重建方法 | |
CN113469091A (zh) | 人脸识别方法、训练方法、电子设备及存储介质 | |
CN108022308A (zh) | 一种基于三维人脸模型拟合的面部对齐方法 | |
Zhao et al. | Three-dimensional face reconstruction of static images and computer standardization issues | |
Fooprateepsiri et al. | A general framework for face reconstruction using single still image based on 2D-to-3D transformation kernel | |
Li et al. | Learning weighted sparse representation of encoded facial normal information for expression-robust 3D face recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140507 Termination date: 20211226 |
|
CF01 | Termination of patent right due to non-payment of annual fee |