CN104851123B - 一种三维人脸变化模拟方法 - Google Patents
一种三维人脸变化模拟方法 Download PDFInfo
- Publication number
- CN104851123B CN104851123B CN201410049579.0A CN201410049579A CN104851123B CN 104851123 B CN104851123 B CN 104851123B CN 201410049579 A CN201410049579 A CN 201410049579A CN 104851123 B CN104851123 B CN 104851123B
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- model
- craniofacial
- skull
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000008859 change Effects 0.000 title claims abstract description 88
- 230000032683 aging Effects 0.000 claims abstract description 80
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 5
- 210000003625 skull Anatomy 0.000 claims description 153
- 238000004088 simulation Methods 0.000 claims description 88
- 238000000513 principal component analysis Methods 0.000 claims description 66
- 238000002591 computed tomography Methods 0.000 claims description 30
- 210000004872 soft tissue Anatomy 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000011840 criminal investigation Methods 0.000 abstract description 5
- 230000003796 beauty Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 239000003814 drug Substances 0.000 abstract description 2
- 230000000295 complement effect Effects 0.000 abstract 1
- 239000002537 cosmetic Substances 0.000 abstract 1
- 238000007493 shaping process Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 56
- 239000000523 sample Substances 0.000 description 52
- 238000010586 diagram Methods 0.000 description 45
- 239000011159 matrix material Substances 0.000 description 10
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 208000031648 Body Weight Changes Diseases 0.000 description 4
- 230000004579 body weight change Effects 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000008589 Obesity Diseases 0.000 description 3
- 230000037396 body weight Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 235000020824 obesity Nutrition 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
Landscapes
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种三维人脸变化模拟方法,包括:构建三维颅面数据库;颅面模型规格化;提取人脸老化及胖瘦变化规律;人脸老化及胖瘦变化模拟。本发明的方法同时考虑了老化和胖瘦的变化,能模拟因年龄增长和体重变化带来的人体外貌上的变化。本发明首次提出采用颅面CT数据来实现三维人脸的老化及胖瘦变化模拟。本发明在缺少三维时序人脸数据的情况下,能利用不同人的颅面数据,从中剔除“不同人”的影响,并挖掘出人脸的老化及胖瘦变化的规律。且本发明所采用的算法简单高效,模拟结果准确。可用于刑侦中寻找潜逃多年的罪犯;可以辅助医学整形美容;可以在影视娱乐中辅助化妆设计等。
Description
技术领域
本发明涉及图像模拟领域,特别涉及一种三维人脸变化模拟方法。
背景技术
老化是一个不可避免的过程,随着年龄增长以及体重的变化,人脸面貌会产生很大的变化。人脸老化过程的模拟是计算机图形学、图像处理和计算机视觉等学科领域中的研究热点之一,在人脸识别、人机交互、刑侦、娱乐、特技和医学等行业都有着广泛的需求与应用。但由于老化机理复杂、老化受多种因素影响、难以获得纯度高的老化数据、老化过程存在多样性和不确定性等,人脸老化的研究面临诸多挑战。
近30年来,国内外学者针对人脸老化过程模拟进行了大量的研究并提出许多算法。根据人脸数据维度的不同,可以分为二维人脸老化模拟和三维人脸老化模拟。目前大部分工作主要集中在二维老化模拟方面。
二维人脸老化模拟主要有两类方法:基于原型的人脸老化算法以及基于函数的人脸老化算法。基于原型的方法是根据年龄段对人脸进行分类,并建立每一个年龄段的平均人脸,即人脸原型,然后以原型之间的差异作为年龄变化。如Burt等人通过漫画技术将不同原型间形状和纹理的差别融合到源图像中,以实现年龄变换。Gandhi等人采用SVM(SupportVector Machine,支持向量机)来对人脸图像进行自动年龄估计,并结合原型和IBSDT(Image-based Surface Detail Transfer,基于图像的表面细节变换)技术实现人脸的年龄变换。基于函数的方法通常采用一个函数描述人脸图像或人脸参数(特征向量)与年龄之间的关系。例如采用二次函数、支持向量回归、核平滑、隐式函数、映射函数等。基于函数的方法,其模拟精度直接由函数决定,而准确度高的函数依赖于有时间序列的大样本的采集。国外的学者己建立了较大容量的人脸衰老数据库,但它只适合于西方人,并不适应于中国人。
二维老化数据较易采集,相比之下,三维老化数据却很难获得,因为很难跟踪同一个人并采集此人随年龄变化的三维人脸模型,目前国内外都没有公开的三维人脸老化数据库。因此,虽然三维人脸相比于二维人脸包含更多的信息,更适合获取人脸老化模式,但三维人脸老化研究相对较少。目前三维人脸老化主要采用两种方法。第一种方法基于不同人的三维人脸扫描数据,一般先对三维人脸模型进行主成分分析(PCA),然后建立年龄估计函数,即建立年龄与PCA系数的函数关系,然后根据此函数的梯度获得人脸老化轨迹,即获得当年龄变化时引起的最小的人脸形状的变化。但这种方法没有剔除不同样本的影响,因此不能保证这最小的形状变化完全由年龄变化引起。第二种方法是基于物理的方法。该方法通常从人的生理解剖结构出发,建立人脸物理模型,然后对老化进行模拟。如Wu等人建立了具有肌肉层、脂肪层和表皮层结构的人脸物理模型,通过一系列参数的调整实现人脸皱纹的生成以及衰老的效果。虽然理论上基于物理的方法能得到更符合生理学和解剖学知识的结果,但它需要对人脸解剖学知识进行三维建模,且其衰老模型较为复杂,计算量大,实时性差。
此外,在老化过程中往往伴随着体重的变化,随着胖瘦变化,脸蛋也会因此变圆润或消瘦。而且胖瘦会影响衰老特征,如胖的人比瘦的人皱纹要形成得晚,而现有的算法都无法正确体现这样的变化。
发明内容
有鉴于此,本发明提供一种三维人脸变化模拟方法,在缺乏三维人脸老化数据的情况下从不同人的数据中挖掘出人脸老化及胖瘦的变化规律,并根据该变化规律对人脸老化及胖瘦变化现象进行模拟,以获得因年龄增长和体重变化带来的人体外貌上的变化。
本申请的技术方案是这样实现的:
一种三维人脸变化模拟方法,包括:
构建三维颅面数据库;
颅面模型规格化;
提取人脸老化及胖瘦变化规律;
人脸老化及胖瘦变化模拟。
进一步,所述三维颅面数据库包括至少1个人脸样本,每个人脸样本均具有颅面模型以及人脸样本所对应的年龄、身体质量指数BMI和性别。
进一步,所述颅面模型包括三维颅骨模型和三维人脸模型。
进一步,所述人脸样本的获取包括:
通过多探测螺旋计算机断层扫描CT仪获取活体样本的颅面CT数据,从颅面CT数据中重构出人脸的三维颅骨模型和三维人脸模型。
进一步,所述人脸样本的获取过程包括:
采用索贝尔Sobel算子模型从滤噪处理后的CT切片图像中提取颅骨的边缘;
通过对颅骨边缘进行圆形扫描得到颅骨的初始外轮廓,即从图像中心向图像边界点一一发射一条射线,对每一条射线,求得与该射线相交并同时距离图像中心最远的颅骨边缘点,这些点就构成了颅骨的初始外轮廓;
对初始外轮廓进行杂点删除和八邻域轮廓跟踪得到最终的外轮廓;以及,
采用Sobel算子模型从滤噪处理后的CT切片图像中提取软组织的边缘;
从图像中心向图像左下角发射一条射线,并求得与该射线相交并同时距离图像中心最远的一个软组织边缘点作为起点;
从该起点开始对边缘点采用八邻域轮廓跟踪法得到最终的人脸外轮廓点云。
进一步,所述颅面模型规格化包括:
在所述三维颅面数据库中选择一个人脸样本的颅面模型作为参考模型,采用全局配准方法和局部配准方法相结合的非刚性配准算法对所述三维颅面数据库中每一个人脸样本的颅面模型进行规格化,以建立该颅面模型的顶点和参考模型顶点的一一对应关系;
其中,作为参考模型的颅面模型为外形完整、牙齿整齐并且顶点分布均匀的人脸样本的颅面模型。
进一步:
所述全局配准方法采用薄板样条函数TPS;
所述局部配准方法采用具有紧支撑的径向基函数CSRBF。
进一步,所述提取人脸老化及胖瘦变化规律包括:
把所述三维颅面数据库中的人脸样本按性别分成男和女两类,以分别提取人脸的老化及胖瘦变化的规律;
对所述三维颅面数据库中的每一个人脸样本,采用全局配准方法和局部配准方法相结合的非刚性配准算法,获得从该人脸样本的三维颅骨模型到与其性别一致的平均三维颅骨模型的变形函数;
将该人脸样本的三维人脸模型带入该变形函数,以获得变形后的三维人脸模型;
将变形后的三维人脸模型组成集合,采用主成分分析对该变形后的三维人脸模型集合进行统计分析,构建人脸的主成分分析PCA模型;
计算所有三维人脸模型间的PCA系数差以及对应的属性差;
采用线性回归方法统计分析三维人脸模型的PCA系数差与属性差的关系,以获得三维人脸模型的PCA系数差与属性差的函数关系;
其中,属性差包括年龄差和身体质量指数差。
进一步,所述人脸老化及胖瘦变化模拟包括:
对待老化及胖瘦变化模拟的三维人脸模型进行规格化,得到规格化后的三维人脸模型;
采用全局配准方法和局部配准方法相结合的非刚性配准算法,获得从规格化后的三维人脸模型所对应的三维颅骨模型到与其性别一致的平均三维颅骨模型的变形函数;
将所述规格化后的三维人脸模型带入该变形函数,以获得变形后的三维人脸模型;
将所述规格化后的三维人脸模型所对应的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型;
根据人脸PCA模型计算变形后的三维人脸模型的PCA系数;
根据待老化及胖瘦变化模拟的三维人脸模型预期的属性,以及当前的属性,得到属性差,之后根据PCA系数差与属性差的函数关系,获得对应的PCA系数差,并把该PCA系数差与人脸初始PCA系数相加,获得老化及胖瘦变化后人脸的PCA系数;
利用老化及胖瘦变化后人脸的PCA系数以及人脸PCA模型,获得老化及胖瘦变化后的三维人脸模型,之后对该老化及胖瘦变化后的三维人脸模型进行逆变形获得人脸老化及胖瘦变化模拟结果;
其中,所述逆变形为:采用全局配准方法和局部配准方法相结合的非刚性配准算法,把变形后的三维颅骨模型变形回未变形的三维颅骨模型的变形函数。
进一步,如果待老化及胖瘦变化模拟的三维人脸模型没有对应的三维颅骨模型,则通过所述三维颅面数据库中的人脸样本构建出该三维人脸模型所对应的三维颅骨模型;
构建过程为:
根据待老化及胖瘦变化模拟的三维人脸模型的属性,在所述三维颅面数据库中选出与其属性相同的人脸样本;
对选出来的每一个人脸样本,采用全局配准方法和局部配准方法相结合的非刚性配准算法,获得从该人脸样本的三维人脸模型到待老化及胖瘦变化模拟的三维人脸模型的变形函数;
将该人脸样本的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型;
对所有变形后的三维颅骨模型求取平均三维颅骨模型作为所述待老化及胖瘦变化模拟的三维人脸模型所对应的三维颅骨模型。
从上述方案可以看出,本发明的三维人脸变化模拟方法,同时考虑了老化和胖瘦的变化,能模拟因年龄增长和体重变化带来的人体外貌上的变化。同时由于难以获得三维人脸老化数据,本发明还首次提出采用颅面CT数据来实现三维人脸的老化及胖瘦变化模拟。同时利用样本的颅骨信息和面貌信息,在缺乏老化数据的情况下,首先剔除因不同样本引起的人脸形状的不同,然后进一步挖掘出人脸老化及胖瘦变化的规律,并对这一现象进行模拟。在缺少三维时序人脸数据的情况下,本发明能利用不同人的颅面数据,从中剔除“不同人”的影响,并挖掘出人脸的老化及胖瘦变化的规律。且本发明所采用的算法简单高效,模拟结果准确。可用于刑侦中寻找潜逃多年的罪犯;可以辅助医学整形美容;可以在影视娱乐中辅助化妆设计等。
附图说明
图1为本发明的三维人脸变化模拟方法示意图;
图2a为滤噪处理后的CT切片图像实施例示意图;
图2b为采用Sobel算子模型从CT切片图像中提取颅骨边缘后的实施例示意图;
图2c为通过对颅骨边缘进行圆形扫描得到颅骨的初始外轮廓点云的实施例示意图;
图2d为采用八邻域轮廓跟踪法对初始轮廓进行跟踪并连接被打断的顶点后得到最终轮廓点云的实施例示意图;
图2e为从CT切片图像中得到的人脸外轮廓点云实施例示意图;
图3a为完整的颅骨外轮廓点云模型实施例示意图;
图3b为完整的人脸外轮廓点云模型实施例示意图;
图3c为完整的颅骨外轮廓网格模型实施例示意图;
图3d为完整的人脸外轮廓网格模型实施例示意图;
图4a为采用TPS在待配准三维颅骨模型上标定特征点的实施例示意图;
图4b为采用TPS在参考三维颅骨模型上标定特征点的实施例示意图;
图4c为采用TPS将参考三维颅骨模型匹配到待配准三维颅骨模型的实施例示意图;
图5a为采用CSRBF在待配准三维颅骨模型上自动生成的特征点的实施例示意图;
图5b为采用CSRBF在参考三维颅骨模型上自动生成的特征点的实施例示意图;
图5c为采用CSRBF将参考三维颅骨模型匹配到待配准三维颅骨模型的实施例示意图;
图6为消除颅骨形状差异后的三维人脸模型实施例示意图;
图7a为男性平均人脸随年龄变化的模拟结果实施例示意之一图;
图7b为男性平均人脸随年龄变化的模拟结果实施例示意之二图;
图7c为男性平均人脸随年龄变化的模拟结果实施例示意之三图;
图8a为男性平均人脸随胖瘦变化的模拟结果实施例示意之一图;
图8b为男性平均人脸随胖瘦变化的模拟结果实施例示意之二图;
图8c为男性平均人脸随胖瘦变化的模拟结果实施例示意之三图;
图9a为女性平均人脸随年龄变化的模拟结果实施例示意之一图;
图9b为女性平均人脸随年龄变化的模拟结果实施例示意之二图;
图9c为女性平均人脸随年龄变化的模拟结果实施例示意之三图;
图10a为女性平均人脸随胖瘦变化的模拟结果实施例示意之一图;
图10b为女性平均人脸随胖瘦变化的模拟结果实施例示意之二图;
图10c为女性平均人脸随胖瘦变化的模拟结果实施例示意之三图;
图11a为两个男性人脸样本随属性变化的模拟结果实施例示意之一图;
图11b为两个男性人脸样本随属性变化的模拟结果实施例示意之二图;
图11c为两个男性人脸样本随属性变化的模拟结果实施例示意之三图;
图11d为两个男性人脸样本随属性变化的模拟结果实施例示意之四图;
图11e为两个男性人脸样本随属性变化的模拟结果实施例示意之五图;
图11f为两个男性人脸样本随属性变化的模拟结果实施例示意之六图;
图11g为两个男性人脸样本随属性变化的模拟结果实施例示意之七图;
图11h为两个男性人脸样本随属性变化的模拟结果实施例示意之八图;
图12a为两个女性人脸样本随属性变化的模拟结果实施例示意之一图;
图12b为两个女性人脸样本随属性变化的模拟结果实施例示意之二图;
图12c为两个女性人脸样本随属性变化的模拟结果实施例示意之三图;
图12d为两个女性人脸样本随属性变化的模拟结果实施例示意之四图;
图12e为两个女性人脸样本随属性变化的模拟结果实施例示意之五图;
图12f为两个女性人脸样本随属性变化的模拟结果实施例示意之六图;
图12g为两个女性人脸样本随属性变化的模拟结果实施例示意之七图;
图12h为两个女性人脸样本随属性变化的模拟结果实施例示意之八图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明作进一步详细说明。
本发明以下实施例中,采用颅面CT数据,能同时利用三维人脸数据和对应的颅骨数据。由于不同人的人脸之间的差异不仅仅是因为年龄和胖瘦不同引起的,更主要是因为他们彼此之间分别是“不同”的人。因此需要从不同人的数据中首先剔除掉因“不同”而带来的差异,然后再挖掘出因年龄和胖瘦变化所引起的人脸形状的变化。
颅骨是面貌的内在生物特征,颅骨和面貌的形态间存在相互关系,颅骨的形态决定着面貌的基本形态。颅骨面貌复原正是利用颅骨和面貌的形态间的关系,以根据颅骨形态重构出面貌。颅骨面貌复原在刑事侦查以及考古人类学等领域有着悠久的应用历史。
基于颅骨和面貌形态之间的关系,本发明实施例中提出假设:在人种、年龄、胖瘦程度和性别等属性相同的情况下,不同人之间面貌的差异本质上是因为不同人之间具有不同的颅骨。也就是说,如果两个人的颅骨相同,则他们的面貌会很相似,进一步地,如果该两个人的属性也相同的话,那他们的面貌可近视认为是一样的。基于该假设,要对人脸样本消除因“人不同”带来的人脸形状的差异,即是要消除因颅骨形状的不同引起的人脸形状的差异。而消除了颅骨差异后的人脸样本之间的差异性,则可认为是因为属性的不同而照成的,可进一步通过统计分析的方式获得人脸老化和胖瘦变化规律,最后利用该规律对人脸老化及胖瘦变化现象进行模拟。
如图1所示,本发明的三维人脸变化模拟方法,主要包括以下几个步骤。
步骤1、构建三维颅面数据库。
本步骤1中,采集多个活体人(活体样本)的颅面CT数据,并采用图像处理技术从颅面CT数据中重构出人脸的三维颅骨模型和三维人脸模型,构建三维颅面数据库。该三维颅面数据库中包括至少1个(多个)人脸样本,每个人脸样本均具有颅面模型(包括三维颅骨模型和三维人脸模型),以及人脸样本所对应的属性,包括年龄、身体质量指数(Body MassIndex,BMI)以及性别等。
步骤2、颅面模型规格化。
本步骤2中,首先在三维颅面数据库中选择一个人脸样本的颅面模型作为参考模型,然后采用全局配准方法和局部配准方法相结合的非刚性配准算法建立三维颅面数据库中每一个人脸样本的颅面模型与参考模型的顶点对应关系,从而建立颅面模型的统一表示,即顶点数,顶点含义和拓扑结构都与参考模型保持一致。
步骤3、提取人脸老化及胖瘦变化规律。
本步骤3中,对三维颅面数据库中规格化后的人脸样本按性别进行分类,然后剔除分类后的人脸样本中因颅骨形状的不同引起的人脸形状的差异。消除人脸形状差异后的人脸样本之间的差异性,可认为是因为人脸属性的不同而造成的。因此,可进一步通过统计分析分别获得男性和女性的人脸老化和胖瘦变化规律。本步骤3具体包括4个子步骤:性别分类、颅骨差异消除、人脸PCA建模、规律统计。
步骤31、性别分类。
把三维颅面数据库中的人脸样本按照性别分为男和女两类。
步骤32、颅骨差异消除。
采用同步骤2中一样的全局配准方法和局部配准方法相结合的非刚性配准算法,对三维颅面数据库中每个男性人脸样本,获得从该男性人脸样本的三维颅骨模型到男性平均三维颅骨模型的变形函数;然后将该男性人脸样本的三维人脸模型带入该变形函数,以获得变形后的男性三维人脸模型;以及,采用同步骤2中一样的全局配准方法和局部配准方法相结合的非刚性配准算法,对三维颅面数据库中每个女性人脸样本,获得该女性人脸样本的三维颅骨模型到女性平均三维颅骨模型的变形函数,然后将该女性人脸样本的三维人脸模型带入该变形函数,以获得变形后的女性三维人脸模型。获得变形后的男性三维人脸模型以及获得变形后的女性三维人脸模型,即是消除了颅骨差异后的三维人脸模型。
步骤33、人脸PCA建模。
对消除颅骨差异后的男性和女性三维人脸模型采用PCA(Principle ComponentsAnalysis,主成分分析)方法分别进行统计分析,分别构建男性和女性人脸的PCA模型,在该PCA模型下,每个人脸样本由一组PCA系数表示。
步骤34、规律统计。
计算所有男性三维人脸模型间的PCA系数差以及对应的属性差(包括年龄差和身体质量指数差),并采用线性回归方法获得男性PCA系数差与属性差之间的函数关系;同样地,计算所有女性三维人脸模型间的PCA系数差以及对应的属性差(包括年龄差和身体质量指数差),并采用线性回归方法获得女性PCA系数差与属性差之间的函数关系。
步骤4、人脸老化及胖瘦变化模拟。
根据步骤3获得的人脸老化和胖瘦变化规律对人脸进行老化和胖瘦变化模拟。本步骤4包括5个子步骤:人脸规格化、颅骨差异消除、人脸初始PCA系数计算、老化及胖瘦变化后人脸PCA系数计算、老化及胖瘦变化后人脸形状计算。
步骤41、人脸规格化。
采用同步骤2中一样的全局配准方法和局部配准方法相结合的非刚性配准算法,对待老化及胖瘦变化模拟的三维人脸模型进行规格化,得到规格化后的三维人脸模型。
步骤42、颅骨差异消除。
如果规格化后的三维人脸模型有对应的三维颅骨模型,则采用和步骤32中一样的全局配准方法和局部配准方法相结合的非刚性配准算法,获得从该三维颅骨模型(即规格化后的三维人脸模型所对应的三维颅骨模型)到与其性别一致的平均三维颅骨模型的变形函数;然后,将规格化后的三维人脸模型带入该变形函数,以获得变形后的三维人脸模型,将规格化后的三维人脸模型所对应的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型。
如果规格化后的三维人脸模型没有对应的三维颅骨模型,则通过三维颅面数据库中的人脸样本构建出规格化后的三维人脸模型所对应的三维颅骨模型,之后,采用和步骤32中一样的全局配准方法和局部配准方法相结合的非刚性配准算法获得从该三维颅骨模型到与其性别一致的平均三维颅骨模型的变形函数;然后,将规格化后的三维人脸模型带入该变形函数,以获得变形后的三维人脸模型,将规格化后的三维人脸模型所对应的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型。
步骤43、人脸初始PCA系数计算。
根据步骤33中的人脸PCA模型计算变形后的三维人脸模型的PCA系数。
步骤44、老化及胖瘦变化后人脸PCA系数计算。
根据待老化及胖瘦变化模拟的三维人脸模型预期的属性(包括预期的年龄和身体质量指数),以及当前的属性(包括当前的年龄和身体质量指数),得到属性差(包括年龄差和身体质量指数差),然后根据步骤34中获得的PCA系数差与属性差的函数关系,计算对应的PCA系数差,并把该PCA系数差与人脸初始PCA系数进行相加,获得老化及胖瘦变化后人脸的PCA系数。
步骤45、老化及胖瘦变化后人脸形状计算。
利用老化及胖瘦变化后人脸的PCA系数以及步骤33中的人脸PCA模型,计算并获得对应的老化及胖瘦变化后的三维人脸模型,之后对该老化及胖瘦变化后的三维人脸模型进行逆变形获得最终的人脸老化及胖瘦变化模拟结果。其中,逆变形为与步骤42中的变形方向相反,采用同步骤32中一样的全局配准方法和局部配准方法相结合的非刚性配准算法,把变形后的三维颅骨模型变形回未变形的三维颅骨模型的变形函数。
以下结合实际操作的具体实施例,对本发明的三维人脸变化模拟方法进行详细说明。
步骤1、构建三维颅面数据库。
本步骤1中,可通过与医院的合作,采用多探测螺旋CT(Computed Tomography,计算机断层扫描)扫描仪获取活体样本的颅面数据,该颅面数据采用DICOM3.0标准。每个活体样本采集大约250张CT切片图像,每张CT切片图像大小为512×512个像素。对每个活体样本,同时记录对应的属性,包括性别、年龄和身体质量指数。共采集223套活体样本,其中男性130套,女性93套,年龄跨度为20到75岁。
颅骨和软组织内部的数据,如鼻道、颅骨内部和脊柱等,对颅面的真实感显示有很重要的作用,但对颅骨和人脸形态的规律统计没有帮助,反而会增加计算量。颅骨只有外表面与人脸之间存在相互关系,因此对于每套颅面数据,只提取颅骨和人脸的外表面三维模型用于后续步骤,具体方法如下。
对于颅骨和人脸,分别采用两种不同的算法从CT切片图像中提取外轮廓点云模型。
其中,颅骨的外轮廓提取方法包括三个步骤:
步骤a、采用Sobel(索贝尔)算子模型从滤噪处理后的CT切片图像中提取颅骨的边缘,如图2a、图2b所示。
步骤b、通过对颅骨边缘进行圆形扫描得到颅骨的初始外轮廓,如图2c所示。
其中,所谓圆形扫描是指,从图像中心向图像的边界点一一发射射线,对每一条射线,求得与该射线相交并同时距离图像中心最远的颅骨边缘点,这些颅骨边缘点就组成了初始外轮廓。
步骤c、对初始外轮廓进行杂点删除和八邻域轮廓跟踪得到最终的外轮廓。
因初始外轮廓中包含了一些不属于外轮廓上的点,需要删除这些点。这里主要采用两种方式:一是设定一个距离阈值,如果初始轮廓中的顶点到图像中心的距离小于该阈值,则认为是杂点需要删除;二是设定一个长度阈值,如果初始轮廓中的一连续段的顶点数小于该阈值,则删除,其中初始轮廓中相邻顶点之间的距离如果小于等于两个像素值,则认为这两个顶点是连续的。
此外,在步骤c中,由于颅骨是非凸的,因此在初始轮廓中有些连续的顶点没有连接上,这里主要采用八邻域轮廓跟踪法对初始轮廓进行跟踪,连接被打断的顶点,得到最终的轮廓,图2d所示。
人脸外轮廓提取方法与颅骨外轮廓提取方法类似,但相对简单一些,这是因为软组织与颅骨不同,在所有CT切片图像中的软组织是联通的,如图2a所示。人脸外轮廓提取同样包含三个步骤。
步骤d、采用Sobel算子模型从滤噪处理后的CT切片图像中提取软组织的边缘。
步骤e、从图像中心向图像左下角发射一条射线,并求得与该射线相交并同时距离图像中心最远的一个软组织边缘点作为起点。
步骤f、从该起点开始对边缘点采用八邻域轮廓跟踪法得到最终的人脸外轮廓点云,如图2e所示。
对样本的每张CT切片图像,都通过上述方法提取出颅骨和人脸的外轮廓点云,便得到样本的完整的颅骨和人脸外轮廓点云模型。进一步对点云模型进行三角化处理便得到颅骨和人脸的网格模型,如图3a、图3b图3c和图3d所示。
通过上述方法,采集的多套活体样本所重构出的多套人脸和颅骨三维模型,并构建三维颅面数据库。三维颅面数据库中每个人脸样本均具有颅面模型(包括三维颅骨模型和三维人脸模型),以及人脸样本所对应的属性,包括年龄、身体质量指数以及性别等。
步骤2、颅面模型规格化。
为了对三维颅骨模型和三维人脸模型进行统计分析,需采用配准算法对所有三维颅面数据库中的人脸样本的颅面模型进行规格化处理,分别建立颅骨和人脸的统一表示。
首先人为地在三维颅面数据库中选择一个外形完整(无缺失骨头或面皮)、牙齿整齐并且顶点分布均匀的人脸样本的颅面模型(包括三维颅骨模型和三维人脸模型)作为参考模型,然后采用全局配准方法和局部配准方法相结合的非刚性配准算法对三维颅面数据库中的每一个人脸样本的颅面模型进行规格化,建立该颅面模型的顶点和参考模型顶点的一一对应关系。其中,该全局配准为粗配准,能使得颅面模型和参考模型大部分都匹配上,只有一些局部的区域存在错配的现象,局部配准即对这些区域进行调整。并且局部调整可执行多次。最终颅面模型和参考模型可以紧密地匹配上。
作为具体实施例,采用TPS(Thin Plate Spline,薄板样条函数)作为全局配准算法。TPS属于非刚性配准算法,其函数f由两部分组成,第一部分由径向基函数表示的弹性变换构成,第二部分为全局仿射变换。具体公式如下:
其中n为特征点的个数,为特征点 和顶点(x,y,z)之间的欧式距离,αi(i=1,...n),βj(j=1,2,3,4)为待求的权重。
对于弹性变换部分,还有四个附加的边界条件,分别表示如下:
和
TPS在配准过程中能使变形模型的全局弯曲能量最低,参见公式(3),所以TPS被认为是光滑性最好的一种配准算法之一。
TPS是基于特征点的配准方法,以人工方式在待配准颅面模型和参考颅面模型上分别标定两组对应的特征点和其中n为78,参见图4a图4b所示的分别在待配准三维颅骨模型和参考三维颅骨模型上标定特征点的实施例示意图。根据这两组特征点的映射关系,就可求解TPS函数中的未知变量αi(i=1,...n)和βj(j=1,2,3,4),如公式(4):
这一求解过程通常表示成矩阵形式:
其中K为n×n的矩阵,矩阵中的元素P为n×4的矩阵,矩阵中的元素α=(α1,α2...αn)T,β=(β1,β2,β3,β4)T,
一旦确定了权重αi(i=1,...n)和βj(j=1,2,3,4)的值,就得到了全局的变换函数f,进而可根据公式(1)对参考颅面模型进行变形,使之匹配到待配准颅面模型上,如图4c所示将参考三维颅骨模型匹配到待配准三维颅骨模型的实施例示意图。
对于局部配准,采用具有紧支撑的径向基函数(Compact Support Radial BasisFunctions,CSRBF),称之为Wendland CSRBF。其中径向基函数定义为Wendland函数。采用这一函数,每一个特征点在三维空间中的作用域为一个半径可调的球体,因此在配准过程中可以只调整没有匹配上的区域,而保持已经配好的部分。当给定空间维数d,平滑度C2k(R)以及欧式距离r时,Wendland函数Ψd,k(r)表示为:
其中
为截断多项式,而
为积分运算,在公式(6)中需执行k次。
从公式(6)可以看到,Wendland函数ψd,k(r)只在r≤1时有效。其有效范围可以缩放至a,缩放后函数的数学属性保持不变。
ψa(r)=ψ(r/a)
对于3维空间,和k=0,1,2的情况,Wendland函数ψd,k(r)可分别表示如下:
在实验中,采用ψ3,1(r)作为CSRBF中的径向基函数,具体公式如下:
其中为一个顶点,为顶点到特征点之间的欧式距离,m为特征点的个数,αi(i=1,...m)为未知权重。同TPS类似,这些权重可通过把参考颅面模型上的特征点一一映射到待配准颅面模型的对应特征点求解,如下所示:
表示成矩阵形式为:
Kα=ΔQ (9)
其中K为m×m的矩阵,矩阵中的元素α=(α1,α2...αm)T,
权重αi(i=1,...m)的值一旦确定后,就可以在TPS配准的基础上根据公式(7)对参考颅面模型进行变形,使它们更贴切地匹配到待配准颅面模型上,如图5c所示的将参考三维颅骨模型匹配到待配准三维颅骨模型的实施例示意图。局部配准可执行多次,直到执行次数超过用户设定的阈值,或最大配准误差小于用户设定的另一阈值。当配准完成后,对参考颅面模型上的每一个顶点,在待配准颅面模型上求解最近点作为对应点,并由此建立颅面模型的统一表示,即待配准颅面模型的顶点由这些对应点组成,而顶点连接关系与参考颅面模型的顶点连接关系一致。规格化后,三维颅面数据库中的每个人脸样本的三维人脸模型Facei可表示成由其顶点组成的向量,即同样地,每个人脸样本的三维颅骨模型Skulli可表示成由其顶点组成的向量,即其中n和m分别为三维人脸模型和三维颅骨模型的顶点个数,i为人脸样本的序号。
与TPS中的特征点不同,CSRBF的特征点和是自动生成的。如图5a和图5b所示,它们分别分布在待配准三维颅骨模型和参考三维颅骨模型上差异较大的区域。首先对于颅面模型上的每一个顶点,求取它在待配准颅面模型上的对应点,即最近点,而它们之间的距离可看作配准误差,然后对这些点对按照配准误差从大到小的顺序进行排序,得到一个顶点对应数组,接下来对这个数组从第一个元素开始采样,就能得到用于局部配准的特征点。为了让特征点分布更合理,在对数组进行采样时,增加限制,表示如下:
其中a为ψa,3,1(r)的支持范围,Pc为参考颅骨上的CSRBF特征点集合,即Pi c(i=1,2…m),Pt为参考颅骨上的TPS特征点集合,即Pi t(i=1,2…78)。
采用公式(10)这一限制,特征点Pc不会聚集在某一处,并能保持TPS特征点附近的配准结果。对于ψa,3,1(r)支持的范围a,可参考已有文献设定为:a≥3.66Δ,其中Δ为特征点Pi c与对应特征点在某一个方向轴上的最大位移。
步骤3、提取人脸老化及胖瘦变化规律。
把三维颅面数据库中的人脸样本按性别分成男和女两类,然后分别提取人脸的老化及胖瘦变化的规律。下面以男性为例,介绍此规律的提取方法,女性人脸的规律提取类似,不再赘述。
因为采集的数据为不同人的颅面数据,没有同一人的时序数据。从这样的数据中获取老化规律,首先需对数据进行预处理,以消除因“人不同”而带来的人脸形状的差异,消除了这部分差异后,不同人脸形状的差异才可认为是因属性不同而照成的差异。
人不同因而面貌不同,其本质是因为颅骨不同,基于此假设,要对人脸样本消除因“人不同”带来的人脸形状的差异,即是要消除因颅骨形状的不同引起的人脸形状的差异。
为了消除因颅骨形状的不同引起的人脸形状的差异,对一个男性人脸样本,采用步骤2中的全局配准方法和局部配准方法相结合的配准算法,把该人脸样本的三维颅骨模型变形到男性平均三维颅骨模型上,使得变形后的三维颅骨模型尽可能和男性平均三维颅骨模型的形状一样,并因此获得变形函数,然后把将该男性人脸样本的三维人脸模型带入该变形函数,以获得变形后的男性三维人脸模型。
其中男性平均三维颅骨模型为
其中,即为男性平均三维颅骨模型,M(即Male)表示为男性,L为男性三维人脸模型总数,Skulli为L个男性三维人脸模型中的第i个男性三维人脸模型。
男性人脸样本对应的三维颅骨模型集合为
{Skulli|i=1,...,L}
女性平均三维颅骨模型与男性平均三维颅骨模型,以及女性人脸样本对应的三维颅骨模型集合与男性人脸样本对应的三维颅骨模型集合表达形式均相同,不再赘述。
变形后的三维人脸模型即是消除了颅骨形状差异后的三维人脸模型,如图6所示,可进一步用于挖掘因属性变化而引起的人脸形状的变化规律。
变形后的三维人脸模型组成一个集合{Fk|k=1,...,K},其中Fk为一个由其顶点序列组成向量,即其中n为顶点个数。采用主成分分析(PrincipleComponents Analysis,PCA)对该变形后的三维人脸模型集合进行统计分析,构建人脸的PCA模型,在该模型下,每张人脸可表示为:
其中为平均三维人脸模型,即ck为PCA系数;Uk为矩阵S的特征向量,并按照对应的特征值σk降序排列,矩阵S是中心化后的三维人脸模型的协方差矩阵,T为主成分的个数,在本发明实施例中,T的取值满足:
即表示采用PCA模型表示的人脸能保持至少98%原人脸的信息。
在PCA模型中,每张人脸可由系数向量c=(c1,...,cT)表示。人脸Fk对应的系数c通过下面的公式获得:
其中,U=(U1,...UT)。
不同的人脸对应不同的PCA系数,而经颅骨差异消除的三维人脸模型之间的差异可近似认为是因人脸属性不同照成的。因此可统计分析三维人脸模型的PCA系数差Δc与属性差的关系。已有研究成果表明,影响人脸形状的属性主要有人种、性别、年龄和身体质量指数。因本发明实施例中,采集的人脸都属于同一种族,又已按照性别分类,所以主要考虑年龄差Δage和身体质量指数差Δbmi与系数差Δc的关系。
对K个三维人脸模型分别求两两之间的差异,从而获得新的K×(K-1)/2个三维人脸模型,这里采用线性回归方法对这些三维人脸模型进行统计,从而获得Δc与年龄差Δage和身体质量指数差Δbmi的函数关系:
Δc=b0+b1×Δbmi+b2×Δage (13)
步骤4、人脸老化及胖瘦变化规律模拟。
要对三维人脸模型F进行老化及胖瘦变化模拟,首先采用步骤2中的全局配准方法和局部配准方法相结合的非刚性配准算法对其进行规格化,得到规格化后的三维人脸模型F*。如果三维人脸模型F没有对应的三维颅骨模型S,则需要根据三维颅面数据库中的人脸样本构建一个三维颅骨模型作为三维人脸模型F对应的三维颅骨模型S。三维颅骨模型S的构建方法如下:
步骤4a、根据待老化及胖瘦变化模拟的三维人脸模型F的属性,在三维颅面数据库中选出与其属性相同的人脸样本。
步骤4b、对每个选中的人脸样本,采用步骤2中的全局配准方法和局部配准方法相结合的非刚性配准算法,获得从该人脸样本的三维人脸模型到待老化及胖瘦变化模拟的三维人脸模型F的变形函数;然后,将该人脸样本的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型。
步骤4c、对所有变形后的三维颅骨模型进行平均,以获得平均的三维颅骨模型作为三维颅骨模型S。
采用步骤2中的全局配准方法和局部配准方法相结合的非刚性配准算法,获得从规格化后的三维颅骨模型S到与其性别一致的平均三维颅骨模型的变形函数;然后将三维颅骨模型S带入该变形函数,得到变形后的三维颅骨模型S*,同时,将规格化后的三维人脸模型F*带入该变形函数,得到变形后的三维人脸模型F**。再根据公式(12)得到变形后的三维人脸模型F**的PCA系数c,并且根据待老化及胖瘦变化模拟的三维人脸模型F预期的属性以及当前的属性,得到属性差(属性差为预期的属性与当前的属性的差值,包括:预期的年龄和当前的年龄的差值为年龄差,以及,预期的身体质量指数和当前的身体质量指数差值为身体质量指数差),然后根据公式(13)得到因属性差带来的PCA系数差Δc。从而系数c和系数差Δc相加得到新的系数,根据公式(11)可得到对应的三维人脸模型,最后对该三维人脸模型进行逆变形获得最终的因属性变化的模拟结果。逆变形即是采用步骤2中的全局配准方法和局部配准方法相结合的非刚性配准算法,把变形后的三维颅骨模型S*变形回未变形的三维颅骨模型S的变形函数。
将上述方法应用于男性和女性平均人脸,以及三维颅面数据库中的人脸样本,模拟他们随年龄和胖瘦变化而引起的人脸形状的变化。
图7a至图7c为男性平均人脸随年龄变化的模拟结果。其中,图7b为男性平均人脸,平均年龄为39.54岁,图7a和图7c为分别在平均年龄的基础上减少20岁和增加30岁的模拟结果。
图8a至图8c为男性平均人脸随胖瘦变化的模拟结果。其中图8b为男性平均人脸,平均BMI值为23.5,图8a和图8c为分别在平均BMI值的基础上减少4.4和增加4.4的模拟结果。
图9a至图9c为女性平均人脸随年龄变化的模拟结果。其中,图9b为女性平均人脸,平均年龄为40.46岁,图9a和图9c为分别在平均年龄的基础上减少20岁和增加30岁的模拟结果。
图10a至图10c为女性平均人脸随胖瘦变化的模拟结果。其中,图10b为女性平均人脸,平均BMI值为23.6,图10a和图10c为分别在平均BMI值的基础上减少4.4和增加4.4的模拟结果。
图11a至图11h为两个男性人脸样本随属性变化的模拟结果。其中,图11a为一年龄28岁、BMI值24.3的男性原始人脸模型,图11b为图11a的人脸模型增加30岁的模拟结果,图11c和图11d为图11a的人脸模型增加30岁且BMI值分别减少3.3和增加3.3后的模拟结果;图11e为一年龄66岁、BMI值24.2的男性原始人脸模型,图11f为图11e的人脸模型减少20岁的模拟结果,图11g和图11h为图11e的人脸模型减少20岁且BMI值分别减少3.3和增加3.3后的模拟结果。
图12a至图12h为两个女性人脸样本随属性变化的模拟结果。其中,图12a为一年龄29岁、BMI值22.8的女性原始人脸模型,图12b为图12a的人脸模型增加30岁的模拟结果,图12c和图12d为图12a的人脸模型增加30岁且BMI值分别减少4.4和增加4.4后的模拟结果;图12e为一年龄59岁、BMI值23的女性原始人脸模型,图12f为图12e的人脸模型减少20岁的模拟结果,图12g和图12h为图12e的人脸模型减少20岁且BMI值分别减少4.4和增加4.4后的模拟结果。
本发明的三维人脸变化模拟方法,在缺少三维时序人脸数据的情况下,能利用不同人的颅面数据,从中剔除“不同人”的影响,并挖掘出人脸的老化及胖瘦变化的规律。且本发明所采用的算法简单高效,模拟结果准确。可用于刑侦中寻找潜逃多年的罪犯;可以辅助医学整形美容;可以在影视娱乐中辅助化妆设计等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (9)
1.一种三维人脸变化模拟方法,包括:
构建三维颅面数据库;
颅面模型规格化;
提取人脸老化及胖瘦变化规律;
人脸老化及胖瘦变化模拟;
其中,所述提取人脸老化及胖瘦变化规律包括:
把所述三维颅面数据库中的人脸样本按性别分成男和女两类,以分别提取人脸的老化及胖瘦变化的规律;
对所述三维颅面数据库中的每一个人脸样本,采用全局配准方法和局部配准方法相结合的非刚性配准算法,获得从该人脸样本的三维颅骨模型到与其性别一致的平均三维颅骨模型的变形函数;
将该人脸样本的三维人脸模型带入该变形函数,以获得变形后的三维人脸模型;
将变形后的三维人脸模型组成集合,采用主成分分析对该变形后的三维人脸模型集合进行统计分析,构建人脸的主成分分析PCA模型;
计算所有三维人脸模型间的PCA系数差以及对应的属性差;
采用线性回归方法统计分析三维人脸模型的PCA系数差与属性差的关系,以获得三维人脸模型的PCA系数差与属性差的函数关系;
其中,属性差包括年龄差和身体质量指数差。
2.根据权利要求1所述的三维人脸变化模拟方法,其特征在于:
所述三维颅面数据库包括至少1个人脸样本,每个人脸样本均具有颅面模型以及人脸样本所对应的年龄、身体质量指数BMI和性别。
3.根据权利要求2所述的三维人脸变化模拟方法,其特征在于:所述颅面模型包括三维颅骨模型和三维人脸模型。
4.根据权利要求2所述的三维人脸变化模拟方法,其特征在于,所述人脸样本的获取包括:
通过多探测螺旋计算机断层扫描CT仪获取活体样本的颅面CT数据,从颅面CT数据中重构出人脸的三维颅骨模型和三维人脸模型。
5.根据权利要求4所述的三维人脸变化模拟方法,其特征在于:所述人脸样本的获取过程包括:
采用索贝尔Sobel算子模型从滤噪处理后的CT切片图像中提取颅骨的边缘;
通过对颅骨边缘进行圆形扫描得到颅骨的初始外轮廓;
对初始外轮廓进行杂点删除和八邻域轮廓跟踪得到最终的外轮廓;以及,
采用Sobel算子模型从滤噪处理后的CT切片图像中提取软组织的边缘;
从图像中心向图像左下角发射一条射线,并求得与该射线相交并同时距离图像中心最远的一个软组织边缘点作为起点;
从该起点开始对边缘点采用八邻域轮廓跟踪法得到最终的人脸外轮廓点云。
6.根据权利要求1所述的三维人脸变化模拟方法,其特征在于,所述颅面模型规格化包括:
在所述三维颅面数据库中选择一个人脸样本的颅面模型作为参考模型,采用全局配准方法和局部配准方法相结合的非刚性配准算法对所述三维颅面数据库中每一个人脸样本的颅面模型进行规格化,以建立该颅面模型的顶点和参考模型顶点的一一对应关系;
其中,作为参考模型的颅面模型为外形完整、牙齿整齐并且顶点分布均匀的人脸样本的颅面模型。
7.根据权利要求6所述的三维人脸变化模拟方法,其特征在于:
所述全局配准方法采用薄板样条函数TPS;
所述局部配准方法采用具有紧支撑的径向基函数CSRBF。
8.根据权利要求1所述的三维人脸变化模拟方法,其特征在于,所述人脸老化及胖瘦变化模拟包括:
对待老化及胖瘦变化模拟的三维人脸模型进行规格化,得到规格化后的三维人脸模型;
采用全局配准方法和局部配准方法相结合的非刚性配准算法,获得从规格化后的三维人脸模型所对应的三维颅骨模型到与其性别一致的平均三维颅骨模型的变形函数;
将所述规格化后的三维人脸模型带入该变形函数,以获得变形后的三维人脸模型;
将所述规格化后的三维人脸模型所对应的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型;
根据人脸PCA模型计算变形后的三维人脸模型的PCA系数;
根据待老化及胖瘦变化模拟的三维人脸模型预期的属性,以及当前的属性,得到属性差,之后根据PCA系数差与属性差的函数关系,获得对应的PCA系数差,并把该PCA系数差与人脸初始PCA系数相加,获得老化及胖瘦变化后人脸的PCA系数;
利用老化及胖瘦变化后人脸的PCA系数以及人脸PCA模型,获得老化及胖瘦变化后的三维人脸模型,之后对该老化及胖瘦变化后的三维人脸模型进行逆变形获得人脸老化及胖瘦变化模拟结果;
其中,所述逆变形为:采用全局配准方法和局部配准方法相结合的非刚性配准算法,把变形后的三维颅骨模型变形回未变形的三维颅骨模型的变形函数。
9.根据权利要求8所述的三维人脸变化模拟方法,其特征在于:
如果待老化及胖瘦变化模拟的三维人脸模型没有对应的三维颅骨模型,则通过所述三维颅面数据库中的人脸样本构建出该三维人脸模型所对应的三维颅骨模型;
构建过程为:
根据待老化及胖瘦变化模拟的三维人脸模型的属性,在所述三维颅面数据库中选出与其属性相同的人脸样本;
对选出来的每一个人脸样本,采用全局配准方法和局部配准方法相结合的非刚性配准算法,获得从该人脸样本的三维人脸模型到待老化及胖瘦变化模拟的三维人脸模型的变形函数;
将该人脸样本的三维颅骨模型带入该变形函数,以获得变形后的三维颅骨模型;
对所有变形后的三维颅骨模型求取平均三维颅骨模型作为所述待老化及胖瘦变化模拟的三维人脸模型所对应的三维颅骨模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410049579.0A CN104851123B (zh) | 2014-02-13 | 2014-02-13 | 一种三维人脸变化模拟方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410049579.0A CN104851123B (zh) | 2014-02-13 | 2014-02-13 | 一种三维人脸变化模拟方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104851123A CN104851123A (zh) | 2015-08-19 |
CN104851123B true CN104851123B (zh) | 2018-02-06 |
Family
ID=53850750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410049579.0A Expired - Fee Related CN104851123B (zh) | 2014-02-13 | 2014-02-13 | 一种三维人脸变化模拟方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104851123B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426815A (zh) * | 2015-10-29 | 2016-03-23 | 北京汉王智远科技有限公司 | 活体检测方法及装置 |
CN105938627B (zh) * | 2016-04-12 | 2020-03-31 | 湖南拓视觉信息技术有限公司 | 用于人脸虚拟整形的处理方法和*** |
CN106780591B (zh) * | 2016-11-21 | 2019-10-25 | 北京师范大学 | 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法 |
EP3552184A4 (en) * | 2016-12-06 | 2020-06-24 | National University of Singapore | SKULL RECONSTRUCTION PROCESSES |
CN106815568A (zh) * | 2016-12-30 | 2017-06-09 | 易瓦特科技股份公司 | 用于针对目标对象进行识别的方法及*** |
CN107123160A (zh) * | 2017-05-02 | 2017-09-01 | 成都通甲优博科技有限责任公司 | 基于三维立体图像的模拟整容***、方法及移动终端 |
CN107506559B (zh) * | 2017-09-08 | 2021-03-23 | 廖海斌 | 基于人脸相似度分析的明星脸整形化妆推荐方法和装置 |
CN108898627A (zh) * | 2018-03-28 | 2018-11-27 | 研靖信息科技(上海)有限公司 | 一种基于特征点的模型配准方法及设备 |
CN108510583B (zh) * | 2018-04-03 | 2019-10-11 | 北京华捷艾米科技有限公司 | 人脸图像的生成方法和人脸图像的生成装置 |
CN109118455B (zh) * | 2018-09-14 | 2021-12-10 | 北京师范大学 | 一种基于现代人软组织分布的古人类头骨颅面交互复原方法 |
CN109637664A (zh) * | 2018-11-20 | 2019-04-16 | 平安科技(深圳)有限公司 | 一种bmi评测方法、装置及计算机可读存储介质 |
CN109636910B (zh) * | 2018-12-18 | 2020-05-26 | 四川大学 | 一种基于深度生成对抗网络的颅面复原方法 |
CN112419485B (zh) * | 2020-11-25 | 2023-11-24 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
CN112419144B (zh) * | 2020-11-25 | 2024-05-24 | 上海商汤智能科技有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
CN113112617B (zh) * | 2021-04-13 | 2023-04-14 | 四川大学 | 一种三维图像的处理方法、装置,电子设备及存储介质 |
CN113505722B (zh) * | 2021-07-23 | 2024-01-02 | 中山大学 | 一种基于多尺度特征融合的活体检测方法、***及装置 |
CN115239909B (zh) * | 2022-07-07 | 2023-03-14 | 青海师范大学 | 一种基于谱分析的颅面关系研究方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425138A (zh) * | 2008-11-18 | 2009-05-06 | 北京航空航天大学 | 一种基于人脸超分辨率处理的人脸老化模拟方法 |
CN102521875A (zh) * | 2011-11-25 | 2012-06-27 | 北京师范大学 | 一种基于张量空间偏最小二乘回归的颅面重构方法 |
CN102831443A (zh) * | 2012-07-27 | 2012-12-19 | 北京师范大学 | 基于子空间分析的颅骨性别鉴定方法 |
CN103208133A (zh) * | 2013-04-02 | 2013-07-17 | 浙江大学 | 一种图像中人脸胖瘦的调整方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW476919B (en) * | 2000-11-09 | 2002-02-21 | Cyberlink Corp | 2.5 dimensional head image rendering method |
-
2014
- 2014-02-13 CN CN201410049579.0A patent/CN104851123B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425138A (zh) * | 2008-11-18 | 2009-05-06 | 北京航空航天大学 | 一种基于人脸超分辨率处理的人脸老化模拟方法 |
CN102521875A (zh) * | 2011-11-25 | 2012-06-27 | 北京师范大学 | 一种基于张量空间偏最小二乘回归的颅面重构方法 |
CN102831443A (zh) * | 2012-07-27 | 2012-12-19 | 北京师范大学 | 基于子空间分析的颅骨性别鉴定方法 |
CN103208133A (zh) * | 2013-04-02 | 2013-07-17 | 浙江大学 | 一种图像中人脸胖瘦的调整方法 |
Non-Patent Citations (3)
Title |
---|
3D Craniofacial Reconstruction using Reference Skull-Face Database;SHUI Wuyang 等;《Imaging and Vision Computing New Zealand》;20101108;1-7 * |
A novel skull registration based on global and local deformations for craniofacial reconstruction;Qingqiong Deng 等;《Forensic Science International》;20110520;第208卷(第1-3期);95-102 * |
Statistical Modeling of Facial Aging based on 3D Scans;Pascal Paysan;《http://edoc.unibas.ch/1253/》;20101231;1-186 * |
Also Published As
Publication number | Publication date |
---|---|
CN104851123A (zh) | 2015-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104851123B (zh) | 一种三维人脸变化模拟方法 | |
CN110335358B (zh) | 可变形数字人解剖学模型的个性化变形方法 | |
CN105719278B (zh) | 一种基于统计形变模型的医学图像分割方法 | |
Duan et al. | 3D face reconstruction from skull by regression modeling in shape parameter spaces | |
Vezzetti et al. | Geometry-based 3D face morphology analysis: soft-tissue landmark formalization | |
CN110459301A (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
Wismüller et al. | Fully automated biomedical image segmentation by self-organized model adaptation | |
CN102509286A (zh) | 一种医学图像目标区域勾画方法 | |
Zheng et al. | Scaled, patient-specific 3D vertebral model reconstruction based on 2D lateral fluoroscopy | |
Whitmarsh et al. | A statistical model of shape and bone mineral density distribution of the proximal femur for fracture risk assessment | |
CN103679816A (zh) | 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法 | |
CN107220965A (zh) | 一种图像分割方法及*** | |
Wu et al. | Reconstructing 3D lung shape from a single 2D image during the deaeration deformation process using model-based data augmentation | |
CN109146818B (zh) | 一种基于测地线的颅面统计复原方法 | |
CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
Woo et al. | Speech map: A statistical multimodal atlas of 4D tongue motion during speech from tagged and cine MR images | |
CN114270397A (zh) | 使用电特性断层成像确定流体和组织体积估计的***和方法 | |
CN107424162A (zh) | 一种图像分割方法及*** | |
CN102521875A (zh) | 一种基于张量空间偏最小二乘回归的颅面重构方法 | |
Badano et al. | The stochastic digital human is now enrolling for in silico imaging trials—methods and tools for generating digital cohorts | |
Bannister et al. | A deep invertible 3-D facial shape model for interpretable genetic syndrome diagnosis | |
CA2873918C (en) | Method and system for the three-dimensional reconstruction of structures | |
WO2018201437A1 (zh) | 一种图像分割方法及*** | |
Liu et al. | Automated binocular vision measurement of food dimensions and volume for dietary evaluation | |
CN107230211A (zh) | 一种图像分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180206 Termination date: 20210213 |
|
CF01 | Termination of patent right due to non-payment of annual fee |