CN107564097A - 一种基于正面图像的遗容三维重建方法 - Google Patents
一种基于正面图像的遗容三维重建方法 Download PDFInfo
- Publication number
- CN107564097A CN107564097A CN201710793207.2A CN201710793207A CN107564097A CN 107564097 A CN107564097 A CN 107564097A CN 201710793207 A CN201710793207 A CN 201710793207A CN 107564097 A CN107564097 A CN 107564097A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- human face
- model
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
一种基于正面图像的遗容三维重建方法,其特征在于:一种基于统计模型的单张图片三维人脸重建技术。该方法预先基于三维人脸数据库建立三维人脸统计模型,并且基于二维人脸数据库采用SDM算法训练得到二维人脸特征点参数模型。基于单张正面照的进行人脸重建时,首先使用二维图片特征点参数模型提取人脸特征点;然后,根据三维人脸统计模型,使用学习因子自适应梯度下降法对能量函数进行迭代优化,得到统计模型参数化向量,即得到二维人脸图片对应的三维人脸模型。结果表明,利用本发明提出的方法重建出来的人脸具有较高的相似度。
Description
技术领域
本发明基于正面图像的人脸重建技术,采用了基于3D人脸扫描数据库的统计模型和参数优化相结合的方法,全自动生成可直接用于3D打印的三维人脸模型,主要应用于遗体面部修复。
背景技术
遗体整容技术:遗体整容、告别是殡葬过程中体现以人为本的基本观念和表现人类精神文明发展的重要环节,主要由遗体整容师完成。由于人脸的唯一性、独特性,传统遗容修复为手工塑造,要求以雕塑为基础进行上色、化妆,材料主要为橡皮泥、石膏、油泥等,整容效果因防腐整容师的个人技术能力而异。对于头面部变形较为严重或是缺损的遗体,仅能够凭借照片进行重新塑造,宛如雕塑,需要极高的审美和手工能力,即使是有着丰富的经验的防腐整容师,也不一定能够还原逝者原貌,修复失真、耗时极长、无法修复等等都是目前难以克服的问题。此外,防腐整容是殡仪职工与遗体接触最密切、卫生防疫压力最大、技术要求最高的环节。因此,三维人脸模型的全自动生成技术,可大大提高遗体整容师的工作条件和工作效率,降低人工操作难度和安全卫生风险。
基于正面图像的人脸重建技术:基于单张图片的三维重建技术在生活中有着广泛的应用前景,也有很高的技术难度。基于正面图像的三维人脸重建技术主要分为基于机器学习的方法和基于统计模型的方法。Blanz和Vetter的研究小组提出了基于三维可变形模型的重建方法,首先通过统计学习得到一个三维可变形人脸模型,包括三维形状模型(用约70000个顶点表示)和对应的二维纹理模型,然后利用牛顿迭代法使该可变形模型对准特定的人脸图像,进而得到该人脸的三维模型,这种方法能够得到较为精确的三维形状和纹理信息,并已将其成功应用于三维人脸识别。Tran和Hassner等人利用深度神经网络构建出了一个可以从单张图片生成三维人脸的***,这种方法比blanz的方法更加快速和高效,可以很方便的应用于对实时性要求较高的***中,比如视频会议等。
发明内容
本方法的目的是克服现有技术缺陷的一种基于正面图像的遗容三维重建方法。
本发明的目的是这样实现的:针对头面部有严重损伤的遗体,可以将一张面部正面照片全自动生成可直接用于3D打印的三维人脸模型。特点是:拥有自主知识产权,改进了一种基于3D人脸扫描数据库的人脸统计模型生成方法、提出了一种人脸特征自动提取方法;可对生成模型进行后期修改调整;对于不同需求有面具、阳模、阴模等多种导出形式;且***使用简单方便,功能全面灵活。
具体技术路线如下:
(1)通过建立人脸、人头的2D和3D数据库,得到人脸、人头的参数模型和统计模型;
(2)基于人脸的参数模型来识别人脸图像特征点;
(3)基于人脸统计模型来完成基于图像的人脸重建;
(4)基于人头统计模型来完成人头的修复,并利用人头左右对称和人头先验知识,辅之以镜像、局部修饰等修复操作。
附图说明
图1为基于正面图像的遗容三维重建方法整体流程框架图
具体实施方式
1总体设计
本方法基于正面图像的人脸重建技术,采用的基于3D人脸扫描数据库的统计模型和参数优化相结合的方法,图1给出了基于单张图像的3D人脸重建框架,其整体设计如下:
(1)基于3D人脸扫描数据库,生成一组特征对齐的、并且拓扑结构一致的3D人脸网格模型,采用形状统计分析方法,建立3D人脸的统计模型(基于PCA的概率模型来表示人头部形状的统计变化);
(2)对给定的一张人脸正面照片,自动提取一组人脸特征点,用此组特征点对统计模型的形状参数和投影矩阵参数进行优化,得到给定照片的最优3D人脸模型。
2人脸数据库
本项目采用BJUT-3D人脸数据库来建立3D人脸的统计模型。BJUT-3D大型中国人脸数据库中目前包含了500张中国人三维人脸,男女人脸各占一半,其数据是用CyberWare公司3030RGB/PS激光扫描仪获得。扫描时人脸保持中性表情,且不戴眼镜和饰物。扫描光源使用的是扫描仪自带光源,该光源可以模拟环境光的光照环境。
3数据预处理
由于扫描仪在扫描人脸时由于各种原因不能得到完美的三维人脸数据,因此在做成三维数据库之前对获得的数据进行预处理是完全有必要的。其步骤主要包括数据平滑,移除毛刺,填补空洞(缺失的数据)以及校正坐标(都统一到人体头部解剖学坐标系下)和三维裁剪等,最后得到坐标对齐的规范化的3D人脸模型。
4特征对齐的同构网格生成
形状的统计分析要求3D数据库中的所有人脸3D数据库中的所有人脸都能用一个形状向量和一个纹理向量来表示。这需要对3D人脸进行特征标注(识别),进行特征对齐并生成同质的人脸三角网格。特征对齐的同构网格模型是指一组网格拓扑结构一致、特征点对齐的三角网格模型。
每个人脸生成特征对齐的同质三角网格后,每个人脸都能用一个形状向量和一个纹理向量来表示分别如下:
Si=(x1,y1,z1,x2,...,xn,yn,zn)T
Ti=(R1,G1,B1,R2,...,Rn,Gn,Bn)T
其中1≤i≤m,m为人脸数,n为每个三维人脸的点数。形状向量Si中的元素人脸上各点的坐标值x,y,z,而纹理向量Ti为各点的RGB颜色值。
5人脸统计模型建立
在所有m训练样本(人脸)都确立生成了特征对齐的同构网格模型后,就可以建立人脸统计模型。根据m各人脸模型的形状向量和纹理向量,利用主成分分析法(principlecomponent analysis,PCA)可提取出形状特征向量和纹理特征向量。
BJUT-3D人脸数据库使用了200个人脸(100个男性和100个女性)作为样本(即m=200)。使用PCA分析得到的统计模型包括了平均形状向量和平均纹理向量,以及它们对应的特征向量。
PCA分别应用到由m个样本人脸组成的一系列的形状向量Si和纹理向量Ti中去,i=1,...,m。对于形状,定义一个数据矩阵L=(l1,l2,...,lm):
其中S为形状向量的平均值,C为其协方差矩阵:
根据协方差矩阵C一系列的形状特征向量s1,s2,...,同理可以得到一系列的纹理特征向量t1,t2,...,特征向量组成一组正交基,即:
改变形状和纹理系数αi和βi,就能得到不同的三维人脸,这些人脸有可能是原数据库中不存在的。6人脸特征参数模型建立和人脸特征检测
本技术使用SDM算法实现人脸特征点检测,该过程分为训练和检测两步:
(1)SDM模型训练
SDM需要从训练集中得到Rk和bk。训练时,人脸图片集为{Ii},每张图片手工标定的特征点为每张图片的初始特征点为X0,这样人脸特征点定位就变成了一个线性回归问题,回归问题的目标是从X0到迭代的步长,这个回归问题的输入特征就是在X0处的SIFT特征φ0。这样,套用线性回归问题就可以得到目标函数:
这样就从训练集中得到了R0和b0。这里是得到了第一次迭代的系数R0和b0,相同的方法可以得到第k次迭代的系数Rk和bk
这样,就可以从训练集中得到每次迭代的参数Rk和bk。
(2)SDM人脸检测
表示图片中的p个特征点坐标,h是每个特征点处的非线性特征提取函数,本文使用的特征是SIFT特征,也就是每个特征点要提取128维的SIFT特征,所以h(d〔x〕)∈128*1。由人工标定的最优解为在处提取的SIFT特征可以记为由此,人脸特征点检测可以看做,求使得下列函数最小的Δx:
这里需要做的是,得到一系列的方向和步长Δx,将特征点从初值X0收敛到最优解这里通过使用SDM算法不断迭代公式Xk=Xk-1+Rk-1φk-1+bk-1并最终得到最优解,公式中的Rk和bk就是上一步训练得到的。
7生成人脸
经过上面的特征点标定后,便可以开始通过这组特征点的约束来调整人脸统计模型参数化向量,并生成真实的三维人脸模型。设上面得到的三维统计模型为Smm,r个特征点集为{Pj},为了得到尽量符合图片中人脸的三维模型,只需要让统计模型中的对应点经过参数为的相机投影变换后落在二维平面上的点尽量符合特征点集{Pj}即可。下面将讨论如何调整优化统计模型的参数化向量以达到该目的。
为了得到三维统计模型顶点在二维平面上的位置,需要相机参数和模型参数化向量这两个参数的初始值由操作员估计并手动输入,于是二维图像可表示为
为了衡量经过向量参数化后的统计模型与实际图片对应真实人脸的差距,定义一个衡量该差距的偏差函数E=||Iinput-Imod||2,该公式表示以输入图像特征点集和渲染图像特征点集的欧式距离平方和来衡量生成的人脸模型与真实人脸模型的差距,偏差越小,效果越好。为了求取偏差函数极小值采用梯度下降法调整参数化向量这里假设相机参数是被正确估计了的,所以保持不变。
以上优化过程中的λ是逼近因子,它反映了优化过程的逼近速率,值越大,速率越大,一般由经验得出。但是如果该值太小会导致优化过程漫长,还容易陷入局部极值。如果该值选择较大则无法得到更精确的模型,还可能导致偏差函数不收敛。为了避免以上情况出现,需要动态调整逼近因子。这里使用以下策略:
(1)初始时刻由经验得出一个较大的逼近因子λinit;
(2)如果在迭代的过程中梯度方向发生变化就缩小λ‘=kλ,其中k是每次缩小的比例,一般取0.7~0.8即可。
Claims (4)
1.一种基于正面图像的遗容三维重建方法,其特征在于:该方法预先基于三维人脸数据库建立三维人脸统计模型,并且基于二维人脸数据库采用SDM算法训练得到二维人脸特征点参数模型;基于单张正面照进行人脸重建时,首先使用二维图片特征点参数模型提取人脸特征点;然后,根据三维人脸统计模型,使用学习因子自适应梯度下降法对能量函数进行迭代优化,得到统计模型参数化向量,根据参数化向量进行人脸合成,即得到二维人脸图片对应的三维人脸模型。
2.根据权利要求1所述的基于正面图像的遗容三维重建方法,其特征在于:使用人脸的正面照片,识别并标定人脸照片上的特征点,基于这组特征点匹配三维人脸模型空间的最优解,并最终生成三维人脸模型。
3.根据权利要求1所述的基于正面图像的遗容三维重建方法,其特征在于:所述的使用二维图片特征点参数模型提取人脸特征点是使用SDM算法快速准确检测并识别人脸照片上的特征点。
4.根据权利要求1所述的基于正面图像的遗容三维重建方法,其特征在于:所述的使用学习因子自适应梯度下降法对能量函数进行迭代优化,得到统计模型参数化向量是指在迭代优化能量函数的过程中所使用的梯度下降法是经过改良的,学习因子自适应的优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710793207.2A CN107564097B (zh) | 2017-09-05 | 2017-09-05 | 一种基于正面图像的遗容三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710793207.2A CN107564097B (zh) | 2017-09-05 | 2017-09-05 | 一种基于正面图像的遗容三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107564097A true CN107564097A (zh) | 2018-01-09 |
CN107564097B CN107564097B (zh) | 2021-02-05 |
Family
ID=60979174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710793207.2A Active CN107564097B (zh) | 2017-09-05 | 2017-09-05 | 一种基于正面图像的遗容三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107564097B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346175A (zh) * | 2018-02-06 | 2018-07-31 | 腾讯科技(深圳)有限公司 | 一种人脸图像修复方法、装置及存储介质 |
CN110021058A (zh) * | 2019-03-21 | 2019-07-16 | 深圳点猫科技有限公司 | 一种便于少儿操作的三维体素建模方法及*** |
CN110774583A (zh) * | 2019-10-25 | 2020-02-11 | 上海轩林信息技术有限公司 | 用于彩色3d打印辅助遗体面部整形的建模方法及其应用 |
CN111091624A (zh) * | 2019-12-19 | 2020-05-01 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794439A (zh) * | 2015-04-10 | 2015-07-22 | 上海交通大学 | 基于多相机的准正面人脸图像实时优选方法及*** |
CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
CN106447763A (zh) * | 2016-07-27 | 2017-02-22 | 扬州大学 | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 |
-
2017
- 2017-09-05 CN CN201710793207.2A patent/CN107564097B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
CN104794439A (zh) * | 2015-04-10 | 2015-07-22 | 上海交通大学 | 基于多相机的准正面人脸图像实时优选方法及*** |
CN106447763A (zh) * | 2016-07-27 | 2017-02-22 | 扬州大学 | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 |
Non-Patent Citations (3)
Title |
---|
VOLKER BLANZ等: "《A Morphable Model For The Synthesis Of 3D Faces》", 《26TH INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES》 * |
XUEHAN XIONG等: "《Supervised Descent Method and its Applications to Face Alignment》", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 * |
邓秋平: "《基于单幅照片与统计模型的三维人脸重建》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346175A (zh) * | 2018-02-06 | 2018-07-31 | 腾讯科技(深圳)有限公司 | 一种人脸图像修复方法、装置及存储介质 |
CN108346175B (zh) * | 2018-02-06 | 2023-10-20 | 腾讯科技(深圳)有限公司 | 一种人脸图像修复方法、装置及存储介质 |
CN110021058A (zh) * | 2019-03-21 | 2019-07-16 | 深圳点猫科技有限公司 | 一种便于少儿操作的三维体素建模方法及*** |
CN110021058B (zh) * | 2019-03-21 | 2023-09-26 | 深圳点猫科技有限公司 | 一种便于少儿操作的三维体素建模方法及*** |
CN110774583A (zh) * | 2019-10-25 | 2020-02-11 | 上海轩林信息技术有限公司 | 用于彩色3d打印辅助遗体面部整形的建模方法及其应用 |
CN111091624A (zh) * | 2019-12-19 | 2020-05-01 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
CN111091624B (zh) * | 2019-12-19 | 2021-09-28 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107564097B (zh) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101404091B (zh) | 基于两步形状建模的三维人脸重建方法和*** | |
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
WO2015188684A1 (zh) | 三维模型重建方法与*** | |
WO2022001236A1 (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
CN107564097A (zh) | 一种基于正面图像的遗容三维重建方法 | |
CN108121950B (zh) | 一种基于3d模型的大姿态人脸对齐方法和*** | |
CN106652015B (zh) | 一种虚拟人物头像生成方法及装置 | |
CN108154104A (zh) | 一种基于深度图像超像素联合特征的人体姿态估计方法 | |
KR20150113751A (ko) | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 | |
CN112734890B (zh) | 基于三维重建的人脸替换方法及装置 | |
KR20050059247A (ko) | 3차원 안면 인식 | |
KR20090092473A (ko) | 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법 | |
CN110349247A (zh) | 一种基于语义理解的室内场景cad三维重建方法 | |
CN107521090A (zh) | 一种基于3d打印技术精准修复遗体面部残缺的方法 | |
CN106652037B (zh) | 一种人脸贴图处理方法及装置 | |
US20210375045A1 (en) | System and method for reconstructing a 3d human body under clothing | |
CN106127818A (zh) | 一种基于单幅图像的材质外观获取***及方法 | |
CN111127642A (zh) | 一种人脸三维重建方法 | |
CN109118455B (zh) | 一种基于现代人软组织分布的古人类头骨颅面交互复原方法 | |
Zhang et al. | Data-driven flower petal modeling with botany priors | |
KR101116838B1 (ko) | 개인성향을 반영한 과장표정 생성방법 | |
Ye et al. | 3d morphable face model for face animation | |
Tena et al. | Fabricating 3D figurines with personalized faces | |
CN116740281A (zh) | 三维头部模型的生成方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |