CN103035022B - 基于特征点的人脸表情合成方法 - Google Patents
基于特征点的人脸表情合成方法 Download PDFInfo
- Publication number
- CN103035022B CN103035022B CN201210529350.8A CN201210529350A CN103035022B CN 103035022 B CN103035022 B CN 103035022B CN 201210529350 A CN201210529350 A CN 201210529350A CN 103035022 B CN103035022 B CN 103035022B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mfrac
- theta
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 27
- 238000010189 synthetic method Methods 0.000 title 1
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 238000006073 displacement reaction Methods 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 39
- 230000014509 gene expression Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001308 synthesis method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 abstract 2
- 101150064138 MAP1 gene Proteins 0.000 abstract 1
- 230000007704 transition Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000002197 Ehlers-Danlos syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于混合变形策略的人脸表情合成算法。通过建立一个基于测地距的径向基函数人脸表情的重定向模型,实现了从运动捕捉数据空间到目标人脸模型运动空间的转换。在人脸表情动画阶段,利用了空间转换的结果,使用基于邻近特征点加权的局部变形方法求出顶点的局部运动,同时使用基于径向基函数插值的全局变形方法求出了顶点的全局位移,最后将局部位移和全局位移进行融合便得到了顶点的最终位移。本发明可将同一个捕捉序列应用到不同的人脸模型,模型转换比较容易,同时针对不同的捕捉序列也可用于同一个目标模型,实现了运动捕捉数据的重用,同时也具有较强的动画真实感。附图1所示为本发明的算法流程图。
Description
技术领域
本发明涉及一种基于特征点的人脸表情合成方法,属于图像处理技术领域。
背景技术
传统的人机交互方式是基于鼠标和键盘,随着计算机图形学及计算机硬件技术的发展,真实感人脸动画技术为人机交互提供了更为方便的接口。在娱乐领域中,真实感的虚拟人已经越来越多地被应用到各种影视作品中。在教育领域,由于虚拟人脸可以产生各种逼真的人脸表情,更容易集中学生的注意力。虚拟人脸同样可以在客户关系管理中发挥作用。此外,人脸动画技术还可以应用到医疗、新闻广播、广告以及心理学等领域。在计算机动画研究领域中,人脸表情动画一直是一个极具挑战性的问题,越来越多的学者和研究人员也不断的提出各种人脸建模方案和表情动画方法。因此,人脸动画技术的提高,对于推动计算机动画领域的发展及其相关应用领域的技术革新具有重要意义。
1972年,Parke提出了一个人脸动画的解决方案,此后出现了各种人脸动画技术。形状融合方法是一种常见的人脸表情动画技术,它通过对精心挑选的人脸形状进行插值获得各种面部表情。一些商业上使用的三维动画软件也为形状融合动画方法提供了特定的工具箱。形状融合方法有两个关键点,一个是融合形状的构建,另一个是相应权重的计算,后者对于最终的动画效果有着直接的影响。融合形状的构建主要是从一系列的表情形状中挑选一些关键表情,需要解决两个方面的工作,一个是关键表情的选取问题,挑选的关键表情必须能够覆盖整个表情空间,另一个问题是选取方式,也就是在选取这些关键表情时尽可能的自动化,而不需要过多的手工干预。然而,当前很多的动画解决方案中,关键表情的选取依然费时、费力,甚至对于专业的动画人员也需要花费时间去熟悉不同***的操作。对于融合权重的计算,一些处理办法是将原模型的融合权重直接应用到了目标模型。这样,势必要求原始模型和目标模型的形态之间不能有太大的差异,否则目标模型产生的表情可能会失真。形状融合方法的最主要问题在于用线性融合形状方法合成高度非线性的人脸表情。
此外,几何变形方法在人脸表情动画中使用的也比较多,根据所建立的模型差异,主要有两类方法。一类是基于人脸物理结构的方法,是通过预先设计的面部肌肉或者皮肤组织模仿人脸产生表情时相应组织的动作。其中,模拟肌肉运动的方法关键在于肌肉参数的求解。然而由于人脸的生理结构极其复杂,精确的肌肉参数求解并不是一件容易的事情。也有研究人员建立了弹性人脸皮肤模型,通过皮肤点的受力分析研究其位移的变化,但是也存在弹性皮肤参数的求解难度。另一类是基于特征点的方法,是根据人脸网格中特征点和周围顶点的关系,通过特征点的运动估计所有顶点的运动情况。线性壳模型是一种常见的基于特征点的动画方法,它是通过偏微分方程的离散化求解顶点的位移。但是,由于线性壳模型的计算量较大,在实时动画的效率方面并不占优势。
在形状融合插值方法中,为了得到关键形状,常用主成分分析法将人脸分割成不同的区域。然而,这种区域分割的方法在人脸动画中会破坏不同区域之间运动的关联性。因此,本发明提出了一种混合人脸变形方法,可以自适应地将人脸划分成不同的区域,根据不同的捕捉序列,人脸区域的划分也会有差异。首先,通过一个邻近加权策略对整个面部进行区域划分,并且求解人脸模型上顶点的局部变形。假定人脸网格上顶点的局部运动情况主要受到其邻近特征点运动的影响,这样,只要获得了每个邻近特征点对顶点运动的影响权重,顶点的运动情况即可求出。在求解特征点对顶点的影响权重时,需要计算顶点和特征点之间的距离信息。由于人脸是一个具有开放区域的曲面结构,很多涉及求解人脸面部上两点间距离的问题都近似成求解连接两个顶点的边的长度,这种近似方法没有充分考虑人脸网格的特殊结构。本发明采用精确的测地距求解人脸面部上两个顶点之间的距离。而且,求解特征点权重时,使用了更加符合肌肉运动机理的余弦函数。然后,为了使动画过程中人脸网格更加光顺,使用基于径向基函数的插值方法来实现全局变形。最终的表情动画是通过将全局变形和局部变形融合在一起得到的。
发明内容
本发明针对以上问题的提出,而研制基于混合变形策略的人脸动画合成方法,该方法通过基于邻近特征点加权的局部变形方法,解决人脸动画过程中的区域分割问题,通过全局变形策略解决人脸网格的光顺问题,从而有效避免了动画过程中的失真情况,并且该方法相对简单,计算量较小,可以有效地保证动画的效率。
本发明采取的技术方案是:本发明包括如下几步骤,
第一步:表情空间的转换。
第二步:基于邻近特征点加权的局部变形策略,其有以下几个步骤。
步骤1:确定顶点的邻近区域。
步骤2:基于邻近特征点的加权方法。
步骤3:局部变形的计算。
第三步:基于径向基函数的全局变形策略。
第四步:局部变形与全局变形的混合。
第五步:重复第二步到第四步,即可求出所有帧中目标人脸模型上每个顶点的位置,实时更新每个顶点的空间坐标位置,这样就可产生人脸表情动画。
本发明原理:对于人脸表情空间转换过程,使用基于测地距的RBFs方法,建立首帧运动捕捉数据标记点和目标人脸模型标记点之间的运动关联,并将这种运动关联运用到其他帧的捕捉数据,从而得到目标人脸模型所有帧的标记点运动情况。对于人脸表情合成过程,使用一个混合人脸变形策略,根据邻近特征点加权求出顶点的局部位移,使用径向基函数插值求出顶点的全局位移,将全局位移和局部位移进行融合即形成顶点的位移,实时更新每一帧中顶点的位置可实现对整个人脸网格的变形。
本发明与现有技术相比具有以下优点:
1.基于邻近特征点加权的方法求解顶点的局部位移,使用测地距充分考虑了人脸的生理结构,求解人脸网格上两个顶点之间的距离更加精确。使用余弦函数计算特征点权重的方式,更加符合人脸表情运动的机理。
2.采用将局部变形和全局变形结合起来的混合变形策略,既充分利用了局部特征点蕴藏的丰富运动信息,考虑到了人脸表情运动的区域性问题,又从全局角度对网格进行平滑,防止不同运动区域之间的出现运动不连续的情况。
由于采用了上述技术方案,本发明提供的基于混合变形策略的人脸表情动画方法,通过同时考虑局部变形和全局变形,可快速的生成真实感的人脸表情动画,计算量相对较小,可满足实时动画的需求,利用运动捕捉数据也节约了动画制作的成本。
附图说明
图1本发明算法流程图。
图2标记点的设定方式示意图。
图3基于邻近特征点的加权方法示意图。
图4本发明实现结果示意图。
具体实施方式
图1所示为本发明的算法流程图,其具体包括以下步骤:
第一步:表情空间的转换
建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系,映射关系可以表示如下:
所述是首帧运动捕捉序列中的标记点的空间坐标(xi,yi,zi);所述xi,yi和zi的单位均为毫米;是首帧序列中第i个标记点和第j个标记点之间的测地距,所述测地距单位是毫米;wj是待求的权值系数;n是标记点的个数,所述n是一个整数,根据初始设置的标记点个数其值为60;是目标人脸模型上第i个标记点的空间坐标(xi,yi,zi);所述xi,yi和zi的单位均为毫米,1≤i,j≤n;是一个多项式,其是一个仿射变换,在求解公式组成的线性***时,同时计算该多项式项:
若将上述线性***写成如下矩阵形式:
M=Φ·W,
所述
所述M∈Rn+3,3是目标人脸模型上标记点的空间位置矩阵,Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵,所述权值矩阵W通过公式下式求出,
W=Φ-1M,
对于第k帧捕捉序列,将公式M=Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度,即帧长度;从而可以求得当前帧目标人脸模型上标记点的位置矩阵M。
第二步:基于邻近特征点加权的局部变形策略,其有以下几个步骤:
步骤1:确定顶点的邻近区域:
首先,导入运动捕捉数据,对首帧数据中特征点进行三角剖分,生成人脸面部网格。在人脸网格中,去除嘴部区域和眼部区域的伪关联,对修正后的人脸网格进行保存,便得到每个特征点的邻近特征点集合。
其次,在目标人脸模型上计算每个顶点到所有特征点的测地距离。对于每个顶点来说,在所有的测地距中找到最小的距离值,并且将该特征点作为影响该顶点运动的主要特征点,该特征点的邻近特征点集合就作为这个顶点的邻近特征点区域。
步骤2:基于邻近特征点的加权方法:
P是人脸网格上的一点,F1、F2和F3均为特征点。根据第二步的步骤1得到影响顶点P的主要特征点是F1,F2和F3是F1的邻近特征点集合中的两个特征点。
首先,线段F1P连接特征点F1与顶点P,依次连接F1的每个邻近特征点Fi(i是特征点的邻近特征点的个数与1的差值)和主要特征点F1形成线段F1Fi,计算F1P和每个F1Fi之间的角度值θi。在所有的角度值θi中,选择两个最小的角度θα和θβ,当θα和θβ同时满足且然后,按照如下公式计算加权距离:
其中,dαβ是特征点Fα和特征点Fβ之间的测地距,单位毫米;θα是F1P和F1Fα之间的夹角,θβ是F1P和F1Fβ之间的夹角;
最后,特征点F1的权重计算:
特征点F1的邻近特征点权重计算:
其中,dip是顶点P与特征点Fi之间的测地距,单位是毫米,d是前述计算的加权距离,单位是毫米。
如附图3中所示,图3中P是人脸模型上的一个顶点,特征点F1、F2和F3是影响P的特征点。这两个最小的角度是θ2(θ2是F1P和F1F2之间的夹角)和θ3(θ3是F1P和F1F3之间的夹角),且满足下面的条件:
如果仅有一个角度满足上述条件,那么只选取这一个角度值。
然后,按照如下公式计算加权距离:
其中,dij是特征点Fi和特征点Fj之间的测地距,单位毫米,θi是F1P和F1Fi之间的夹角,即满足上述要求的最小角度。
最后,特征点F1的权重计算:
特征点F1的邻近特征点权重计算:
其中,dip是顶点P与特征点Fi之间的测地距,单位是毫米,d是前述计算的加权距离,单位也是毫米。
步骤3:局部变形的计算。针对于一个运动序列中的每一帧,顶点P的局部位移sp_local可以按照如下公式计算:
其中,si是当前帧中,顶点P的邻近特征点Fi的位移(xi,yi,zi),所述xi,yi和zi的单位均为毫米,wip是步骤2中计算出来的顶点P的邻近特征点Fi的权重,dip是当前帧中顶点P与特征点Fi之间的欧式距,单位毫米。
第三步:基于径向基函数的全局变形策略,包括以下几个步骤:
步骤1:针对每一帧的运动数据,在目标人脸模型特征点和当前帧特征点的位移之间构建一个径向基函数训练模型,求解出每一帧的径向基权值矩阵W=Φ-1M,Φ是标记点之间的径向基函数 组成的矩阵,M为每一帧目标人脸模型上特征点的位移矩阵,这里的位移是第一步求解出的当前帧特征点的空间位置与目标人脸模型特征点的空间位置的差值;
步骤2:利用下面的公式建立一个变形模型
所述是第k帧运动序列中第i个顶点Pi的位移,该位移用一个三维坐标表示,其中 和的单位都是毫米,是目标人脸模型特征点和顶点之间的径向函数信息,是根据第三步中步骤1求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数;
第四步:局部变形与全局变形的混合:
sp=αsp_local+(1-α)sp_gobal,
对于一个运动捕捉序列中其中一帧,目标人脸模型上的顶点P的位移sp由第二步求出的局部位移sp_local和第三步求出的全局位移sp_global组成,α是融合系数,0<α<1,所有位移都用三维坐标表示,其中 和的单位都是毫米。
第五步:重复第二步到第四步,即可求出所有帧中目标人脸模型上每个顶点的位置,实时更新每个顶点的空间坐标位置,这样就可产生人脸表情动画。
本发明的实施例是在以本发明技术方案为前提下进行实施的,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述实施例。实例选取一个表情序列进行验证,人脸标记点的设定方式如图2所示,图2中圆点即位初始设置的60个标记点,采样频率60fps。
具体实施步骤为:
步骤1:采集原始数据并对数据进行简单的去噪处理。数据存储格式如下:
FRAME1
MARKER1 -116.271363 -114.849685 162.238128
MARKER1 -109.013663 -94.769323 93.733788
MARKER2 -110.722049 -72.050351 87.020620
MARKER3 -129.460634 -133.891047 81.189525……
FRAME2…………
其中FRAMEn表示为第n帧数据MARKERm表示第m个特征标记点,随后的三个数分别表示其x,y,z坐标,单位毫米。
步骤2:载入目标人脸模型。该模型是利用两张人脸照片从FaceGen软件中导出的一个中性表情的人脸模型,经过适当剪裁,保留面部主要区域。裁剪后的3D模型保存为*.head格式的文件,文件格式为:
mtllib ll.mtl
o ll
g eyeL_hi
s 1
v 30.190384 50.882282 37.276485
v 32.686779 46.679939 33.907310
v 33.702854 46.260872 31.455612
v 33.856911 47.092724 30.076042……
vt 0.294320 0.382841
vt 0.140006 0.281843
vt 0.121641 0.190688……
usemtl Texture0
f 47 44 45
f 47 45 1
f 52 48 49……
g eyeR_hi
s 2……
其中,“o”代表该文件内所有的几何对象的名称,“g”是各个具体对象的名称,“s”是具体对象的索引,“v”代表顶点的三维坐标,“vt”是纹理坐标,“usemtlTexture0”代表所使用的纹理图片的名称,“f”是面片的顶点索引。
步骤3:载入一个运动捕捉序列。
步骤4:对首帧运动捕捉序列进行三角剖分,并去除伪关联。对去除伪关联后的人脸拓扑结构文件进行保存,方便以后的调用,该文件的格式是*.drlt。
DataRelation
0 1 3 4 8end
1 0 2 4 5end
2 1 5 6 11end……
End
Faces
59 36 52
59 52 58
58 52 57……
End
该文件主要有两部分,前一部分是每个标记点的一阶相邻标记点索引,每一行的第一个数字是标记点索引,后面为该标记点的一阶相邻标记点。后一部分是Faces,每一行表示一个三角面片的标记点索引。
步骤5:载入目标人脸模型的标记点配置文件。目标人脸模型上的标记点配置方式是参照原始人脸模型上标记点的配置方式设置的,可以通过交互方法进行修改和保存,文件存储的格式是*.map格式:
MK0 56.623833 -24.880999 77.266708
MK1 33.429722 6.810266 86.113258
MK2 7.501893 29.730408 83.989113……
其中,“MKn”表示第n个标记点,随后的三个数分别表示其x,y,z坐标,单位毫米。
图2给出了标记点的配置方式示意图。
步骤6:载入人脸拓扑结构文件。
步骤7:从原始运动捕捉空间到目标模型运动空间的转换,具体的转换算法在本发明专利的技术环节第一步中已经给出。
步骤8:对每一帧捕捉数据,调用基于局部变形和全局变形的混合表情合成算法实现人脸表情动画,该算法在本发明专利的技术环节第二步至第四步已经详细叙述过了。
附图4给出了使用本文所提出的算法针对一个运动捕捉序列驱动一个个性目标人脸模型产生的表情动画结果。利用基于局部变形和全局变形的混合人脸表情合成方法,可以将同一个捕捉序列应用到不同的目标模型产生真实、自然的人脸表情变化。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种基于特征点的人脸表情合成方法,其特征在于:包括如下步骤:
第一步:表情空间的转换
建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系,映射关系表示如下:
所述是首帧运动捕捉序列中的标记点的空间坐标(xi,yi,zi);所述xi,yi和zi的单位均为毫米;是首帧序列中第i个标记点和第j个标记点之间的测地距,所述测地距单位是毫米;wj是待求的权值系数;n是标记点的个数,所述n是一个整数,根据初始设置的标记点个数其值为60;是目标人脸模型上第i个标记点的空间坐标(xi,yi,zi);所述xi,yi和zi的单位均为毫米,1≤i,j≤n;是一个多项式,其是一个仿射变换,在求解公式组成的线性***时,同时计算该多项式项:
其中,是运动捕捉数据序列首帧中的第i个特征点,则为第n个特征点,i和n的取值范围均为正整数,取值范围均为1≤i,n≤60;将上述线性***写成如下矩阵形式:
M=Φ·W,
所述
所述M∈Rn+3,3是目标人脸模型上标记点的空间位置矩阵,Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵,所述权值矩阵W通过公式下式求出,
W=Φ-1M,
对于第k帧捕捉序列,将公式M=Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度;从而可以求得当前帧目标人脸模型上标记点的位置矩阵M;
第二步:基于邻近特征点加权的局部变形策略,其有以下几个步骤:
步骤1:确定顶点的邻近区域:
首先,导入运动捕捉数据,对首帧数据中特征点进行三角剖分,生成人脸面部网格,在人脸网格中,去除嘴部区域和眼部区域的伪关联,对修正后的人脸网格进行保存,便得到每个特征点的邻近特征点集合;
其次,在目标人脸模型上计算每个顶点到所有特征点的测地距离,对于每个顶点来说,在所有的测地距中找到最小的距离值,并且将该特征点作为影响该顶点运动的特征点,该特征点的邻近特征点集合就作为这个顶点的邻近特征点区域;
步骤2:基于邻近特征点的加权方法;
步骤3:局部变形的计算,针对于一个运动序列中的每一帧,顶点P的局部位移sp_local按照如下公式计算:
其中,si是当前帧中,顶点P的邻近特征点Fi的位移(xi,yi,zi),所述xi,yi和zi的单位均为毫米,wip是步骤2中计算出来的顶点P的邻近特征点Fi的权重,dip是当前帧中顶点P与特征点Fi之间的欧式距,单位毫米;
第三步:基于径向基函数的全局变形策略,包括以下几个步骤:
步骤1:针对每一帧的运动数据,在目标人脸模型特征点和当前帧特征点的位移之间构建一个径向基函数训练模型,求解出每一帧的径向基权值矩阵W=Φ-1M,Φ是标记点之间的径向基函数 组成的矩阵,M为每一帧目标人脸模型上特征点的位移矩阵,这里的位移是第一步求解出的当前帧特征点的空间位置与目标人脸模型特征点的空间位置的差值;
步骤2:利用下面的公式建立一个变形模型
所述是第k帧运动序列中第i个顶点Pi的位移,该位移用一个三维坐标表示,其中和的单位都是毫米,是目标人脸模型特征点和顶点之间的径向函数信息,是根据第三步中步骤1求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数;
第四步:局部变形与全局变形的混合:
sp=αsp_local+(1-α)sp_global,
对于一个运动捕捉序列中其中一帧,目标人脸模型上的顶点P的位移sp由第二步求出的局部位移sp_local和第三步求出的全局位移sp_global组成,α是融合系数,0<α<1,所有位移都用三维坐标表示,其中和的单位都是毫米;
第五步:重复第二步到第四步,即可求出所有帧中目标人脸模型上每个顶点的位置,实时更新每个顶点的空间坐标位置,这样就可产生人脸表情动画;
第二步中的步骤2中所述的基于邻近特征点的加权方法,实现其方法的步骤为:
P是人脸网格上的一点,F1、F2和F3均为特征点,根据第二步的步骤1得到影响顶点P的特征点是F1,F2和F3是F1的邻近特征点集合中的两个特征点;
首先,线段F1P连接特征点F1与顶点P,依次连接F1的每个邻近特征点Fi和特征点F1形成线段F1Fi,i是特征点的邻近特征点的个数与1的差值,计算F1P和每个F1Fi之间的角度值θi,在所有的角度值θi中选择两个最小的角度θα和θβ,当θα和θβ同时满足且然后,按照如下公式计算加权距离:
其中,dαβ是特征点Fα和特征点Fβ之间的测地距,单位毫米;θα是F1P和F1Fα之间的夹角,θβ是F1P和F1Fβ之间的夹角;
最后,特征点F1的权重计算:
特征点F1的邻近特征点权重计算:
其中,dip是顶点P与特征点Fi之间的测地距,单位是毫米,d是前述计算的加权距离,单位是毫米。
2.根据权利要求1所述的一种基于特征点的人脸表情合成方法,其特征在于:第二步中的步骤2中所述的基于邻近特征点的加权方法,实现其方法的步骤为:P是人脸网格上的一点,F1、F2和F3均为特征点,根据第二步的步骤1得到影响顶点P的特征点是F1,F2和F3是F1的邻近特征点集合中的两个特征点;
首先,线段F1P连接特征点F1与顶点P,依次连接F1的每个邻近特征点Fi和特征点F1形成线段F1Fi,i是特征点的邻近特征点的个数与1的差值,计算F1P和每个F1Fi之间的角度值θi,在所有的角度值θi中选择两个最小的角度θα和θβ,当θα和θβ仅有一个小于时,那么只选取满足小于的θα或θβ;然后,按照如下公式计算加权距离:
其中,dαβ是特征点Fα和特征点Fβ之间的测地距,单位毫米,θα是F1P和F1Fα之间的夹角;
最后,特征点F1的权重计算:
特征点F1的邻近特征点权重计算:
其中,dip是顶点P与特征点Fi之间的测地距,单位是毫米,d是前述计算的加权距离,单位是毫米。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210529350.8A CN103035022B (zh) | 2012-12-07 | 2012-12-07 | 基于特征点的人脸表情合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210529350.8A CN103035022B (zh) | 2012-12-07 | 2012-12-07 | 基于特征点的人脸表情合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103035022A CN103035022A (zh) | 2013-04-10 |
CN103035022B true CN103035022B (zh) | 2015-04-01 |
Family
ID=48021887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210529350.8A Active CN103035022B (zh) | 2012-12-07 | 2012-12-07 | 基于特征点的人脸表情合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103035022B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105335991A (zh) * | 2014-06-27 | 2016-02-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104767980B (zh) * | 2015-04-30 | 2018-05-04 | 深圳市东方拓宇科技有限公司 | 一种实时情绪演示方法、***、装置和智能终端 |
CN106056650A (zh) * | 2016-05-12 | 2016-10-26 | 西安电子科技大学 | 基于快速表情信息提取和泊松融合的人脸表情合成方法 |
CN106204750B (zh) * | 2016-07-11 | 2020-06-30 | 厦门黑镜科技有限公司 | 一种基于3d源模型编辑3d目标模型的方法及装置 |
CN107103646B (zh) * | 2017-04-24 | 2020-10-23 | 厦门黑镜科技有限公司 | 一种表情合成方法及装置 |
CN107194980A (zh) * | 2017-05-18 | 2017-09-22 | 成都通甲优博科技有限责任公司 | 人脸模型构建方法、装置及电子设备 |
CN107330904B (zh) * | 2017-06-30 | 2020-12-18 | 北京乐蜜科技有限责任公司 | 图像处理方法、装置、电子设备及存储介质 |
CN107369174B (zh) * | 2017-07-26 | 2020-01-17 | 厦门美图之家科技有限公司 | 一种人脸图像的处理方法及计算设备 |
CN109952594B (zh) * | 2017-10-18 | 2022-01-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
CN108875335B (zh) | 2017-10-23 | 2020-10-09 | 北京旷视科技有限公司 | 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质 |
CN108198234B (zh) * | 2018-01-12 | 2021-06-25 | 北京蜜枝科技有限公司 | 可实时互动的虚拟角色生成***及方法 |
CN109118579A (zh) * | 2018-08-03 | 2019-01-01 | 北京微播视界科技有限公司 | 动态生成人脸三维模型的方法、装置、电子设备 |
CN113724363A (zh) * | 2021-09-10 | 2021-11-30 | 北京爱奇艺科技有限公司 | 数据的迁移方法及装置、电子设备、可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216949A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种基于区域分割和分段学习的三维人脸动画制作的方法 |
CN101826217A (zh) * | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
-
2012
- 2012-12-07 CN CN201210529350.8A patent/CN103035022B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216949A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种基于区域分割和分段学习的三维人脸动画制作的方法 |
CN101826217A (zh) * | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103035022A (zh) | 2013-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103035022B (zh) | 基于特征点的人脸表情合成方法 | |
CN100562895C (zh) | 一种基于区域分割和分段学习的三维人脸动画制作的方法 | |
CN101303772A (zh) | 一种基于单幅图像的非线性三维人脸建模方法 | |
CN104732203B (zh) | 一种基于视频信息的情绪识别与跟踪方法 | |
CN102831638B (zh) | 一种采用手绘草图的三维人体多姿态建模方法 | |
CN102509338B (zh) | 一种基于轮廓骨架图的视频场景行为生成方法 | |
CN109064549B (zh) | 标志点检测模型生成方法及标志点检测方法 | |
CN106023288A (zh) | 一种基于图像的动态替身构造方法 | |
CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
CN104008564A (zh) | 一种人脸表情克隆方法 | |
CN101882326A (zh) | 基于中国人全面部结构形数据的三维颅面复原方法 | |
CN101916454A (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
CN109147025B (zh) | 一种面向rgbd三维重建的纹理生成方法 | |
Lin et al. | Learning implicit templates for point-based clothed human modeling | |
CN104915978A (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
CN104658024A (zh) | 基于特征点的人脸表情合成方法 | |
CN105045496A (zh) | 一种基于关节点变换的手势交互方法 | |
CN110298917B (zh) | 一种人脸重建方法及*** | |
Sheng et al. | Facial geometry parameterisation based on partial differential equations | |
Orvalho et al. | Transferring the rig and animations from a character to different face models | |
CN100416611C (zh) | 一种基于网格拓扑建模的三维人脸动画制作方法 | |
CN110047145A (zh) | 基于深度学习和有限元建模的组织变形模拟***及方法 | |
CN102855652B (zh) | 基于测地距的径向基函数人脸表情重定向与动画方法 | |
CN104077798B (zh) | 一种可形变物体的高真实感动画合成方法 | |
CN115908651A (zh) | 一种三维人体模型与骨架的同步更新方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |