CN110599573A - 一种基于单目相机的人脸实时交互动画的实现方法 - Google Patents
一种基于单目相机的人脸实时交互动画的实现方法 Download PDFInfo
- Publication number
- CN110599573A CN110599573A CN201910839412.7A CN201910839412A CN110599573A CN 110599573 A CN110599573 A CN 110599573A CN 201910839412 A CN201910839412 A CN 201910839412A CN 110599573 A CN110599573 A CN 110599573A
- Authority
- CN
- China
- Prior art keywords
- animation
- model
- face
- voice
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及三维角色动画技术,其公开了一种基于单目相机的人脸实时交互动画的实现方法,通过融合人脸表情捕捉和语音情感识别技术,生成动画参数,并通过基于骨骼的技术来实时合成可视化的动态皮肤变形动画,使得生成的实时动画的表情更加具有丰富性、自然性,真实感,更具备自身特色。该方法可以概括为:捕获人脸视频图像和语音输入信息,提取人脸表情动画参数和语音情感动画参数;通过动作状态空间模型学习由骨骼运动和相应的皮肤变形组成的训练序列,建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型,通过提取的人脸表情动画参数和语音情感动画参数驱动所述虚拟角色骨骼蒙皮模型,生成实时交互动画。
Description
技术领域
本发明涉及三维角色动画技术,具体涉及一种基于单目相机的人脸实时交互动画的实现方法。
背景技术
近年来,随着计算机软硬件设备持续不断的发展(如:苹果公司最新发布的增强现实应用开发工具包ARKit,谷歌公司推出的ARCore 1.0及系列支持工具等),将多媒体技术带入了一个全盛的发展时期,同时由于人们对人机交互界面的可视化要求越来越高,使得人脸建模与动画技术在人机交互中发挥着越来越重要的作用。三维人脸表情动画技术的应用领域非常广泛,如游戏娱乐、电影制作、人机交互、广告制作等等,具有重要的应用价值和理论意义。
自从Parke[1]等人在1972年使用计算机生成人脸动画的开创性工作以来,世界上越来越多的研究者发现了三维人脸建模及其动画技术的研究使用价值,并作出了很多重要的贡献。如图1所示,这些工作主要包括如何使用有效的模型来表示人脸形状变化,如何准确、快速的捕获面部表情,如何实时精细的搭建三维人脸重建模型以及如何构造脸部数字化替身,并驱动它生成具有真实感的人脸模型。
Cao[2]等人在2013年提出了一个基于三维形状回归的实时人脸跟踪与动画方法。该方法使用单目视频相机作为人脸图像的采集设备,主要分为预处理和实时运行两个步骤进行。在预处理阶段,使用单目相机采集用户特定的姿势表情,包括一系列的面部表情和头部旋转动作,之后使用人脸特征点标记算法对用户人脸图像进行半自动特征点标记。基于标定特征点后的人脸图像,Cao[3]等人在2014年构建了一个面向视觉计算应用的三维人脸表情库FaceWarehouse。在该数据库中,提出了包含个体和表情两个属性的双线性人脸模型(Bilinear Face Model),用于拟合生成用户特定的表情融合模型。通过该表情融合模型计算相机采集的该用户的每张图像中由特征点的三维位置组成的三维人脸形状向量。该方法的回归算法采用了形状相关特征的双层级联回归(Two-level Boosted Regression)算法,所有图像和它们相对应的三维人脸形状向量被作为输入训练出该用户特定的三维形状回归器。在实时运行阶段,该用户特定的三维形状回归器基于当前帧和上一帧得到的人脸运动参数回归得到三维形状参数和人脸运动参数,包括头部的刚性变换参数和面部表情的非刚性面部运动参数,然后将这些参数迁移映射到虚拟角色上,驱动其生成和人脸运动相对应的表情动画。
但上述方法具有一定的局限性,对于每一个新用户均需要生成用户特定的表情融合模型和三维人脸形状回归器,需要约45分钟的预处理过程。Cao[4]等人在2014年又提出了一种基于偏移动态表情回归的实时人脸跟踪算法,该算法同是基于双层级联回归的算法,但对于新用户不需要进行任何的预处理操作,实现了任意用户的实时面部表情跟踪捕捉算法。
Cao等人在2013年提出的基于三维形状回归的实时人脸跟踪与动画方法以及Cao[4]等人在2014年又提出的基于偏移动态表情回归的实时人脸跟踪算法的工作重心都在于如何准确、高效、鲁棒的跟踪视频中人脸大幅度的运动,如皱眉、大笑、张嘴等大幅度表情,以及添加头部旋转、平移等刚性运动。但二者都忽略了人脸上的细节信息,如抬眉时人脸中的抬头纹,运动时引起的脸部皮肤的二次运动等等,而这些细节恰恰是帮助人们理解表情,让人脸更加富有表现力的重要特征。
参考文献:
[1]Parke F I.Computer generated animation of faces[C]//ACMConference.ACM,1972:451-457.
[2]Cao C,Weng Y,Lin S,et al.3D shape regression for real-time facialanimation[J].ACM Transactions on Graphics,2013,32(4):1.
[3]Cao C,Weng Y,Zhou S,et al.FaceWarehouse:A 3D Facial ExpressionDatabase for Visual Computing[J].IEEE Transactions on Visualization&ComputerGraphics,2014,20(3):413-425.
[4]Cao C,Hou Q,Zhou K.Displaced dynamic expression regression forreal-time facial tracking and animation[J].Acm Transactions on Graphics,2014,33(4):1-10.
[5]Ekman P,Friesen W V.Facial Action Coding System:Manual[J].Agriculture,1978.
[6]Duffy N,Helmbold D.Boosting Methods for Regression[J].MachineLearning,2002,47(2-3):153-200.
发明内容
本发明所要解决的技术问题是:提出一种基于单目相机的人脸实时交互动画的实现方法,通过融合人脸表情捕捉和语音情感识别技术,生成动画参数,并通过基于骨骼的技术来实时合成可视化的动态皮肤变形动画,使得生成的实时动画的表情更加具有丰富性、自然性,真实感,更具备自身特色。
本发明解决上述技术问题采用的技术方案是:
一种基于单目相机的人脸实时交互动画的实现方法,包括以下步骤:
S1、通过单目相机捕获人脸视频图像,获取人脸图像序列;同时通过语音传感器捕获语音输入信息;
S2、在人脸图像序列中标记人脸特征点,并提取人脸表情动画参数;
S3、在捕获的语音输入信息中提取语音特征,并提取语音情感动画参数;
S4、通过动作状态空间模型学习由骨骼运动和相应的皮肤变形组成的训练序列,建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型,通过提取的人脸表情动画参数和语音情感动画参数驱动所述虚拟角色骨骼蒙皮模型,生成实时交互动画。
作为进一步优化,步骤S2中,采用双层级联回归模型进行人脸特征点的标记,利用基于脸部活动编码***的Candide-3人脸模型作为参数载体,提取人脸表情动画参数。
作为进一步优化,所述双层级联回归模型采用两层回归结构,第一层采用由T个弱回归器以叠加的方式组合起来的增强回归模型;第二层由针对第一层中的每一个弱回归器采用K个回归模型级联而成的强回归器叠加而成。
作为进一步优化,步骤S3具体包括:
S31、在语音输入信息中对语音情感信息特征进行分析与提取;
S32、将提取的语音情感特征进行情感识别,完成情感的判断;
S33、将语音情感结果对应于基于AU单元的脸部活动编码***,提取相对于的AU参数,获得语音情感动画参数。
作为进一步优化,步骤S4中,所述动作状态空间模型由三个关键元素组成:(S,A,{P})
S表示虚拟角色每一帧的面部表情状态集合;
A表示一组动作集合,通过人脸表情识别和语音情感识别获取的参数作为一组动作向量,驱动下一帧虚拟角色变化状态;
P为状态转移概率,表示虚拟角色在当前帧t的表情状态st∈S,通过执行动作at∈A后转移到其他状态的概率分布。
作为进一步优化,步骤S4中,所述建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型的方法包括:
a.以已经制作好的没有辅助骨骼的虚拟角色的骨骼蒙皮模型作为原模型;
b.对骨骼蒙皮模型进行蒙皮权重优化;
c.将辅助骨逐渐的***到原模型与目标模型面部产生最大近似误差的区域;
d.采用块坐标下降算法解决皮肤权重优化和辅助骨位置转换优化两个子问题;
e.构建辅助骨控制器:基于辅助骨控制器的皮肤变换q由静态组件x和动态组件y连接表示,q=x+y;其中,静态组件X根据原模型中的主要骨架姿势计算;动态组件y是使用动作状态空间模型控制。
本发明的有益效果是:
1.面部表情是人们情感的流露,但在一些特殊情况下,面部表情并不能完全表达角色的内心情感。如果仅通过捕获并追踪人脸表情特征点作为参数进行面部点到点的驱动,显然生成的人脸动画是不够生动的。比如,角色在微笑和苦笑时,两者面部表情相似,但却会发出不同的语气词,因此,语音情感识别技术的加入能更好的从语音的角度捕捉角色当前的情感状态变化。本发明将人脸表情捕捉技术与语音情感识别技术相结合,可以大大提高虚拟角色表情动画的丰富性、自然性,真实感。
2.由于骨骼和肌肉的运动共同驱动了皮肤表情变化,为了更好的模拟皮肤运动,本发明采用骨骼蒙皮模型,通过基于骨骼的皮肤分解算法自动化添加辅助骨骼,将模拟头部骨骼运动的主要骨与模拟肌肉运动的辅助骨共同驱动虚拟角色进行动画。
附图说明
图1为三维人脸动画的研究现状;
图2为本发明的人脸实时交互动画的实现原理图;
图3为增强回归结构示意图;
图4为双层级联回归结构示意图;
图5为ASSM的状态转移过程示意图。
具体实施方式
本发明旨在提出一种基于单目相机的人脸实时交互动画的实现方法,通过融合人脸表情捕捉和语音情感识别技术,生成动画参数,并通过基于骨骼的技术来实时合成可视化的动态皮肤变形动画,使得生成的实时动画的表情更加具有丰富性、自然性,真实感,更具备自身特色。为实现该目的,本发明中的方案主要从以下几个方面实现:
1.人脸运动捕获方面:
人脸运动捕获包括两个部分:脸部表情的非刚性捕获和头部刚性变换捕获。根据人脸表情具有的独特肌肉运动特征,把人脸五官作为统一的整体进行协调,以展现出每一种人脸表情。通过基于人脸运动单元(AU)的脸部活动编码***(FACS),把人脸表情对应的编码作为人脸表情语义属性.使用这种具有不变性的中间描述方法作为人脸表情识别可靠的特征表示,来弥补底层特征在人脸表情识别中的不足。
2.语音情感识别方面:通过表演者的语音输入捕捉人的当前情感状态,通过语音特征提取、维数约简、分类等步骤,生成与表演者当前情感状态相对应的语音情感动画参数。
3.目标数字化替身表达方面:使用基于骨骼的动态替身表达方法,该方法通过学习由骨骼运动和相应的皮肤变形序列组成的训练序列,得到包括软组织在内的非线性复杂变形的最优传递。通过人脸运动捕获中提取的用户表情语义,驱动角色头部骨骼运动对辅助骨进行程序化的控制,以模拟面部皮肤的动态变形。
在具体实现上,本发明中的基于单目相机的人脸实时交互动画的实现方法的原理如图2所示,其包括以下手段:
(1)通过单目相机捕获人脸视频图像,获取人脸图像序列;同时通过语音传感器捕获语音输入信息;
(2)人脸的捕获与追踪:从捕获的人脸图像中标记人脸特征点,提取人脸表情动画参数;
人脸特征点定位是人脸识别、人脸追踪、人脸动画和三维人脸建模中关键的一个环节。由于人脸多样性、光照等因素,在自然环境下人脸特征点定位依然是一个困难的挑战。人脸特征点的具体定义是:对于一个包含N个人脸特征点的人脸形状S=[x1,y1,...,xN,yN],对于一张输入的人脸图片,人脸特征点定位的目标是估计一个人脸特征点形状S,使得S与人脸特征点真实形状的差值最小,S与之间的最小化对齐差值可以定义为L2-范式用该式来指导人脸特征点***的训练或者用来评估人脸特征点的定位算法的性能。
本发明拟采用基于回归模型的算法框架来进行实时、高效地进行人脸检测和跟踪。
a)增强型回归(Boosted Regression)
使用增强型回归将T个弱回归器(R1,...Rt,...RT)以叠加的方式组合起来。对于给定的人脸样本I以及初始化形状S0,每一个回归器根据样本特征计算一个形状增量并以级联的方式更新当前形状:
St=St+1+Rt(I,St-1),t=1,...,T (1)
Rt(I,St-1)表示回归器Rt利用输入样本图像I和上一个形状St-1计算得到的形状增量,Rt由输入样本图像I和上一个形状St-1决定,使用形状索引特征来学习Rt,如图3所示;
给定N个训练样本 表示第i个样本的Ii的真实形状,对(R1,...Rt,...RT)循环训练,直到训练误差不再增加。每个Rt都是通过最小化对齐误差来计算,即:
表示第i个图像的上一个形状估计值,Rt的输出为一个形状增量。
b)双层提升回归(Two-level Boosted Regression)
增强型回归算法是对整个形状进行回归,而输入图像中较大的外貌差异以及粗略的初始化人脸形状,使得单层弱回归器不再适用。单个回归器太弱,训练时收敛慢,测试时结果差。为了在训练的时候收敛更快更稳定,本发明采用了两层级联的结构,如图4所示。
第一层采用上述的增强回归模型。对第一层的每个回归器Rt,又使用K个回归模型学习,即Rt=(r1,...rk,...rK),在这里称r为初级回归器,通过K个初级回归器级联成一个强回归器。第一层和第二层的差别是,第一层中每个回归器Rt的输入St-1都不一样,而第二层中的每个回归器rk的输入都一样的。如Rt的第二层中所有的回归器输入均是St-1。
在进行人脸表情动画参数生成上,本发明利用Ekman等人[5]提出的基于AU单元的脸部活动编码***FACS,该***一共描述了44个基本运动单元,每个运动单元都由底层某部分或者某肌肉块控制。具体而言,可以利用基于脸部活动编码***的Candide-3人脸模型作为参数载体,提取人脸表情对应AU参数E。
Candide-3人脸模型表示如下:
式中,表示模型的基本形状,S为静态变形矩阵,A为动态变形矩阵,σ是静态变形参数,α是动态变形参数,R和t分别表示头部刚性旋转矩阵和头部平移矩阵。g为模型顶点坐标的列向量,用来表示各种特定的人脸表情形状。模型g由R,t,α,σ四个参数决定。
(3)在捕获的语音输入信息中提取语音特征,并提取语音情感动画参数;
在语音输入信息中对语音情感信息特征进行分析与提取;将提取的语音情感特征进行情感识别,完成情感的判断;将语音情感结果对应于基于AU单元的脸部活动编码***,提取相对于的AU参数,获得语音情感动画参数V。
(4)通过动作状态空间模型学习由骨骼运动和相应的皮肤变形组成的训练序列,建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型,通过提取的人脸表情动画参数和语音情感动画参数驱动所述虚拟角色骨骼蒙皮模型,生成实时交互动画。
(a)动作状态空间模型(ASSM):
动作状态空间模型由三个关键元素组成(S,A,{P}),其中:
S:表示状态集合,虚拟角色的面部表情状态(如高兴、难过等);
A:表示一组动作集合,通过人脸表情识别和语音情感识别获取的参数作为一组动作向量,驱动下一帧虚拟角色变化状态;
P:状态转移概率,表示虚拟角色在当前帧t的表情状态st∈S,通过执行动作at∈A后转移到其他状态的概率分布。
ASSM的动态过程如下:虚拟角色在状态s0,被表演者的动作向量a0∈A驱动下,根据概率P转移到下一帧状态s1,然后执行动作a1,…如此下去我们可以得到图5所示的过程。
(b)辅助骨框架:
辅助骨定位过程:给定一组主要骨骼索引集P,用于计算主要骨骼的全局变换矩阵Gp∈P。令和表示在原始姿态下的主要骨骼矩阵和静态皮肤上第i个顶点的位置。表示主要骨骼对应的皮肤转换矩阵。被称为辅助骨的二次骨骼的索引集用H表示,对应的皮肤公式如下:
vi表示变形皮肤顶点的位置,Sh表示对应于第h个辅助骨的皮肤矩阵。上式第一项对应于由主要骨骼驱动的皮肤变形,第二项为使用辅助骨骼的变形提供了额外的控制。辅助骨的数量是由设计者给出的,以平衡变形质量和计算成本。
蒙皮分解:将皮肤分解分为两个子问题进行描述。第一个子问题估计所有最优皮肤权重 和皮肤矩阵在每一帧t∈T的最佳近似训练数据。第二个子问题通过基于原始骨架的辅助骨控制模型近似估计离散转换
给定主要骨架蒙皮矩阵的训练序列和相应的顶点动画在这里,蒙皮优化分解问题被公式化为最小二乘约束问题,最小化原模型和目标模型之间在整个训练数据集上的平方形状差异的总和。
其中,
上式中,|·|n表示ln范式,V表示顶点集合的下标。常数k表示皮肤网格顶点受到骨骼影响的最大数量,以调整计算成本和准确度之间的平衡。
辅助骨控制器:假设辅助骨是由只有球形关节的原始骨架驱动的,则辅助骨的姿势是由所有转动组件的主要骨骼rp∈SO(3)唯一决定的。由一个列向量表示为:
u:=Δt0||Δr0||r1||r2||…||r|p| (9)
该式中u∈R3|p|+6,||表示向量值的连接运算符,|P|为主要骨的数量,Δt0∈R3表示根节点的时间变化,Δr0∈SO(3)表示根节点的方向变化。
每一个辅助骨作为主要骨的子骨附着在主要骨骼上,例如,Φ(h)被认为是第h个辅助骨对应的主要骨,S(h)是第h个辅助骨骼对应的皮肤矩阵,令由局部转换Lh和全局转换组合而成。局部转换Lh由平移分量th和旋转分量rh组成。
该模型假设皮肤变形建模为静态和动态变形的串联,前者是根据主要骨架的姿势来确定的,后者则取决于骨架运动和皮肤变形在过去时间步长的变化。因此,辅助骨q的皮肤变换由一个静态组件x和一个动态组件y连接表示,q=x+y。静态变换x是根据骨架姿势计算的,动态变换y是使用状态空间模型控制的,该模型考虑了之前骨骼姿势和辅助骨骼转换的积累信息。
Claims (6)
1.一种基于单目相机的人脸实时交互动画的实现方法,其特征在于,包括以下步骤:
S1、通过单目相机捕获人脸视频图像,获取人脸图像序列;同时通过语音传感器捕获语音输入信息;
S2、在人脸图像序列中标记人脸特征点,并提取人脸表情动画参数;
S3、在捕获的语音输入信息中提取语音特征,并提取语音情感动画参数;
S4、通过动作状态空间模型学习由骨骼运动和相应的皮肤变形组成的训练序列,建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型,通过提取的人脸表情动画参数和语音情感动画参数驱动所述虚拟角色骨骼蒙皮模型,生成实时交互动画。
2.如权利要求1所述的一种基于单目相机的人脸实时交互动画的实现方法,其特征在于,
步骤S2中,采用双层级联回归模型进行人脸特征点的标记,利用基于脸部活动编码***的Candide-3人脸模型作为参数载体,提取人脸表情动画参数。
3.如权利要求2所述的一种基于单目相机的人脸实时交互动画的实现方法,其特征在于,
所述双层级联回归模型采用两层回归结构,第一层采用由T个弱回归器以叠加的方式组合起来的增强回归模型;第二层由针对第一层中的每一个弱回归器采用K个回归模型级联而成的强回归器叠加而成。
4.如权利要求1所述的一种基于单目相机的人脸实时交互动画的实现方法,其特征在于,
步骤S3具体包括:
S31、在语音输入信息中对语音情感信息特征进行分析与提取;
S32、将提取的语音情感特征进行情感识别,完成情感的判断;
S33、将语音情感结果对应于基于AU单元的脸部活动编码***,提取相对于的AU参数,获得语音情感动画参数。
5.如权利要求1所述的一种基于单目相机的人脸实时交互动画的实现方法,其特征在于,
步骤S4中,所述动作状态空间模型由三个关键元素组成:(S,A,{P})
S表示虚拟角色每一帧的面部表情状态集合;
A表示一组动作集合,通过人脸表情识别和语音情感识别获取的参数作为一组动作向量,驱动下一帧虚拟角色变化状态;
P为状态转移概率,表示虚拟角色在当前帧t的表情状态st∈S,通过执行动作at∈A后转移到其他状态的概率分布。
6.如权利要求1所述的一种基于单目相机的人脸实时交互动画的实现方法,其特征在于,
步骤S4中,所述建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型的方法包括:
a.以已经制作好的没有辅助骨骼的虚拟角色的骨骼蒙皮模型作为原模型;
b.对骨骼蒙皮模型进行蒙皮权重优化;
c.将辅助骨逐渐的***到原模型与目标模型面部产生最大近似误差的区域;
d.采用块坐标下降算法解决皮肤权重优化和辅助骨位置转换优化两个子问题;
e.构建辅助骨控制器:基于辅助骨控制器的皮肤变换q由静态组件x和动态组件y连接表示,q=x+y;其中,静态组件X根据原模型中的主要骨架姿势计算;动态组件y是使用动作状态空间模型控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910839412.7A CN110599573B (zh) | 2019-09-03 | 2019-09-03 | 一种基于单目相机的人脸实时交互动画的实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910839412.7A CN110599573B (zh) | 2019-09-03 | 2019-09-03 | 一种基于单目相机的人脸实时交互动画的实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110599573A true CN110599573A (zh) | 2019-12-20 |
CN110599573B CN110599573B (zh) | 2023-04-11 |
Family
ID=68857773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910839412.7A Active CN110599573B (zh) | 2019-09-03 | 2019-09-03 | 一种基于单目相机的人脸实时交互动画的实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110599573B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813491A (zh) * | 2020-08-19 | 2020-10-23 | 广州汽车集团股份有限公司 | 一种车载助手的拟人化交互方法、装置及汽车 |
CN111968207A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、***及存储介质 |
CN112190921A (zh) * | 2020-10-19 | 2021-01-08 | 珠海金山网络游戏科技有限公司 | 一种游戏交互方法及装置 |
CN112669424A (zh) * | 2020-12-24 | 2021-04-16 | 科大讯飞股份有限公司 | 一种表情动画生成方法、装置、设备及存储介质 |
CN113050794A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 用于虚拟形象的滑块处理方法及装置 |
CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
CN113554745A (zh) * | 2021-07-15 | 2021-10-26 | 电子科技大学 | 一种基于图像的三维人脸重建方法 |
TWI773458B (zh) * | 2020-11-25 | 2022-08-01 | 大陸商北京市商湯科技開發有限公司 | 重建人臉的方法、裝置、電腦設備及存儲介質 |
CN115588224A (zh) * | 2022-10-14 | 2023-01-10 | 中南民族大学 | 一种人脸关键点的预测方法、虚拟数字人生成方法及装置 |
CN115731330A (zh) * | 2022-11-16 | 2023-03-03 | 北京百度网讯科技有限公司 | 目标模型生成方法、动画生成方法、装置和电子设备 |
CN117809002A (zh) * | 2024-02-29 | 2024-04-02 | 成都理工大学 | 一种基于人脸表情识别与动作捕捉的虚拟现实同步方法 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1466104A (zh) * | 2002-07-03 | 2004-01-07 | 中国科学院计算技术研究所 | 基于统计与规则结合的语音驱动人脸动画方法 |
JP2007058846A (ja) * | 2005-07-27 | 2007-03-08 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成用の統計確率モデル作成装置、パラメータ系列合成装置、リップシンクアニメーション作成システム、及びコンピュータプログラム |
US20090231347A1 (en) * | 2008-03-11 | 2009-09-17 | Masanori Omote | Method and Apparatus for Providing Natural Facial Animation |
CN102473320A (zh) * | 2009-07-13 | 2012-05-23 | 微软公司 | 通过学习到的来自用户的输入使视觉表示生动化 |
CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
CN103218841A (zh) * | 2013-04-26 | 2013-07-24 | 中国科学技术大学 | 结合生理模型和数据驱动模型的三维发音器官动画方法 |
CN103279970A (zh) * | 2013-05-10 | 2013-09-04 | 中国科学技术大学 | 一种实时的语音驱动人脸动画的方法 |
CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
JP2015092347A (ja) * | 2014-11-19 | 2015-05-14 | Necプラットフォームズ株式会社 | 感情表現アニメーション顔表示システム、方法及びプログラム |
CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
CN105787448A (zh) * | 2016-02-28 | 2016-07-20 | 南京信息工程大学 | 基于时空级联形状回归的人脸形状跟踪方法 |
CN106447785A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种驱动虚拟角色的方法和装置 |
CN106653052A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 虚拟人脸动画的生成方法及装置 |
CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
CN107274464A (zh) * | 2017-05-31 | 2017-10-20 | 珠海金山网络游戏科技有限公司 | 一种实时交互3d动画的方法、装置和*** |
CN107886558A (zh) * | 2017-11-13 | 2018-04-06 | 电子科技大学 | 一种基于RealSense的人脸表情动画驱动方法 |
CN109116981A (zh) * | 2018-07-03 | 2019-01-01 | 北京理工大学 | 一种被动触觉反馈的混合现实交互*** |
US20190082211A1 (en) * | 2016-02-10 | 2019-03-14 | Nitin Vats | Producing realistic body movement using body Images |
CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
CN109712627A (zh) * | 2019-03-07 | 2019-05-03 | 深圳欧博思智能科技有限公司 | 一种使用语音触发虚拟人物表情及口型动画的语音*** |
US20190197755A1 (en) * | 2016-02-10 | 2019-06-27 | Nitin Vats | Producing realistic talking Face with Expression using Images text and voice |
CN110009716A (zh) * | 2019-03-28 | 2019-07-12 | 网易(杭州)网络有限公司 | 面部表情的生成方法、装置、电子设备及存储介质 |
CN110070944A (zh) * | 2019-05-17 | 2019-07-30 | 段新 | 基于虚拟环境和虚拟角色的社会功能评估训练*** |
-
2019
- 2019-09-03 CN CN201910839412.7A patent/CN110599573B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1466104A (zh) * | 2002-07-03 | 2004-01-07 | 中国科学院计算技术研究所 | 基于统计与规则结合的语音驱动人脸动画方法 |
JP2007058846A (ja) * | 2005-07-27 | 2007-03-08 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成用の統計確率モデル作成装置、パラメータ系列合成装置、リップシンクアニメーション作成システム、及びコンピュータプログラム |
US20090231347A1 (en) * | 2008-03-11 | 2009-09-17 | Masanori Omote | Method and Apparatus for Providing Natural Facial Animation |
CN102473320A (zh) * | 2009-07-13 | 2012-05-23 | 微软公司 | 通过学习到的来自用户的输入使视觉表示生动化 |
CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
CN103218841A (zh) * | 2013-04-26 | 2013-07-24 | 中国科学技术大学 | 结合生理模型和数据驱动模型的三维发音器官动画方法 |
CN103279970A (zh) * | 2013-05-10 | 2013-09-04 | 中国科学技术大学 | 一种实时的语音驱动人脸动画的方法 |
CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
JP2015092347A (ja) * | 2014-11-19 | 2015-05-14 | Necプラットフォームズ株式会社 | 感情表現アニメーション顔表示システム、方法及びプログラム |
US20190082211A1 (en) * | 2016-02-10 | 2019-03-14 | Nitin Vats | Producing realistic body movement using body Images |
US20190197755A1 (en) * | 2016-02-10 | 2019-06-27 | Nitin Vats | Producing realistic talking Face with Expression using Images text and voice |
CN105787448A (zh) * | 2016-02-28 | 2016-07-20 | 南京信息工程大学 | 基于时空级联形状回归的人脸形状跟踪方法 |
CN106447785A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种驱动虚拟角色的方法和装置 |
CN106653052A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 虚拟人脸动画的生成方法及装置 |
CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
CN107274464A (zh) * | 2017-05-31 | 2017-10-20 | 珠海金山网络游戏科技有限公司 | 一种实时交互3d动画的方法、装置和*** |
CN107886558A (zh) * | 2017-11-13 | 2018-04-06 | 电子科技大学 | 一种基于RealSense的人脸表情动画驱动方法 |
CN109116981A (zh) * | 2018-07-03 | 2019-01-01 | 北京理工大学 | 一种被动触觉反馈的混合现实交互*** |
CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
CN109712627A (zh) * | 2019-03-07 | 2019-05-03 | 深圳欧博思智能科技有限公司 | 一种使用语音触发虚拟人物表情及口型动画的语音*** |
CN110009716A (zh) * | 2019-03-28 | 2019-07-12 | 网易(杭州)网络有限公司 | 面部表情的生成方法、装置、电子设备及存储介质 |
CN110070944A (zh) * | 2019-05-17 | 2019-07-30 | 段新 | 基于虚拟环境和虚拟角色的社会功能评估训练*** |
Non-Patent Citations (5)
Title |
---|
CHEN CHEN等: "Real-time 3D facial expression control based on performance", 《2015 12TH INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (FSKD)》 * |
MOZAMMEL CHOWDHURY等: "Fuzzy rule based approach for face and facial feature extraction in biometric authentication", 《2016 INTERNATIONAL CONFERENCE ON IMAGE AND VISION COMPUTING NEW ZEALAND (IVCNZ)》 * |
孙晨: "表演驱动的实时人脸表情动画合成", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
李可: "人脸表情动画研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
范懿文等: "支持表情细节的语音驱动人脸动画", 《计算机辅助设计与图形学学报》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813491B (zh) * | 2020-08-19 | 2020-12-18 | 广州汽车集团股份有限公司 | 一种车载助手的拟人化交互方法、装置及汽车 |
CN111813491A (zh) * | 2020-08-19 | 2020-10-23 | 广州汽车集团股份有限公司 | 一种车载助手的拟人化交互方法、装置及汽车 |
CN111968207B (zh) * | 2020-09-25 | 2021-10-29 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、***及存储介质 |
CN111968207A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、***及存储介质 |
US11893670B2 (en) | 2020-09-25 | 2024-02-06 | Mofa (Shanghai) Information Technology Co., Ltd. | Animation generation method, apparatus and system, and storage medium |
CN112190921A (zh) * | 2020-10-19 | 2021-01-08 | 珠海金山网络游戏科技有限公司 | 一种游戏交互方法及装置 |
TWI773458B (zh) * | 2020-11-25 | 2022-08-01 | 大陸商北京市商湯科技開發有限公司 | 重建人臉的方法、裝置、電腦設備及存儲介質 |
CN112669424A (zh) * | 2020-12-24 | 2021-04-16 | 科大讯飞股份有限公司 | 一种表情动画生成方法、装置、设备及存储介质 |
CN112669424B (zh) * | 2020-12-24 | 2024-05-31 | 科大讯飞股份有限公司 | 一种表情动画生成方法、装置、设备及存储介质 |
US11842457B2 (en) | 2021-03-24 | 2023-12-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for processing slider for virtual character, electronic device, and storage medium |
CN113050794A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 用于虚拟形象的滑块处理方法及装置 |
CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
CN113554745A (zh) * | 2021-07-15 | 2021-10-26 | 电子科技大学 | 一种基于图像的三维人脸重建方法 |
CN113554745B (zh) * | 2021-07-15 | 2023-04-07 | 电子科技大学 | 一种基于图像的三维人脸重建方法 |
CN115588224A (zh) * | 2022-10-14 | 2023-01-10 | 中南民族大学 | 一种人脸关键点的预测方法、虚拟数字人生成方法及装置 |
CN115731330A (zh) * | 2022-11-16 | 2023-03-03 | 北京百度网讯科技有限公司 | 目标模型生成方法、动画生成方法、装置和电子设备 |
CN117809002A (zh) * | 2024-02-29 | 2024-04-02 | 成都理工大学 | 一种基于人脸表情识别与动作捕捉的虚拟现实同步方法 |
CN117809002B (zh) * | 2024-02-29 | 2024-05-14 | 成都理工大学 | 一种基于人脸表情识别与动作捕捉的虚拟现实同步方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110599573B (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599573B (zh) | 一种基于单目相机的人脸实时交互动画的实现方法 | |
Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
Magnenat-Thalmann et al. | Handbook of virtual humans | |
Sifakis et al. | Simulating speech with a physics-based facial muscle model | |
CN106971414B (zh) | 一种基于深度循环神经网络算法的三维动画生成方法 | |
US11514634B2 (en) | Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses | |
CN107274464A (zh) | 一种实时交互3d动画的方法、装置和*** | |
CN117496072B (zh) | 一种三维数字人生成和交互方法及*** | |
CN114967937B (zh) | 一种虚拟人运动生成方法与*** | |
Li et al. | A survey of computer facial animation techniques | |
CN114170353A (zh) | 一种基于神经网络的多条件控制的舞蹈生成方法及*** | |
CN108908353B (zh) | 基于平滑约束逆向机械模型的机器人表情模仿方法及装置 | |
Kobayashi et al. | Motion capture dataset for practical use of AI-based motion editing and stylization | |
CN113436302B (zh) | 一种人脸动画合成方法及*** | |
Victor et al. | Pose Metrics: a New Paradigm for Character Motion Edition | |
Tian et al. | Augmented Reality Animation Image Information Extraction and Modeling Based on Generative Adversarial Network | |
CN118135069B (zh) | 一种真实人物舞蹈视频合成方法 | |
Gao | The Application of Virtual Technology Based on Posture Recognition in Art Design Teaching | |
Hu | Visual Presentation Algorithm of Dance Arrangement and CAD Based on Big Data Analysis | |
de Aguiar et al. | Representing and manipulating mesh-based character animations | |
Zhang et al. | Implementation of Animation Character Action Design and Data Mining Technology Based on CAD Data | |
Johnson | A Survey of Computer Graphics Facial Animation Methods: Comparing Traditional Approaches to Machine Learning Methods | |
Venkatrayappa et al. | Survey of 3D Human Body Pose and Shape Estimation Methods for Contemporary Dance Applications | |
Zhao et al. | Implementation of Computer Aided Dance Teaching Integrating Human Model Reconstruction Technology | |
Liu | Research on the Construction of a Dance Simulation Training System Using VR Technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |