CN113744374B - 一种基于表情驱动的3d虚拟形象生成方法 - Google Patents
一种基于表情驱动的3d虚拟形象生成方法 Download PDFInfo
- Publication number
- CN113744374B CN113744374B CN202111030988.2A CN202111030988A CN113744374B CN 113744374 B CN113744374 B CN 113744374B CN 202111030988 A CN202111030988 A CN 202111030988A CN 113744374 B CN113744374 B CN 113744374B
- Authority
- CN
- China
- Prior art keywords
- expression
- model
- face
- avatar
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于表情驱动的3D虚拟形象生成方法,包括:(1)使用单目摄像头实时采集人脸视频;(2)将单目摄像头捕捉的人脸模型与虚拟形象模型进行比例对齐,建立人物的源网格和目标虚拟形象网格的映射;(3)对人脸面部进行区域划分,将人脸模型每个区域的三角面映射在对应虚拟形象模型的面上,生成关键形状;(4)对关键形状进行形变转移优化,获得与源人物模型相对应的虚拟形象融合模型;(5)通过线性组合拟合出虚拟形象的表情形状;(6)在虚拟形象驱动模块中基于映射关系驱动虚拟形象融合模型产生动态表情,产生与原视频中人脸相同的表情动作。利用本发明,能够实时将人脸表情映射到虚拟角色上,生成具有真实感的角色动画。
Description
技术领域
本发明属于3D虚拟形象生成领域,尤其是涉及一种基于表情驱动的3D虚拟形象生成方法。
背景技术
3D虚拟形象生成涵盖了人脸识别、表情识别和表情动画、虚拟模型生成等方面。其中,3D虚拟形象生成利用3D人脸重建技术恢复出人脸的3D结构,同时和2D信息做有机融合,并基于此进行人脸属性分析,从各个维度分析出人脸特征,生成个性化的虚拟形象。同时,也会实时进行人脸的表情分析,用于驱动生成的虚拟形象。在此之上,还会借助人体姿势进行相关分析,通过真实渲染引擎与现实场景相融合,将匹配用户表情与动作的个性化3D虚拟形象实时呈现给用户。
公开号为CN106204698A的中国专利文献公开了一种为自由组合创作的虚拟形象生成及使用表情的实现方法,包括:从一虚拟形象器官集合中选择脸部器官或局部脸孔作为部件形成基础虚拟形象;选择特定表情;然后以符合条件的器官部件替代所述基础虚拟形象中的器官部件,使虚拟形象符合所选择的特定表情。公开号为CN111612876A的中国专利文献公开了一种表情生成方法包括:获取目标用户图像;根据所述目标用户的体貌特征元素,生成与所述目标用户图像关联的虚拟人物形象;基于所述虚拟人物形象,生成所述虚拟人物形象的表情图像。但是上述两种方法制作的表情均无法与用户真实的实时表情相对应。
基于真实人物的三维虚拟形象制作往往需要操作者具有计算机图形学技术背景以及能够使用专业的三维建模软件,消耗了大量的时间和精力。而依赖专业扫描设备来获取三维人脸模型的方法成本较高,且常常带有复杂噪声,依赖专业人员进行后期手动处理,致使生产周期过长。
脸部动画技术在电影虚拟人物表情制作以及面部动画驱动方面有着广泛的应用,其对面部真实表情的捕捉在泛娱乐领域有较好的发展前景。但是,使用昂贵的专业捕捉设备来实现的面部动画技术不具有实际应用性,基于骨骼和关节点的动画技术主要用于身体姿态的动画,在面部表情动画中不能很好复现褶皱等面部表情细节。
发明内容
本发明提供了一种基于表情驱动的3D虚拟形象生成方法,可以通过人的面部运动来控制虚拟模型,使之产生的虚拟形象可以有人脸相似的表情效果。
一种基于表情驱动的3D虚拟形象生成方法,包括以下步骤:
(1)使用单目摄像头实时采集人脸视频;
(2)将单目摄像头捕捉的人脸模型与虚拟形象模型进行比例对齐,;建立人物的源网格S中的三角形面和目标虚拟形象网格T中三角形面的映射;
(3)将脸部划分为六个区域,对人物模型与虚拟形象模型中面部区域网格结构差异较大的部分进行区域标记并优化,将人脸模型每个区域的三角面通过仿射变换映射在对应虚拟形象模型的面上,而后平移顶点,基于模型间映射变换共享顶点生成关键形状;
(4)对关键形状进行形变转移优化,获得与源人物模型相对应的虚拟形象融合模型;
(5)将形变传递算法应用到对应人脸网格模型的表情融合模型中,基于FACS编码面部动作单元,通过线性组合拟合出虚拟形象的表情形状;
(6)在虚拟形象驱动模块中基于映射关系驱动虚拟形象融合模型产生动态表情、渲染动画效果,使之产生与原视频中人脸相同的表情动作。
进一步地,
步骤(2)中,建立人物的源网格S和目标虚拟形象网格T的映射时,将人脸用三维网格M(V,F)表示,V={v1,...vn}为三维顶点集合,F={f1,...,fm}为连接所有顶点的三角形面集合,发生形变后,相邻两个三角网格满足如下关系:
Tjvi+dj=Tkvi+dkj,k∈p(vi)
其中,j和k表示两个相邻的三角网格,vi表示两个三角形网格的共同顶点,p表示所有的三角形网格集合。
进一步地,人物的源网格S中的三角形和目标虚拟形象网格T中三角形的映射变换共享顶点,人物的源网格S与虚拟形象网格T具有对应关系,即:
M={(s1,t1),(s2,t2),...,(sM,tM)}
其中,sM为源网格中面的索引,tM为虚拟形象网格中面的索引。
步骤(3)中,将脸部划分为六个区域,分别为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴。
所述的仿射变换包括但不限于旋转、缩放和剪切。
基于模型间映射变换共享顶点生成关键形状时,损失函数为:
其中:
vi和v′i(i∈1,2,3)分别代表三角形面形变前后的三个顶点,Lk是源网格的坐标集合,R(i)表示虚拟形象上的网格坐标索引,ui和u′i分别代表源网格与虚拟形象网格上的位移向量,(vi)s0为源人物网格上的点,(vi)sn为中间过程中源网格融合模型上的点,(v′R(i))tn为中间过程中虚拟形象网格融合模型上的点。
步骤(4)中,对关键形状进行形变转移优化时,重复最小化过程计算形变头像网格的新顶点坐标,迭代系数为ω,直至获得与源人物模型相对应的虚拟形象融合模型,最优化函数为:
其中,I为3×3变换矩阵,adj(i)是第i个面相邻面的集合,ci为源网格与虚拟形象网格的最邻近点。
步骤(5)中,虚拟形象的表情形状F表示为:
其中,表情融合模型表示为B=B0,B1,...,Bn,其中B0表示自然表情形状,Bi为其他表情形状,以αi表示第i个表情系数。
与现有技术相比,本发明具有以下有益效果:
本发明的方法,使得普通用户仅需要通过单目视频相机,就能够实时的将人的脸部表情映射到虚拟角色上,生成具有真实感的角色动画,具有较高易用性和可扩展性,满足动漫、影视、直播、虚拟现实等诸多领域的需求。
附图说明
图1为本发明实施例中基于表情驱动的3D虚拟形象生成方法的框架图;
图2为本发明实施例中基于表情驱动的3D虚拟形象生成方法的流程图;
图3为本发明实施例中源网格和目标虚拟形象网格中三角形的映射示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述,需要指出的是,以下所述实施例旨在便于对本发明的理解,而对其不起任何限定作用。
如图1所示,一种基于表情驱动的3D虚拟形象生成方法,实现过程分为三个模块,分别是人脸重建模块、表情融合模块和虚拟形象驱动模块。
使用三维人脸模型重建技术可以在三维空间中重建出与真实人脸特征相似的三维模型,基于单目摄像头采集人脸进行人脸重建的主要问题在于人脸对齐、人脸姿态估计和模型参数估计。本发明提出一种基于面部区域位置的人脸重建模块,将人脸划分为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴6个部分进行测量,对源人物模型的所有关键形状重复最小化过程,得到与源模型相对应的虚拟形象融合模型,对于普通用户而言无需使用专业软件创建三维Blandshape模型即可驱动虚拟形象。
本发明在表情融合上分为头部和表情两个部分进行参数化,头部变化是指人物头部的平移、旋转等刚性变化;表情变化则基于FACS编码面部动作单元,通过线性组合拟合出人脸的常见表情,而后在虚拟形象驱动模块中基于上述映射关系驱动可形变虚拟模型产生动态表情、渲染动画效果,使之产生与原视频中人脸相同的表情动作。
为适配包含卡通3D形象、游戏怪兽形象等五官与人类差异较大的虚拟形象,本发明提出一种基于表情驱动的3D虚拟形象生成方法,流程如图2所示。
在模型表示上,本发明将人脸用三维网格M(V,F)表示,V={v1,...vn}为三维顶点集合,F={f1,...,fm}为连接所有顶点的三角形面集合。由于形变建立在三角形网格上,人物的源网格S中的三角形需要和目标虚拟形象网格T中的三角形建立映射,如图3所示,发生形变后,相邻两个三角网格满足如下关系:
Tjvi+dj=Tkvi+dkj,k∈p(vi)
j和k表示两个相邻的三角网格,vi vi表示两个三角形网格的共同顶点,p表示所有的三角形网格集合。
基于S与T之间映射变换共享顶点,人物的源网格与虚拟形象网格具有对应关系,即:
M={(s1,t1),(s2,t2),...,(sM,tM)}
人脸模型对虚拟模型的匹配即为人物的源网格与虚拟形象网格具有对应关系的求解。本发明提出基于面部区域重定位的虚拟模型映射方法,首先将虚拟形象模型与单目摄像头捕捉的人脸模型进行比例对齐,将脸部划分为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴6个区域,将人脸模型每个区域的三角面通过旋转、缩放和剪切等仿射变换映射在对应虚拟形象模型的面上,而后平移顶点,基于模型间映射变换共享顶点生成关键形状。区域坐标位置定向过程的公式表达如下:
以vi和v′i(i∈1,2,3)分别代表三角形面形变前后的三个顶点,损失函数为:
其中:
Lk是源网格的坐标集合,R(i)表示虚拟形象上的网格坐标索引,ui和u′i分别代表源网格与虚拟形象网格上的位移向量,(vi)s0为源人物网格上的点,(vi)sn为中间过程中源网格融合模型上的点,(v′R(i))tn为中间过程中虚拟形象网格融合模型上的点。
而后对关键形状进行形变转移优化,重复最小化过程计算形变头像网格的新顶点坐标,迭代系数为ω,直至获得与源人物模型相对应的虚拟形象融合模型。最优化函数为:
其中,I为3×3变换矩阵,adj(i)是第i个面相邻面的集合,ci为源网格与虚拟形象网格的最邻近点。
当完成源人物模型与虚拟形象模型的关键形状映射后,进入表情融合阶段。对于符合FACS标准的表情融合模型,每一个基表情对应于FACS的一个动作单元,具有相应的语义特征。基于此,应用形变传递算法到特定的人脸网格模型的表情融合模型制作中,将表情融合模型表示为B=B0,B1,...,Bn,其中B0表示自然表情形状,Bi为其他表情形状,以αi表示第i个表情系数,则虚拟形象的表情形状F可以表示为:
基于此,自然表情形状和其他表情形状以一定系数按公式进行线性组合,即可生成新的表情形状。
通过上述步骤,普通用户仅需要通过单目视频相机,就能够实时的将人的脸部表情映射到虚拟角色上,生成具有真实感的角色动画,具有较高易用性和可扩展性,满足泛娱乐产业发展需求。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于表情驱动的3D虚拟形象生成方法,其特征在于,包括以下步骤:
(1)使用单目摄像头实时采集人脸视频;
(2)将单目摄像头捕捉的人脸模型与虚拟形象模型进行比例对齐;建立人物的源网格S中的三角形面和目标虚拟形象网格T中三角形面的映射;
(3)将脸部划分为六个区域,对人物模型与虚拟形象模型中面部区域网格结构差异较大的部分进行区域标记并优化,将人脸模型每个区域的三角面通过仿射变换映射在对应虚拟形象模型的面上,而后平移顶点,基于模型间映射变换共享顶点生成关键形状;
基于模型间映射变换共享顶点生成关键形状时,损失函数为:
其中:
vi和v′i′(i∈1,2,3)分别代表三角形面形变前后的三个顶点,Lk是源网格的坐标集合,R(i)表示虚拟形象上的网格坐标索引,ui和u′C(i)分别代表源网格与虚拟形象网格上的位移向量,(vi)s0为源人物网格上的点,(vi)sn为中间过程中源网格融合模型上的点,(v′R(i))tn为中间过程中虚拟形象网格融合模型上的点;
(4)对关键形状进行形变转移优化,获得与源人物模型相对应的虚拟形象融合模型;
对关键形状进行形变转移优化时,重复最小化过程计算形变头像网格的新顶点坐标,迭代系数为ω,直至获得与源人物模型相对应的虚拟形象融合模型,最优化函数为:
其中,I为3×3变换矩阵,adj(i)是第i个面相邻面的集合,ci为源网格与虚拟形象网格的最邻近点;F={f1,...,fm}为连接所有顶点的三角形面集合;
(5)将形变传递算法应用到对应人脸网格模型的表情融合模型中,基于FACS编码面部动作单元,通过线性组合拟合出虚拟形象的表情形状;
(6)在虚拟形象驱动模块中基于映射关系驱动虚拟形象融合模型产生动态表情、渲染动画效果,使之产生与原视频中人脸相同的表情动作。
2.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法,其特征在于,步骤(2)中,建立人物的源网格S和目标虚拟形象网格T的映射时,将人脸用三维网格M(V,F)表示,V={v1,...vn}为三维顶点集合,F={f1,...,fm}为连接所有顶点的三角形面集合,发生形变后,相邻两个三角网格满足如下关系:
Tjvi+dj=Tkvi+dkj,k∈p(vi)
其中,j和k表示两个相邻的三角网格,vi表示两个三角形网格的共同顶点,p表示所有的三角形网格集合。
3.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法,其特征在于,人物的源网格S中的三角形和目标虚拟形象网格T中三角形的映射变换共享顶点,以M表示面部网格,人物的源网格S与虚拟形象网格T具有对应关系,即:
M={(s1,t1)(s2,t2),…,(sM,tM)}
其中,sM为源网格中面的索引,tM为虚拟形象网格中面的索引。
4.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法,其特征在于,步骤(3)中,将脸部划分为六个区域,分别为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴。
5.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法,其特征在于,步骤(3)中,所述的仿射变换包括但不限于旋转、缩放和剪切。
6.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法,其特征在于,步骤(5)中,虚拟形象的表情形状G表示为:
其中,表情融合模型表示为B=B0,B1,…,Bn,其中B0表示自然表情形状,Bi为其他表情形状,以αi表示第i个表情系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111030988.2A CN113744374B (zh) | 2021-09-03 | 2021-09-03 | 一种基于表情驱动的3d虚拟形象生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111030988.2A CN113744374B (zh) | 2021-09-03 | 2021-09-03 | 一种基于表情驱动的3d虚拟形象生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744374A CN113744374A (zh) | 2021-12-03 |
CN113744374B true CN113744374B (zh) | 2023-09-22 |
Family
ID=78735346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111030988.2A Active CN113744374B (zh) | 2021-09-03 | 2021-09-03 | 一种基于表情驱动的3d虚拟形象生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744374B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173322A (zh) * | 2022-05-27 | 2023-12-05 | 北京字跳网络技术有限公司 | 一种虚拟头像的渲染方法、装置、电子设备及存储介质 |
CN115035580A (zh) * | 2022-06-24 | 2022-09-09 | 北京平视科技有限公司 | 一种人物数字孪生构建方法及*** |
CN115222895B (zh) * | 2022-08-30 | 2023-06-27 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备以及存储介质 |
CN115526966B (zh) * | 2022-10-12 | 2023-06-30 | 广州鬼谷八荒信息科技有限公司 | 一种用调度五官部件实现虚拟人物表情展现的方法 |
CN115393486B (zh) * | 2022-10-27 | 2023-03-24 | 科大讯飞股份有限公司 | 虚拟形象的生成方法、装置、设备及存储介质 |
CN116503524B (zh) * | 2023-04-11 | 2024-04-12 | 广州赛灵力科技有限公司 | 一种虚拟形象的生成方法、***、装置及存储介质 |
CN117152382A (zh) * | 2023-10-30 | 2023-12-01 | 海马云(天津)信息技术有限公司 | 虚拟数字人面部表情计算方法和装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050108582A (ko) * | 2004-05-12 | 2005-11-17 | 한국과학기술원 | 영역 기반의 얼굴 표정 애니메이션 복제방법 |
KR20120006610A (ko) * | 2010-07-13 | 2012-01-19 | 삼성전자주식회사 | 얼굴 애니메이션 시스템 및 방법 |
WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及*** |
CN107924579A (zh) * | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
CN110135215A (zh) * | 2018-02-02 | 2019-08-16 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
CN110490959A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 |
CN110807836A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
CN112164135A (zh) * | 2020-09-30 | 2021-01-01 | 山西智优利民健康管理咨询有限公司 | 一种虚拟人物形象的构建装置和方法 |
WO2021012590A1 (zh) * | 2019-07-22 | 2021-01-28 | 广州华多网络科技有限公司 | 面部表情迁移方法、装置、存储介质及计算机设备 |
CN112543341A (zh) * | 2020-10-09 | 2021-03-23 | 广东象尚科技有限公司 | 一种一站式虚拟直播录播的方法 |
CN112766027A (zh) * | 2019-11-05 | 2021-05-07 | 广州虎牙科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101555347B1 (ko) * | 2009-04-09 | 2015-09-24 | 삼성전자 주식회사 | 비디오 기반 얼굴 애니메이션 생성 장치 및 방법 |
US11069135B2 (en) * | 2019-03-07 | 2021-07-20 | Lucasfilm Entertainment Company Ltd. | On-set facial performance capture and transfer to a three-dimensional computer-generated model |
CN111833418B (zh) * | 2020-07-14 | 2024-03-29 | 北京百度网讯科技有限公司 | 动画交互方法、装置、设备以及存储介质 |
-
2021
- 2021-09-03 CN CN202111030988.2A patent/CN113744374B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050108582A (ko) * | 2004-05-12 | 2005-11-17 | 한국과학기술원 | 영역 기반의 얼굴 표정 애니메이션 복제방법 |
KR20120006610A (ko) * | 2010-07-13 | 2012-01-19 | 삼성전자주식회사 | 얼굴 애니메이션 시스템 및 방법 |
WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN107924579A (zh) * | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及*** |
CN110135215A (zh) * | 2018-02-02 | 2019-08-16 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
WO2021012590A1 (zh) * | 2019-07-22 | 2021-01-28 | 广州华多网络科技有限公司 | 面部表情迁移方法、装置、存储介质及计算机设备 |
CN110490959A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 |
CN112766027A (zh) * | 2019-11-05 | 2021-05-07 | 广州虎牙科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN110807836A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
CN112164135A (zh) * | 2020-09-30 | 2021-01-01 | 山西智优利民健康管理咨询有限公司 | 一种虚拟人物形象的构建装置和方法 |
CN112543341A (zh) * | 2020-10-09 | 2021-03-23 | 广东象尚科技有限公司 | 一种一站式虚拟直播录播的方法 |
CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
Hu Ni ; Jingen Liu.3D Face Dynamic Expression Synthesis System Based on DFFD.《2019 IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC)》.2019,1125-1128. * |
Reconstructing 3D Face Model with Associated Expression Deformation from a Single Face Image via Constructing a Low-Dimensional Expression Deformation Manifold;Shu-Fan Wang;Shang-Hong Lai;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;第33卷(第10期);2115-2121 * |
人脸肌肉模型的单视频驱动;段鸿,王以孝,程义民,蔡尚书;***仿真学报(09);1268-1271 * |
基于三维动画的虚拟人物表情动作***设计;熊伟;;现代电子技术(20);97-101 * |
Also Published As
Publication number | Publication date |
---|---|
CN113744374A (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113744374B (zh) | 一种基于表情驱动的3d虚拟形象生成方法 | |
Cao et al. | Facewarehouse: A 3d facial expression database for visual computing | |
CN106023288B (zh) | 一种基于图像的动态替身构造方法 | |
Noh et al. | A survey of facial modeling and animation techniques | |
Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
KR102353556B1 (ko) | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 | |
US11158104B1 (en) | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation | |
CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
CN117496072B (zh) | 一种三维数字人生成和交互方法及*** | |
Song et al. | A generic framework for efficient 2-D and 3-D facial expression analogy | |
CN112116699A (zh) | 一种基于3d人脸跟踪的实时真人虚拟试发方法 | |
Kim et al. | 3D virtual simulator for breast plastic surgery | |
EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
Chen et al. | Character animation creation using hand-drawn sketches | |
CN115457171A (zh) | 一种采用基表情空间变换的高效表情迁移方法 | |
Hou et al. | Real-time markerless facial motion capture of personalized 3D real human research | |
CN117893642B (zh) | 一种面部形状重塑与五官交换的换脸方法 | |
US20240169635A1 (en) | Systems and Methods for Anatomically-Driven 3D Facial Animation | |
Zhang et al. | Synthesis of 3D faces using region‐based morphing under intuitive control | |
CN117893642A (zh) | 一种面部形状重塑与五官交换的换脸方法 | |
Cho et al. | Emotional avatars: appearance augmentation and animation based on facial expression analysis | |
Bai et al. | Construction of virtual image synthesis module based on computer technology | |
You et al. | High-Quality Facial Expression Animation Synthesis System Based on Virtual Reality | |
Lin et al. | High resolution calibration of motion capture data for realistic facial animation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |