CN111724457A - 基于ue4的真实感虚拟人多模态交互实现方法 - Google Patents
基于ue4的真实感虚拟人多模态交互实现方法 Download PDFInfo
- Publication number
- CN111724457A CN111724457A CN202010168192.2A CN202010168192A CN111724457A CN 111724457 A CN111724457 A CN 111724457A CN 202010168192 A CN202010168192 A CN 202010168192A CN 111724457 A CN111724457 A CN 111724457A
- Authority
- CN
- China
- Prior art keywords
- module
- making
- animation
- action
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 title claims abstract description 25
- 230000009471 action Effects 0.000 claims abstract description 52
- 230000014509 gene expression Effects 0.000 claims abstract description 35
- 239000000463 material Substances 0.000 claims abstract description 20
- 241000282414 Homo sapiens Species 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 14
- 238000003058 natural language processing Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 10
- 230000008921 facial expression Effects 0.000 claims abstract description 9
- 238000013461 design Methods 0.000 claims abstract description 8
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 7
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 claims abstract description 5
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 230000000875 corresponding effect Effects 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 12
- 210000001508 eye Anatomy 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004040 coloring Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000037308 hair color Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 4
- 241000282412 Homo Species 0.000 abstract 1
- 230000008859 change Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于UE4的真实感虚拟人多模态交互实现方法，其中方法包括：资源制作、资源组装和功能制作。***包括资源制作模块：用于进行角色模型制作、面部表情BlendShape制作、骨骼蒙皮绑定、动作制作、贴图制作以及材质调整；资源组装模块：用于进行场景搭建、灯光设计以及UI界面搭建；功能制作模块：用于识别用户语音输入，根据输入进行智能回答，并能播放语音、***动画、表情动画、肢体动作，体现出交互的多模态性。此模块具体包括语音识别模块、智能问答模块、中文自然语言处理模块、语音合成模块、***动画模块、表情动画模块和肢体动作模块。该***具备类似真人的亲和力，能够更容易被用户接受；更符合人类的交互习惯，能让应用有更大的普及范围；能够使应用真正具备“智能”，使应用的响应更合乎人类逻辑。
Description
技术领域
本发明涉及计算机软件领域，尤其是基于UE4的真实感虚拟人多模态交互实现方法及***。
背景技术
当前数字虚拟人技术研究非常火热，作为下一代智能人机交互方式，数字虚拟人有着非常广泛的商业落地应用场景，比如虚拟偶像、虚拟演员、虚拟主播等将会在游戏、影视、金融服务、教育、医疗等产业进行落地。
但是大多数数字虚拟人以卡通人物进行呈现，而且只有简单的表情或者***表现，无法在应用在多数领域。现有游戏引擎，尤其以UE4为代表的次世代游戏引擎，在人物、场景真实感渲染表现上有着人眼难以分辨真假的渲染效果，但是缺乏语音输入、没有专业领域或者通用的问答***，因此无法给出符合人类行为习惯的回答响应。
发明内容
为了解决以上技术问题，本发明提出基于UE4的真实感数字虚拟人多模态交互实现方法及***，实现真实感的数字虚拟人，具备高准确率的语音识别能力、具备专业领域的语音回答，同时有自然逼真的***表情动画、肢体动作等表现，是真正的下一代智能交互方式的体现，按照本***的实现方法可以在多数产业领域进行各种数字虚拟人的深度应用定制，有着很大的商业应用前景。
为了实现上述目的，本发明采用的方案是：
基于UE4的真实感数字虚拟人多模态交互实现方法，包含以下步骤：
S1，资源制作，包括：
模型制作：按次世代标准进行角色模型制作，着重表现嘴部、脸部、眼部细节，带法线贴图；
面部表情BlendShape制作：在Maya中，按脸部动作编码***(FACS) 制作46个表情单元BlendShape；
骨骼蒙皮绑定：在Maya中，按照人物骨骼进行模型绑定，并刷好顶点权重；
动作制作：在Maya中，制作基本口型动作序列、非语言行为动作序列；
贴图制作：在Substance中制作4K高清漫反射贴图、高光贴图、粗糙度贴图；
材质调整：在UE4中，使用次表面轮廓着色模型调整皮肤材质参数，使用毛发着色模型调整毛发材质参数，使用眼睛着色模型调整眼睛材质参数，并将制作的贴图设置到各个材质参数中去，最终达到逼真的渲染效果；
S2，资源组装，包括：
场景搭建：在UE4中，创建场景Level，导入角色模型并调整好相机位置；
灯光设计：在UE4中，仿照摄影棚的灯光布置，利用多个点光源搭建面光源并设置灯光的颜色位置等参数；
UI界面搭建：在UE4中，利用UMG搭建回答文本，麦克风状态指示等UI 界面；
S3，功能制作，包括：
语音识别模块制作：开启独立线程监听麦克风音频数据，使用Websocket 协议将音频数据及相关接口参数不断发往语音识别后台服务程序，并解析服务返回的数据得到识别文本；
智能问答模块制作：将识别得到的文本通过Http Post请求发往后台问答***程序，并解析服务返回的回答文本；
中文自然语言处理模块制作：经解析得到的回答文本通过Http Post请求发往中文自然语言处理服务程序，并解析得到中文分词及情感结果；
语音合成模块制作：将解析得到的回答文本通过HttpPost请求发往后台语音合成服务程序，并解析得到返回的语音音频数据及中文音素时间序列数据，音频数据直接调用***播放音频接口播放出声音；
***动画模块制作：将解析得到的中文音素时间序列数据及中文分词，调用动画引擎中***控制器提供的接口，经过对对应口型动作序列进行插值运算播放出***动画；
表情动画模块制作：将中文自然语言处理模块计算的情感结果，调用动画引擎中面部控制器提供的接口，经过对对应表情单元的BlendShape进行插值运算播放出表情动画；
肢体动作模块制作：将解析得到的中文分词，调用动画引擎中NVBG模块提供的接口，计算得到头部动作Bml、眼球动作Bml、手部动作Bml，由Bml 解析模块触发对应的头部控制器、眼球控制器、手部控制器对对应的动作序列进行插值运算播放出头部动作、眼球动作、手部动作。
基于UE4的真实感数字虚拟人多模态交互***，包括：
资源制作模块：用于进行角色模型制作、面部表情BlendShape制作、骨骼蒙皮绑定、动作制作、贴图制作以及材质调整；
资源组装模块：用于进行场景搭建、灯光设计以及UI界面搭建；
功能制作模块：用于识别用户语音输入，根据输入进行智能回答，并能播放语音、***动画、表情动画、肢体动作，体现出交互的多模态性。此模块具体包括语音识别模块、智能问答模块、中文自然语言处理模块、语音合成模块、***动画模块、表情动画模块和肢体动作模块。
作为下一代智能交互方式，本发明的有益效果有：
1、该***具备真实感虚拟人形象并且有符合人类行为习惯的***、表情、肢体等响应，使接入该***的应用具备类似真人的亲和力，能够更容易被用户接受；
2、该***具备语音识别交互能力，能够替代现有的PC机键盘鼠标输入方式和手机等触摸设备的触摸交互方式，更符合人类的交互习惯，能让应用有更大的普及范围；
3、该***具备专业领域的问答***，能够使应用真正具备“智能”，使应用的响应更合乎人类逻辑。
附图说明
下面将简要说明本发明所使用的附图，这些附图仅用于解释本发明的构思。
图1为本发明基于UE4的真实感数字虚拟人多模态交互实现方法的流程图。
图2为本发明功能制作的流程图。
具体实施方式
在下文中，将参照附图进一步描述本发明。
在进行具体实施方式陈述之前，需要解释一些专用名词：
UE4是UNREAL ENGINE 4的简写，中文：虚幻引擎4，UE4是目前世界最知名授权最广的顶尖游戏引擎。
BlendShape是顶点变形动画，一般用于表情制作。
Maya是欧特克公司制作的一款关于3D数字动画和视觉效果的世界领先软件应用程序。
Substance是一款功能强大的3D纹理贴图制作软件。
UMG是Unreal Motion Graphics的简写，中文：虚幻运动图形界面设计器，UMG是UE4编辑器中的UI界面制作模块；
NVBG是NonVerbal-Behavior-Generator的简写，中文：非语言行为生成器。
Bml是Behavior Markup Language的简写，中文：行为标记语言。
Matinee是UE4提供的轨迹动画编辑器，可以拥有制作相机动画。
如图1所示，基于UE4的真实感数字虚拟人多模态交互实现方法，包括以下步骤：
一、资源制作
1.模型制作：按次世代标准进行角色模型制作，带法线贴图，让模型的轮廓更加清晰，着重表现嘴部、脸部、眼部细节。特别地，为了让角色模型的脸部、嘴部、眼角等在做表情或者说话时更加自然，模型需要按照四边面制作，且布线需要符合人体解剖学。
2.面部表情BlendShape制作：在Maya中，按脸部动作编码***(FACS) 制作46个表情单元BlendShape，通过这些基础表情单元按脸部肌肉变化规律进行组合可以丰富地表现人的各种表情。
3.骨骼蒙皮绑定：在Maya中，按照人物骨骼进行模型绑定，并刷好顶点权重，通过骨骼的几何空间变化带动皮肤顶点变化从而逼真的表现人体肢体的动作。
4.动作制作：在Maya中，制作基本口型动作序列、非语言行为动作序列，人物说话的口型变化由一些基本的口型动作序列进行插值计算来表现，人物的非语言行为动作序列指针对特定人物具有的常见习惯性动作。动作序列由一系列关键帧构成，每个关键帧需要调整相关骨骼的位置值、旋转值为合适的值。
5.贴图制作：在Substance中制作4K高清漫反射贴图、高光贴图、粗糙度贴图，通过这些高清贴图来细致地表现人物细节，使人物模型变得非常逼真，光影效果更自然。
6.材质调整：在UE4中，使用次表面轮廓着色模型调整皮肤材质参数，使用毛发着色模型调整毛发材质参数，使用眼睛着色模型调整眼睛材质参数，并将制作的贴图设置到各个材质参数中去，最终达到逼真的渲染效果。
二、资源组装
1.场景搭建：在UE4中，创建场景Level，导入角色模型，导入时注意保持模型原有模型的顶点法线；把模型放在合适地位置，将模型的材质逐一进行设置；创建观察相机，调整到合适位置，作为默认相机位置。特别地，使用UE4的Matinee编辑器制作相机动画，在要表现脸部表情时播放相机动画把相机移动到可以合适观察脸部的位置，在表现肢体动作时播放相机动画把相机移动到可以合适观察肢体动作的位置。
2.灯光设计：在UE4中，仿照摄影棚的灯光布置，利用多个点光源搭建面光源并设置灯光的颜色位置等参数。特别地，在保证稳定的30帧左右的帧率前提下，使用UE4蓝图编写代码将多个点光源组织成面光源，调整光源方向、位置来照射人物角色。
3.UI界面搭建：在UE4中，利用UMG搭建回答文本，麦克风状态指示等 UI界面。
三、功能制作
如图2所示，功能制作包括以下模块的制作：
1.语音识别模块制作：开启独立线程监听麦克风音频数据，使用 Websocket协议将音频数据及相关接口参数不断发往语音识别后台服务程序，并解析服务返回的数据得到识别文本。
2.智能问答模块制作：将识别得到的文本通过Http Post请求发往后台问答***程序，并解析服务返回的回答文本。为了不阻塞主程序，请求的发送功能被封装在独立的工作线程中，由工作线程监听服务的返回。
3.中文自然语言处理模块制作：经解析得到的回答文本通过Http Post 请求发往中文自然语言处理服务程序，并解析得到中文分词及情感结果。特别地，为了合理地表达人物情绪，每个句子对应一种情绪状态，这样相比按分词对应情绪的方案，不会导致情绪突变，同时情感持续时间会比较长，符合人类情绪表现规律。
4.语音合成模块制作：将解析得到的回答文本通过HttpPost请求发往后台语音合成服务程序，并解析得到返回的语音音频数据及中文音素时间序列数据，音频数据直接调用***播放音频接口播放出声音。为了保证语音返回的及时性，需要对回答文本进行合理切分，不宜发送过长的文本，在合成语音的同时生成中文音素时间序列数据。
5.***动画模块制作：将解析得到的中文音素时间序列数据及中文分词，调用动画引擎中***控制器提供的接口，经过对对应口型动作序列进行插值运算播放出***动画。特别地，为了保证口型动画的自然连贯，动画引擎采用了缓存池技术来事先在内存中存储要用到的口型动作序列数据。
6.表情动画模块制作：将中文自然语言处理模块计算的情感结果，调用动画引擎中面部控制器提供的接口，经过对对应表情单元的BlendShape进行插值运算播放出表情动画。特别地，为了表现情感在一句话过程中的持续性，需要采用UE4的动画编辑器编辑出表情单元随时间变化的权重曲线，通过权重曲线对BlendShape实时插值运算。
7.肢体动作模块制作：将解析得到的中文分词，调用动画引擎中NVBG模块提供的接口，计算得到头部动作Bml、眼球动作Bml、手部动作Bml，由Bml 解析模块触发对应的头部控制器、眼球控制器、手部控制器对对应的动作序列进行插值运算播放出头部动作、眼球动作、手部动作。特别地，为了保持所有动作的同步，所有控制器的插值运算在一帧内按顺序进行执行，执行后结果统一在渲染时渲染出来。
基于UE4的真实感数字虚拟人多模态交互***，包括：
资源制作模块：用于进行角色模型制作、面部表情BlendShape制作、骨骼蒙皮绑定、动作制作、贴图制作以及材质调整；
资源组装模块：用于进行场景搭建、灯光设计以及UI界面搭建；
功能制作模块：用于识别用户语音输入，根据输入进行智能回答，并能播放语音、***动画、表情动画、肢体动作，体现出交互的多模态性。此模块具体包括语音识别模块、智能问答模块、中文自然语言处理模块、语音合成模块、***动画模块、表情动画模块和肢体动作模块。
资源制作模块用于资源组装模块，也用于功能制作模块，功能制作模块依赖于资源制作模块和资源组装模块。
实现了真实感的数字虚拟人，具备高准确率的语音识别能力、具备专业领域的语音回答，同时有自然逼真的***表情动画、肢体动作等表现，是真正的下一代智能交互方式的体现。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域的技术人员应该明白，在本发明的技术方案基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或者变形仍在本发明的保护范围以内。
Claims (9)
1.基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，包括以下步骤：
S1，资源制作，包括：
模型制作：按次世代标准进行角色模型制作，着重表现嘴部、脸部、眼部细节，带法线贴图；
面部表情BlendShape制作：在Maya中，按脸部动作编码***(FACS)制作46个表情单元BlendShape；
骨骼蒙皮绑定：在Maya中，按照人物骨骼进行模型绑定，并刷好顶点权重；
动作制作：在Maya中，制作基本口型动作序列、非语言行为动作序列；
贴图制作：在Substance中制作4K高清漫反射贴图、高光贴图、粗糙度贴图；
材质调整：在UE4中，使用次表面轮廓着色模型调整皮肤材质参数，使用毛发着色模型调整毛发材质参数，使用眼睛着色模型调整眼睛材质参数，并将制作的贴图设置到各个材质参数中去，最终达到逼真的渲染效果；
S2，资源组装，包括：
场景搭建：在UE4中，创建场景Level，导入角色模型并调整好相机位置；
灯光设计：在UE4中，仿照摄影棚的灯光布置，利用多个点光源搭建面光源并设置灯光的颜色位置等参数；
UI界面搭建：在UE4中，利用UMG搭建回答文本，麦克风状态指示等UI界面；
S3，功能制作，包括：
语音识别模块制作：开启独立线程监听麦克风音频数据，使用Websocket协议将音频数据及相关接口参数不断发往语音识别后台服务程序，并解析服务返回的数据得到识别文本；
智能问答模块制作：将识别得到的文本通过Http Post请求发往后台问答***程序，并解析服务返回的回答文本；
中文自然语言处理模块制作：经解析得到的回答文本通过Http Post请求发往中文自然语言处理服务程序，并解析得到中文分词及情感结果；
语音合成模块制作：将解析得到的回答文本通过Http Post请求发往后台语音合成服务程序，并解析得到返回的语音音频数据及中文音素时间序列数据，音频数据直接调用***播放音频接口播放出声音；
***动画模块制作：将解析得到的中文音素时间序列数据及中文分词，调用动画引擎中***控制器提供的接口，经过对对应口型动作序列进行插值运算播放出***动画；
表情动画模块制作：将中文自然语言处理模块计算的情感结果，调用动画引擎中面部控制器提供的接口，经过对对应表情单元的BlendShape进行插值运算播放出表情动画；
肢体动作模块制作：将解析得到的中文分词，调用动画引擎中NVBG模块提供的接口，计算得到头部动作Bml、眼球动作Bml、手部动作Bml，由Bml解析模块触发对应的头部控制器、眼球控制器、手部控制器对对应的动作序列进行插值运算播放出头部动作、眼球动作、手部动作。
2.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S1所述的模型制作中，模型需要按照四边面制作，且布线需要符合人体解剖学。
3.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S2所述的场景搭建中，使用UE4的Matinee编辑器制作相机动画，在要表现脸部表情时播放相机动画把相机移动到可以合适观察脸部的位置，在表现肢体动作时播放相机动画把相机移动到可以合适观察肢体动作的位置。
4.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S2所述的灯光设计中，在保证稳定的30帧左右的帧率前提下，使用UE4蓝图编写代码将多个点光源组织成面光源，调整光源方向、位置来照射人物角色。
5.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S3所述的中文自然语言处理模块制作中，每个句子对应一种情绪状态，符合人类情绪表现规律。
6.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S3所述的***动画模块制作中，动画引擎采用了缓存池技术来事先在内存中存储要用到的口型动作序列数据。
7.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S3所述的表情动画模块制作中，需要采用UE4的动画编辑器编辑出表情单元随时间变化的权重曲线，通过权重曲线对BlendShape实时插值运算。
8.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S3所述的肢体动作模块制作中，所有控制器的插值运算在一帧内按顺序进行执行，执行后结果统一在渲染时渲染出来。
9.利用权利要求1-8所述方法实现的***，其特征在于，包括：
资源制作模块：用于进行角色模型制作、面部表情BlendShape制作、骨骼蒙皮绑定、动作制作、贴图制作以及材质调整；
资源组装模块：用于进行场景搭建、灯光设计以及UI界面搭建；
功能制作模块：用于识别用户语音输入，根据输入进行智能回答，并能播放语音、***动画、表情动画、肢体动作，体现出交互的多模态性。此模块具体包括语音识别模块、智能问答模块、中文自然语言处理模块、语音合成模块、***动画模块、表情动画模块和肢体动作模块。
资源制作模块用于资源组装模块，也用于功能制作模块，功能制作模块依赖于资源制作模块和资源组装模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010168192.2A CN111724457A (zh) | 2020-03-11 | 2020-03-11 | 基于ue4的真实感虚拟人多模态交互实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010168192.2A CN111724457A (zh) | 2020-03-11 | 2020-03-11 | 基于ue4的真实感虚拟人多模态交互实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111724457A true CN111724457A (zh) | 2020-09-29 |
Family
ID=72563836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010168192.2A Pending CN111724457A (zh) | 2020-03-11 | 2020-03-11 | 基于ue4的真实感虚拟人多模态交互实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111724457A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348932A (zh) * | 2020-11-13 | 2021-02-09 | 广州博冠信息科技有限公司 | 口型动画录制方法及装置、电子设备、存储介质 |
| CN113160360A (zh) * | 2021-05-07 | 2021-07-23 | 深圳市灼华互娱科技有限公司 | 动画数据的制作方法、装置、设备及存储介质 |
| CN113643413A (zh) * | 2021-08-30 | 2021-11-12 | 北京沃东天骏信息技术有限公司 | 动画处理方法、装置、介质及电子设备 |
| CN113791821A (zh) * | 2021-09-18 | 2021-12-14 | 广州博冠信息科技有限公司 | 基于虚幻引擎的动画处理方法、装置、介质与电子设备 |
| CN114036257A (zh) * | 2021-10-18 | 2022-02-11 | 北京百度网讯科技有限公司 | 信息查询方法、装置、电子设备和存储介质 |
| TWI773458B (zh) * | 2020-11-25 | 2022-08-01 | 大陸商北京市商湯科技開發有限公司 | 重建人臉的方法、裝置、電腦設備及存儲介質 |
| CN115619911A (zh) * | 2022-10-26 | 2023-01-17 | 润芯微科技(江苏)有限公司 | 基于Unreal Engine的虚拟形象生成方法 |
| CN115762688A (zh) * | 2022-06-13 | 2023-03-07 | 人民卫生电子音像出版社有限公司 | 一种超仿真虚拟标准化病人构建***及诊断方法 |
| CN117877509A (zh) * | 2024-03-13 | 2024-04-12 | 亚信科技（中国）有限公司 | 一种数字人实时交互方法及装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485774A (zh) * | 2016-12-30 | 2017-03-08 | 当家移动绿色互联网技术集团有限公司 | 基于语音实时驱动人物模型的表情和姿态的方法 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及*** |
| CN110102050A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 虚拟对象显示方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-11 CN CN202010168192.2A patent/CN111724457A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485774A (zh) * | 2016-12-30 | 2017-03-08 | 当家移动绿色互联网技术集团有限公司 | 基于语音实时驱动人物模型的表情和姿态的方法 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及*** |
| CN110102050A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 虚拟对象显示方法、装置、电子设备及存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348932A (zh) * | 2020-11-13 | 2021-02-09 | 广州博冠信息科技有限公司 | 口型动画录制方法及装置、电子设备、存储介质 |
| TWI773458B (zh) * | 2020-11-25 | 2022-08-01 | 大陸商北京市商湯科技開發有限公司 | 重建人臉的方法、裝置、電腦設備及存儲介質 |
| CN113160360A (zh) * | 2021-05-07 | 2021-07-23 | 深圳市灼华互娱科技有限公司 | 动画数据的制作方法、装置、设备及存储介质 |
| CN113643413A (zh) * | 2021-08-30 | 2021-11-12 | 北京沃东天骏信息技术有限公司 | 动画处理方法、装置、介质及电子设备 |
| CN113791821A (zh) * | 2021-09-18 | 2021-12-14 | 广州博冠信息科技有限公司 | 基于虚幻引擎的动画处理方法、装置、介质与电子设备 |
| CN113791821B (zh) * | 2021-09-18 | 2023-11-17 | 广州博冠信息科技有限公司 | 基于虚幻引擎的动画处理方法、装置、介质与电子设备 |
| CN114036257A (zh) * | 2021-10-18 | 2022-02-11 | 北京百度网讯科技有限公司 | 信息查询方法、装置、电子设备和存储介质 |
| CN115762688A (zh) * | 2022-06-13 | 2023-03-07 | 人民卫生电子音像出版社有限公司 | 一种超仿真虚拟标准化病人构建***及诊断方法 |
| CN115619911A (zh) * | 2022-10-26 | 2023-01-17 | 润芯微科技(江苏)有限公司 | 基于Unreal Engine的虚拟形象生成方法 |
| CN115619911B (zh) * | 2022-10-26 | 2023-08-08 | 润芯微科技(江苏)有限公司 | 基于Unreal Engine的虚拟形象生成方法 |
| CN117877509A (zh) * | 2024-03-13 | 2024-04-12 | 亚信科技（中国）有限公司 | 一种数字人实时交互方法及装置、电子设备、存储介质 |
| CN117877509B (zh) * | 2024-03-13 | 2024-06-04 | 亚信科技（中国）有限公司 | 一种数字人实时交互方法及装置、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724457A (zh) | 基于ue4的真实感虚拟人多模态交互实现方法 | |
| CN111417987B (zh) | 用于实时复杂角色动画和交互性的***和方法 | |
| US7663628B2 (en) | Apparatus and method for efficient animation of believable speaking 3D characters in real time | |
| Lavagetto et al. | The facial animation engine: Toward a high-level interface for the design of MPEG-4 compliant animated faces | |
| US20020024519A1 (en) | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character | |
| CN111045582A (zh) | 一种个性化虚拟人像活化互动***及方法 | |
| US11005796B2 (en) | Animated delivery of electronic messages | |
| Byun et al. | FacEMOTE: Qualitative parametric modifiers for facial animations | |
| CN106471572A (zh) | 一种同步语音及虚拟动作的方法、***及机器人 | |
| CN112819933A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN114787759A (zh) | 交流支持程序、交流支持方法、交流支持***、终端装置以及非语言表达程序 | |
| US6577998B1 (en) | Systems and methods for communicating through computer animated images | |
| CN110443872B (zh) | 一种具备动态纹理细节的表情合成方法 | |
| Li et al. | A survey of computer facial animation techniques | |
| Gachery et al. | Designing MPEG-4 facial animation tables for web applications | |
| Čereković et al. | Multimodal behavior realization for embodied conversational agents | |
| Ju et al. | Expressive facial gestures from motion capture data | |
| US20040179043A1 (en) | Method and system for animating a figure in three dimensions | |
| Wang | Langwidere: a hierarchical spline based facial animation system with simulated muscles. | |
| Larboulette et al. | I am a tree: Embodiment using physically based animation driven by expressive descriptors of motion | |
| Perng et al. | Image talk: a real time synthetic talking head using one single image with chinese text-to-speech capability | |
| Arya et al. | Multispace behavioral model for face-based affective social agents | |
| Chandrasiri et al. | Internet communication using real-time facial expression analysis and synthesis | |
| CN117370605A (zh) | 一种虚拟数字人驱动方法、装置、设备和介质 | |
| Barakonyi et al. | A 3D agent with synthetic face and semiautonomous behavior for multimodal presentations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |