CN116778043B - 一种表情捕捉及动画自动生成***和方法 - Google Patents
一种表情捕捉及动画自动生成***和方法 Download PDFInfo
- Publication number
- CN116778043B CN116778043B CN202310730268.XA CN202310730268A CN116778043B CN 116778043 B CN116778043 B CN 116778043B CN 202310730268 A CN202310730268 A CN 202310730268A CN 116778043 B CN116778043 B CN 116778043B
- Authority
- CN
- China
- Prior art keywords
- animation
- facial
- information
- target object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 228
- 230000008921 facial expression Effects 0.000 claims abstract description 132
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 57
- 210000000697 sensory organ Anatomy 0.000 claims description 34
- 210000000056 organ Anatomy 0.000 claims description 21
- 239000000463 material Substances 0.000 claims description 20
- 238000010195 expression analysis Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 239000013604 expression vector Substances 0.000 claims 4
- 238000007654 immersion Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 description 14
- 230000009286 beneficial effect Effects 0.000 description 8
- 210000000887 face Anatomy 0.000 description 8
- 210000001061 forehead Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供表情捕捉及动画自动生成***和方法,其采集与分析目标对象的脸部图像,得到目标对象的五官表情信息,以此提取目标对象的五官属性信息和表情特征信息,从而对目标对象的五官表情进行量化表征,为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据,提高动画人物与目标对象在五官动作表情上的匹配度;还基于动画游戏场景的场景内容,选择匹配的动画人物脸部表情形象,并基于动画场景的画面布局信息,将动画人物脸部表情形象添加到动画游戏画面,使得生成的加工动画游戏画面,使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面。
Description
技术领域
本发明涉及图像处理的领域,尤其涉及表情捕捉及动画自动生成***和方法。
背景技术
CG动画设计或者AI动画设计已经成为动画游戏设计的主流方式,上述设计方式都可在计算机直接进行动画人物的绘制,其并不需要任何动画人物原型基础,即上述设计方式可以脱离真实真实人物形象进行动画人物的绘制,上述方式设计得到的动画游戏无法为玩家呈现与真实人物具有较大逼真切合性的动画人物,降低动画游戏的体验感和沉浸感。为此需要能够根据真实人物的实际情况,比如是真实人物的表情状态,进行针对性的动画人物形象设计,以此提高动画游戏的画面视觉沉浸感和逼真感。
发明内容
本发明的目的在于提供表情捕捉及动画自动生成***和方法,其采集与分析目标对象的脸部图像,得到目标对象的五官表情信息,以此提取目标对象的五官属性信息和表情特征信息,从而对目标对象的五官表情进行量化表征,为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据,提高动画人物与目标对象在五官动作表情上的匹配度;还基于动画游戏场景的场景内容,选择匹配的动画人物脸部表情形象,并基于动画场景的画面布局信息,将动画人物脸部表情形象添加到动画游戏画面,使得生成的加工动画游戏画面,使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面,通过捕捉真实人物表情进行动画人物设计,保证动画画面的逼真性,提高动画游戏的视觉真实感。
本发明是通过以下技术方案实现:
表情捕捉及动画自动生成***,包括:
图像拍摄与分析模块,对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息;
五官表情分析模块,从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息;
动画人物基础形象寻找与修正模块,基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正;
动画人物表情形象生成模块,基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象;
动画游戏画面生成模块,基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面;
动画游戏画面组合模块,将所有加工动画游戏画面进行组合,形成动态游戏图像,并对所述动态游戏图像进行动画视觉状态调整。
可选地,图像拍摄与分析模块对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息,包括:
对目标对象的脸部进行双目拍摄,得到双目脸部图像;基于所述双目脸部图像的双目视差,得到所述目标对象的三维脸部图像;
对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息;
若包含,则对所述三维脸部图像进行五官识别分析,得到所述目标对象在所述拍摄的时刻的五官表情信息;
五官表情分析模块从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息,包括:
从所述五官表情信息提取所述目标对象的五官外形轮廓信息,基于所述五官外形轮廓信息,生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息,以此作为所述五官属性信息;
从所述五官表情信息提取所述目标对象的实时五官位置信息,将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比,得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息,以此作为所述表情特征信息。
可选地,动画人物基础形象寻找与修正模块基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正,包括:
基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息,从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象;
基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息,对所述动画人物脸部基础形象进行五官线条粗细修正;
动画人物表情形象生成模块基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象,包括:
基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息,对所述动画人物脸部基础形象进行动画人物五官位置调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。
可选地,动画游戏画面生成模块基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面,包括:
基于动画游戏场景的场景故事内容信息,选择相匹配的动画人物脸部表情形象;
基于所述动画场景的画面背景布局信息,确定所述动画场景中允许添加动画人物的画面区域;再基于所述画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后,将所述动画人物添加到相应的动画游戏画面中,形成加工动画游戏画面;
动画游戏画面组合模块将所有加工动画游戏画面进行组合,形成动态游戏图像,并对所述动态游戏图像进行动画视觉状态调整,包括:
按照所有加工动画游戏画面的分镜关系信息,将所有加工画面游戏画面进行组合,形成动态游戏图像。
可选地,动画游戏画面组合模块形成动态游戏图像后,将所述动态游戏图像上传至云端进行预定位置存储空间的保存。
表情捕捉及动画自动生成方法,包括:
对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息;
从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息;
基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正;
基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象;
基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面;
将所有加工动画游戏画面进行组合,形成动态游戏图像。
可选地,对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息,包括:
对目标对象的脸部进行双目拍摄,得到双目脸部图像;基于所述双目脸部图像的双目视差,得到所述目标对象的三维脸部图像;
对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息;
若包含,则对所述三维脸部图像进行五官识别分析,得到所述目标对象在所述拍摄的时刻的五官表情信息;
从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息,包括:
从所述五官表情信息提取所述目标对象的五官外形轮廓信息,基于所述五官外形轮廓信息,生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息,以此作为所述五官属性信息;
从所述五官表情信息提取所述目标对象的实时五官位置信息,将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比,得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息,以此作为所述表情特征信息。
可选地,对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息,包括:
步骤S1,完整脸部轮廓是不会出现多个轮廓位置点共线的情况,为此利用下面公式(1),根据脸部轮廓中坐标点,得到每个坐标点对应的单位方向向量,
在上述公式(1)中,[x(a,b),y(a,b)]表示脸部轮廓中坐标点[X(b),Y(b)]指向坐标点[X(a),Y(a)]的单位方向向量;[X(a),Y(a)]表示脸部轮廓中的第a个坐标点;[X(b),Y(b)]表示脸部轮廓中的第b个坐标点;
步骤S2,若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量,则利用下面公式(2),判断两个向量是否存在共线现象,
在上述公式(2)中,F(a,b,c)表示向量[x(a,b),y(a,b)]和向量[x(a,c),y(a,c)]的共线判断值;(0,0)表示零向量;[x(a,c),y(a,c)]表示脸部轮廓中坐标点[X(c),Y(c)]指向坐标点[X(a),Y(a)]的单位向量;[X(c),Y(c)]表示脸部轮廓中的第c个坐标点;
若F(a,b,c)=1,则表示向量[x(a,b),y(a,b)]与向量[x(a,c),y(a,c)]共线;
若F(a,b,c)=0,则表示向量[x(a,b),y(a,b)]与向量[x(a,c),y(a,c)]不共线;
步骤S3,若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息,并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线,利用下面公式(3),根据每个坐标点的向量情况,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息,
在上述公式(3)中,E表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值;n表示所述脸部轮廓中坐标点的总个数;表示将的值从1取值到n同时保证c≠a且c≠b代入到求和算式中进行求和;
若E=1,则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息,此时不控制对所述三维脸部图像进行五官识别分析;
若E=0,则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息,此时控制对所述三维脸部图像进行五官识别分析。
可选地,基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正,包括:
基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息,从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象;
基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息,对所述动画人物脸部基础形象进行五官线条粗细修正;
基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象,包括:
基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息,对所述动画人物脸部基础形象进行动画人物五官位置调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。
可选地,基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面,包括:
基于动画游戏场景的场景故事内容信息,选择相匹配的动画人物脸部表情形象;
基于所述动画场景的画面背景布局信息,确定所述动画场景中允许添加动画人物的画面区域;再基于所述画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后,将所述动画人物添加到相应的动画游戏画面中,形成加工动画游戏画面;
将所有加工动画游戏画面进行组合,形成动态游戏图像,包括:
按照所有加工动画游戏画面的分镜关系信息,将所有加工画面游戏画面进行组合,形成动态游戏图像。
与现有技术相比,本发明具有如下有益效果:
本申请提供的表情捕捉及动画自动生成***和方法采集与分析目标对象的脸部图像,得到目标对象的五官表情信息,以此提取目标对象的五官属性信息和表情特征信息,从而对目标对象的五官表情进行量化表征,为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据,提高动画人物与目标对象在五官动作表情上的匹配度;还基于动画游戏场景的场景内容,选择匹配的动画人物脸部表情形象,并基于动画场景的画面布局信息,将动画人物脸部表情形象添加到动画游戏画面,使得生成的加工动画游戏画面,使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面,通过捕捉真实人物表情进行动画人物设计,保证动画画面的逼真性,提高动画游戏的视觉真实感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1为本发明提供的表情捕捉及动画自动生成***的结构示意图。
图2为本发明提供的表情捕捉及动画自动生成方法的流程示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂,下面结合附图,对本申请的具体实施方式做详细的说明。可以理解的是,此处所描述的具体实施例仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示,本申请一实施例提供的表情捕捉及动画自动生成***包括:
图像拍摄与分析模块,对目标对象的脸部进行拍摄,得到目标对象的脸部图像,并对脸部图像进行分析,得到目标对象的五官表情信息;
五官表情分析模块,从五官表情信息,提取目标对象的五官属性信息和表情特征信息;
动画人物基础形象寻找与修正模块,基于五官属性信息,从动画素材库寻找与目标对象匹配的动画人物脸部基础形象,并对动画人物脸部基础形象进行修正;
动画人物表情形象生成模块,基于表情特征信息,对动画人物脸部基础形象进行动画人物五官状态调整,得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象;
动画游戏画面生成模块,基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面;
动画游戏画面组合模块,将所有加工动画游戏画面进行组合,形成动态游戏图像,并对动态游戏图像进行动画视觉状态调整。
上述实施例的有益效果,该表情捕捉及动画自动生成***采集与分析目标对象的脸部图像,得到目标对象的五官表情信息,以此提取目标对象的五官属性信息和表情特征信息,从而对目标对象的五官表情进行量化表征,为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据,提高动画人物与目标对象在五官动作表情上的匹配度;还基于动画游戏场景的场景内容,选择匹配的动画人物脸部表情形象,并基于动画场景的画面布局信息,将动画人物脸部表情形象添加到动画游戏画面,使得生成的加工动画游戏画面,使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面,通过捕捉真实人物表情进行动画人物设计,保证动画画面的逼真性,提高动画游戏的视觉真实感。
在另一实施例中,图像拍摄与分析模块对目标对象的脸部进行拍摄,得到目标对象的脸部图像,并对脸部图像进行分析,得到目标对象的五官表情信息,包括:
对目标对象的脸部进行双目拍摄,得到双目脸部图像;基于双目脸部图像的双目视差,得到目标对象的三维脸部图像;
对三维脸部图像进行脸部轮廓识别处理,判断三维脸部图像是否包含目标对象的完整脸部轮廓信息;
若包含,则对三维脸部图像进行五官识别分析,得到目标对象在拍摄的时刻的五官表情信息;
五官表情分析模块从五官表情信息,提取目标对象的五官属性信息和表情特征信息,包括:
从五官表情信息提取目标对象的五官外形轮廓信息,基于五官外形轮廓信息,生成目标对象的五官形状尺寸信息和五官轮廓深度信息,以此作为五官属性信息;
从五官表情信息提取目标对象的实时五官位置信息,将目标对象处于无表情状态下的原始五官位置信息与实时五官位置信息进行对比,得到目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息,以此作为表情特征信息。
上述实施例的有益效果,对真实世界存在的真实人物等目标对象的脸部区域进行双目拍摄,得到双目脸部对象,计算双目脸部对象的双目视差,以此生成目标对象的三维脸部图像。该三维脸部图像包含目标对象的脸部外形轮廓个五官轮廓的特征信息。对三维脸部图像进行脸部轮廓识别处理,判断三维脸部图像是否包含目标对象整个脸部的外形轮廓(比如从额头到脸颊外侧再到下巴的整个外形轮廓),若包含目标对象整个脸部的外形轮廓,表明三维脸部图像的脸部轮廓信息完整齐全,此时从三维脸部图像中提取目标对象在拍摄时刻对应的五官表情信息,从而对目标对象在拍摄时刻的表情状态进行准确全面捕捉。此外,还对五官表情信息进行五官外形轮廓信息和实时五官位置信息,从而对目标对象的五官形状尺寸和五官动作状态,便于为后续设计动画人物脸部提供可靠的依据。
在另一实施例中,动画人物基础形象寻找与修正模块基于五官属性信息,从动画素材库寻找与目标对象匹配的动画人物脸部基础形象,并对动画人物脸部基础形象进行修正,包括:
基于五官属性信息包含的目标对象的五官形状尺寸信息,从动画素材库中寻找与目标对象具有最高五官相似度的动画人物脸部基础形象;
基于五官属性信息包含的目标对象的五官轮廓深度信息,对动画人物脸部基础形象进行五官线条粗细修正;
动画人物表情形象生成模块基于表情特征信息,对动画人物脸部基础形象进行动画人物五官状态调整,得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象,包括:
基于表情特征信息包含的目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息,对动画人物脸部基础形象进行动画人物五官位置调整,得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象。
上述实施例的有益效果,以目标对象的五官形状尺寸信息为基准,对动画素材库中包含的所有动画人物脸部基础形象进行五官相似度的匹配计算,从中选择与目标对象具有最高五官相似度的动画人物脸部基础形象,确保选择的动画人物脸部基础形象与目标对象的脸部外观具有高度匹配性;还基于五官轮廓深度信息,对动画人物脸部基础形象进行五官线条粗细修正,即当五官某一部位的轮廓深度大于或等于预设深度阈值,则增大动画人物脸部基础形象中对应部位的线条粗度,否则,减小动画人物脸部基础形象中对应部分为线条粗度。此外,以目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息为基准,将动画人物脸部基础形象中动画人物五官进行位置调整,使得调整后的动画人物脸部表情与拍摄时刻目标对象的表情相一致,保证动画人物的表情真实性。
在另一实施例中,动画游戏画面生成模块基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面,包括:
基于动画游戏场景的场景故事内容信息,选择相匹配的动画人物脸部表情形象;
基于动画场景的画面背景布局信息,确定动画场景中允许添加动画人物的画面区域;再基于画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后,将动画人物添加到相应的动画游戏画面中,形成加工动画游戏画面;
动画游戏画面组合模块将所有加工动画游戏画面进行组合,形成动态游戏图像,并对动态游戏图像进行动画视觉状态调整,包括:
按照所有加工动画游戏画面的分镜关系信息,将所有加工画面游戏画面进行组合,形成动态游戏图像。
上述实施例的有益效果,根据动画游戏场景中提取动画游戏的场景故事内容信息(比如动画游戏的场景故事文本信息等),以此选择相匹配的动画人物脸部表情形象,比如在危险场景中,选择惊慌表情类型的动画人物脸部表情形象等;还有,根据动画场景的画面背景布局信息,确定动画场景中允许添加动画人物的画面区域,比如根据动画场景中画面背景的背景物体大小和存在位置,从动画场景中选择允许添加动画人物的画面区域,即当选择的画面区域添加上动画人物后,动画人物与画面背景中存在的背景物体干扰最小(比如对画面背景中存在的背景物体的覆盖遮掩面积最小)。再基于画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整,根据画面区域的面积改变选择的动画人物的大小,使得动画人物的大小与背景物体的大小满足相应的比例条件;还根据画面区域的色度分布改变选择的动画人物的色度,避免动画人物的色度与画面区域的色度过于接近而无法正确识别动画人物。此外,按照所有加工动画游戏画面的分镜关系信息,确定所有加工动画游戏画面的出现先后顺序,以此将所有加工画面游戏画面组合形成动态游戏图像,实现动画游戏的准确组合生成。
在另一实施例中,动画游戏画面组合模块形成动态游戏图像后,将动态游戏图像上传至云端进行预定位置存储空间的保存。
上述实施例的有益效果,利用云端将动态游戏图像进行定向保存,能够保证动态游戏图像的存储安全性和后续读取便捷性。
请参阅图2所示,本申请一实施例提供的表情捕捉及动画自动生成方法包括:
对目标对象的脸部进行拍摄,得到目标对象的脸部图像,并对脸部图像进行分析,得到目标对象的五官表情信息;
从五官表情信息,提取目标对象的五官属性信息和表情特征信息;
基于五官属性信息,从动画素材库寻找与目标对象匹配的动画人物脸部基础形象,并对动画人物脸部基础形象进行修正;
基于表情特征信息,对动画人物脸部基础形象进行动画人物五官状态调整,得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象;
基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面;
将所有加工动画游戏画面进行组合,形成动态游戏图像。
上述实施例的有益效果,该表情捕捉及动画自动生成方法采集与分析目标对象的脸部图像,得到目标对象的五官表情信息,以此提取目标对象的五官属性信息和表情特征信息,从而对目标对象的五官表情进行量化表征,为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据,提高动画人物与目标对象在五官动作表情上的匹配度;还基于动画游戏场景的场景内容,选择匹配的动画人物脸部表情形象,并基于动画场景的画面布局信息,将动画人物脸部表情形象添加到动画游戏画面,使得生成的加工动画游戏画面,使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面,通过捕捉真实人物表情进行动画人物设计,保证动画画面的逼真性,提高动画游戏的视觉真实感。
在另一实施例中,对目标对象的脸部进行拍摄,得到目标对象的脸部图像,并对脸部图像进行分析,得到目标对象的五官表情信息,包括:
对目标对象的脸部进行双目拍摄,得到双目脸部图像;基于双目脸部图像的双目视差,得到目标对象的三维脸部图像;
对三维脸部图像进行脸部轮廓识别处理,判断三维脸部图像是否包含目标对象的完整脸部轮廓信息;
若包含,则对三维脸部图像进行五官识别分析,得到目标对象在拍摄的时刻的五官表情信息;
从五官表情信息,提取目标对象的五官属性信息和表情特征信息,包括:
从五官表情信息提取目标对象的五官外形轮廓信息,基于五官外形轮廓信息,生成目标对象的五官形状尺寸信息和五官轮廓深度信息,以此作为五官属性信息;
从五官表情信息提取目标对象的实时五官位置信息,将目标对象处于无表情状态下的原始五官位置信息与实时五官位置信息进行对比,得到目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息,以此作为表情特征信息。
上述实施例的有益效果,对真实世界存在的真实人物等目标对象的脸部区域进行双目拍摄,得到双目脸部对象,计算双目脸部对象的双目视差,以此生成目标对象的三维脸部图像。该三维脸部图像包含目标对象的脸部外形轮廓个五官轮廓的特征信息。对三维脸部图像进行脸部轮廓识别处理,判断三维脸部图像是否包含目标对象整个脸部的外形轮廓(比如从额头到脸颊外侧再到下巴的整个外形轮廓),若包含目标对象整个脸部的外形轮廓,表明三维脸部图像的脸部轮廓信息完整齐全,此时从三维脸部图像中提取目标对象在拍摄时刻对应的五官表情信息,从而对目标对象在拍摄时刻的表情状态进行准确全面捕捉。此外,还对五官表情信息进行五官外形轮廓信息和实时五官位置信息,从而对目标对象的五官形状尺寸和五官动作状态,便于为后续设计动画人物脸部提供可靠的依据。
在另一实施例中,对三维脸部图像进行脸部轮廓识别处理,判断三维脸部图像是否包含目标对象的完整脸部轮廓信息,包括:
步骤S1,完整脸部轮廓是不会出现多个轮廓位置点共线的情况,为此利用下面公式(1),根据脸部轮廓中坐标点,得到每个坐标点对应的单位方向向量,
在上述公式(1)中,[x(a,b),y(a,b)]表示脸部轮廓中坐标点[X(b),Y(b)]指向坐标点[X(a),Y(a)]的单位方向向量;[X(a),Y(a)]表示脸部轮廓中的第a个坐标点;[X(b),Y(b)]表示脸部轮廓中的第b个坐标点;
步骤S2,若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量,则利用下面公式(2),判断两个向量是否存在共线现象,
在上述公式(2)中,F(a,b,c)表示向量[x(a,b),y(a,b)]和向量[x(a,c),y(a,c)]的共线判断值;(0,0)表示零向量;[x(a,c),y(a,c)]表示脸部轮廓中坐标点[X(c),Y(c)]指向坐标点[X(a),Y(a)]的单位向量;[X(c),Y(c)]表示脸部轮廓中的第c个坐标点;
若F(a,b,c)=1,则表示向量[x(a,b),y(a,b)]与向量[x(a,c),y(a,c)]共线;
若F(a,b,c)=0,则表示向量[x(a,b),y(a,b)]与向量[x(a,c),y(a,c)]不共线;
步骤S3,若脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定三维脸部图像不包含目标对象的完整脸部轮廓信息,并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线,利用下面公式(3),根据每个坐标点的向量情况,判断三维脸部图像是否包含目标对象的完整脸部轮廓信息,
在上述公式(3)中,E表示三维脸部图像是否包含目标对象的完整脸部轮廓信息的确定值;n表示脸部轮廓中坐标点的总个数;表示将的值从1取值到n同时保证c≠a且c≠b代入到求和算式中进行求和;
若E=1,则表示三维脸部图像不包含目标对象的完整脸部轮廓信息,此时不控制对三维脸部图像进行五官识别分析;
若E=0,则表示三维脸部图像包含目标对象的完整脸部轮廓信息,此时控制对三维脸部图像进行五官识别分析。
上述实施例的有益效果,利用上述公式(1),根据脸部轮廓中坐标点,得到每个坐标点对应的单位方向向量,将坐标点转换成向量可以更加高效的判断方向的共线问题;再利用上述公式(2),判断两个向量是否存在共线现象,利用方向向量共线的特点进行判断和计算可以有效的节省***时间,提高***的工作效率;最后利用上述公式(3),根据每个坐标点的向量情况,判断三维脸部图像是否包含目标对象的完整脸部轮廓信息,进而准确的快速的判断出三维脸部图像是否包含目标对象的完整脸部轮廓信息,同时进行可靠的控制,确保***的准确性以及可靠性。
在另一实施例中,基于五官属性信息,从动画素材库寻找与目标对象匹配的动画人物脸部基础形象,并对动画人物脸部基础形象进行修正,包括:
基于五官属性信息包含的目标对象的五官形状尺寸信息,从动画素材库中寻找与目标对象具有最高五官相似度的动画人物脸部基础形象;
基于五官属性信息包含的目标对象的五官轮廓深度信息,对动画人物脸部基础形象进行五官线条粗细修正;
基于表情特征信息,对动画人物脸部基础形象进行动画人物五官状态调整,得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象,包括:
基于表情特征信息包含的目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息,对动画人物脸部基础形象进行动画人物五官位置调整,得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象。
上述实施例的有益效果,以目标对象的五官形状尺寸信息为基准,对动画素材库中包含的所有动画人物脸部基础形象进行五官相似度的匹配计算,从中选择与目标对象具有最高五官相似度的动画人物脸部基础形象,确保选择的动画人物脸部基础形象与目标对象的脸部外观具有高度匹配性;还基于五官轮廓深度信息,对动画人物脸部基础形象进行五官线条粗细修正,即当五官某一部位的轮廓深度大于或等于预设深度阈值,则增大动画人物脸部基础形象中对应部位的线条粗度,否则,减小动画人物脸部基础形象中对应部分为线条粗度。此外,以目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息为基准,将动画人物脸部基础形象中动画人物五官进行位置调整,使得调整后的动画人物脸部表情与拍摄时刻目标对象的表情相一致,保证动画人物的表情真实性。
在另一实施例中,基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面,包括:
基于动画游戏场景的场景故事内容信息,选择相匹配的动画人物脸部表情形象;
基于动画场景的画面背景布局信息,确定动画场景中允许添加动画人物的画面区域;再基于画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后,将动画人物添加到相应的动画游戏画面中,形成加工动画游戏画面;
将所有加工动画游戏画面进行组合,形成动态游戏图像,包括:
按照所有加工动画游戏画面的分镜关系信息,将所有加工画面游戏画面进行组合,形成动态游戏图像。
上述实施例的有益效果,根据动画游戏场景中提取动画游戏的场景故事内容信息(比如动画游戏的场景故事文本信息等),以此选择相匹配的动画人物脸部表情形象,比如在危险场景中,选择惊慌表情类型的动画人物脸部表情形象等;还有,根据动画场景的画面背景布局信息,确定动画场景中允许添加动画人物的画面区域,比如根据动画场景中画面背景的背景物体大小和存在位置,从动画场景中选择允许添加动画人物的画面区域,即当选择的画面区域添加上动画人物后,动画人物与画面背景中存在的背景物体干扰最小(比如对画面背景中存在的背景物体的覆盖遮掩面积最小)。再基于画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整,根据画面区域的面积改变选择的动画人物的大小,使得动画人物的大小与背景物体的大小满足相应的比例条件;还根据画面区域的色度分布改变选择的动画人物的色度,避免动画人物的色度与画面区域的色度过于接近而无法正确识别动画人物。此外,按照所有加工动画游戏画面的分镜关系信息,确定所有加工动画游戏画面的出现先后顺序,以此将所有加工画面游戏画面组合形成动态游戏图像,实现动画游戏的准确组合生成。
总体而言,表情捕捉及动画自动生成***和方法采集与分析目标对象的脸部图像,得到目标对象的五官表情信息,以此提取目标对象的五官属性信息和表情特征信息,从而对目标对象的五官表情进行量化表征,为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据,提高动画人物与目标对象在五官动作表情上的匹配度;还基于动画游戏场景的场景内容,选择匹配的动画人物脸部表情形象,并基于动画场景的画面布局信息,将动画人物脸部表情形象添加到动画游戏画面,使得生成的加工动画游戏画面,使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面,通过捕捉真实人物表情进行动画人物设计,保证动画画面的逼真性,提高动画游戏的视觉真实感。
上述仅为本发明的一个具体实施方式,其它基于本发明构思的前提下做出的任何改进都视为本发明的保护范围。
Claims (7)
1.表情捕捉及动画自动生成***,其特征在于,包括:
图像拍摄与分析模块,对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息;
五官表情分析模块,从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息;
动画人物基础形象寻找与修正模块,基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正;
动画人物表情形象生成模块,基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象;
动画游戏画面生成模块,基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面;
动画游戏画面组合模块,将所有加工动画游戏画面进行组合,形成动态游戏图像,并对所述动态游戏图像进行动画视觉状态调整;
图像拍摄与分析模块对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息,包括:
对目标对象的脸部进行双目拍摄,得到双目脸部图像;基于所述双目脸部图像的双目视差,得到所述目标对象的三维脸部图像;
对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息;
若包含,则对所述三维脸部图像进行五官识别分析,得到所述目标对象在所述拍摄的时刻的五官表情信息;
五官表情分析模块从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息,包括:
从所述五官表情信息提取所述目标对象的五官外形轮廓信息,基于所述五官外形轮廓信息,生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息,以此作为所述五官属性信息;
从所述五官表情信息提取所述目标对象的实时五官位置信息,将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比,得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息,以此作为所述表情特征信息;
对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息,包括:
步骤S1,完整脸部轮廓是不会出现多个轮廓位置点共线的情况,为此利用下面公式(1),根据脸部轮廓中坐标点,得到每个坐标点对应的单位方向向量,
(1)
在上述公式(1)中,表示脸部轮廓中坐标点/>指向坐标点的单位方向向量;/>表示脸部轮廓中的第/>个坐标点;表示脸部轮廓中的第/>个坐标点;
步骤S2,若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量,则利用下面公式(2),判断两个向量是否存在共线现象,
(2)
在上述公式(2)中,表示向量/>和向量/>的共线判断值;/>表示零向量;/>表示脸部轮廓中坐标点/>指向坐标点/>的单位向量;/>表示脸部轮廓中的第/>个坐标点;
若,则表示向量/>与向量/>共线;
若,则表示向量/>与向量/>不共线;
步骤S3,若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息,并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线,利用下面公式(3),根据每个坐标点的向量情况,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息,
(3)
在上述公式(3)中,表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值;/>表示所述脸部轮廓中坐标点的总个数;/>表示将的值从1取值到同时保证/>且/>代入到求和算式中进行求和;
若,则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息,此时不控制对所述三维脸部图像进行五官识别分析;
若,则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息,此时控制对所述三维脸部图像进行五官识别分析。
2.如权利要求1所述的表情捕捉及动画自动生成***,其特征在于:
动画人物基础形象寻找与修正模块基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正,包括:
基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息,从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象;
基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息,对所述动画人物脸部基础形象进行五官线条粗细修正;
动画人物表情形象生成模块基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象,包括:
基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息,对所述动画人物脸部基础形象进行动画人物五官位置调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。
3.如权利要求1所述的表情捕捉及动画自动生成***,其特征在于:
动画游戏画面生成模块基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面,包括:
基于动画游戏场景的场景故事内容信息,选择相匹配的动画人物脸部表情形象;
基于所述动画场景的画面背景布局信息,确定所述动画场景中允许添加动画人物的画面区域;再基于所述画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后,将所述动画人物添加到相应的动画游戏画面中,形成加工动画游戏画面;
动画游戏画面组合模块将所有加工动画游戏画面进行组合,形成动态游戏图像,并对所述动态游戏图像进行动画视觉状态调整,包括:
按照所有加工动画游戏画面的分镜关系信息,将所有加工画面游戏画面进行组合,形成动态游戏图像。
4.如权利要求3所述的表情捕捉及动画自动生成***,其特征在于:
动画游戏画面组合模块形成动态游戏图像后,将所述动态游戏图像上传至云端进行预定位置存储空间的保存。
5.表情捕捉及动画自动生成方法,其特征在于,包括:
对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息;
从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息;
基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正;
基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象;
基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面;
将所有加工动画游戏画面进行组合,形成动态游戏图像;
对目标对象的脸部进行拍摄,得到所述目标对象的脸部图像,并对所述脸部图像进行分析,得到所述目标对象的五官表情信息,包括:
对目标对象的脸部进行双目拍摄,得到双目脸部图像;基于所述双目脸部图像的双目视差,得到所述目标对象的三维脸部图像;
对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息;
若包含,则对所述三维脸部图像进行五官识别分析,得到所述目标对象在所述拍摄的时刻的五官表情信息;
从所述五官表情信息,提取所述目标对象的五官属性信息和表情特征信息,包括:
从所述五官表情信息提取所述目标对象的五官外形轮廓信息,基于所述五官外形轮廓信息,生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息,以此作为所述五官属性信息;
从所述五官表情信息提取所述目标对象的实时五官位置信息,将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比,得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息,以此作为所述表情特征信息;
对所述三维脸部图像进行脸部轮廓识别处理,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息,包括:
步骤S1,完整脸部轮廓是不会出现多个轮廓位置点共线的情况,为此利用下面公式(1),根据脸部轮廓中坐标点,得到每个坐标点对应的单位方向向量,
(1)
在上述公式(1)中,表示脸部轮廓中坐标点/>指向坐标点的单位方向向量;/>表示脸部轮廓中的第/>个坐标点;表示脸部轮廓中的第/>个坐标点;
步骤S2,若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量,则利用下面公式(2),判断两个向量是否存在共线现象,
(2)
在上述公式(2)中,表示向量/>和向量/>的共线判断值;/>表示零向量;/>表示脸部轮廓中坐标点/>指向坐标点/>的单位向量;/>表示脸部轮廓中的第/>个坐标点;
若,则表示向量/>与向量/>共线;
若,则表示向量/>与向量/>不共线;
步骤S3,若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息,并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线,利用下面公式(3),根据每个坐标点的向量情况,判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息,
(3)
在上述公式(3)中,表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值;/>表示所述脸部轮廓中坐标点的总个数;/>表示将的值从1取值到同时保证/>且/>代入到求和算式中进行求和;
若,则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息,此时不控制对所述三维脸部图像进行五官识别分析;
若,则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息,此时控制对所述三维脸部图像进行五官识别分析。
6.如权利要求5所述的表情捕捉及动画自动生成方法,其特征在于:
基于所述五官属性信息,从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象,并对所述动画人物脸部基础形象进行修正,包括:
基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息,从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象;
基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息,对所述动画人物脸部基础形象进行五官线条粗细修正;
基于所述表情特征信息,对所述动画人物脸部基础形象进行动画人物五官状态调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象,包括:
基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息,对所述动画人物脸部基础形象进行动画人物五官位置调整,得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。
7.如权利要求6所述的表情捕捉及动画自动生成方法,其特征在于:
基于动画游戏场景的场景内容信息,选择相匹配的动画人物脸部表情形象;并基于所述动画场景的画面布局信息,将选择的动画人物脸部表情形象添加到相应的动画游戏画面中,形成加工动画游戏画面,包括:
基于动画游戏场景的场景故事内容信息,选择相匹配的动画人物脸部表情形象;
基于所述动画场景的画面背景布局信息,确定所述动画场景中允许添加动画人物的画面区域;再基于所述画面区域的面积和色度分布,对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后,将所述动画人物添加到相应的动画游戏画面中,形成加工动画游戏画面;
将所有加工动画游戏画面进行组合,形成动态游戏图像,包括:
按照所有加工动画游戏画面的分镜关系信息,将所有加工画面游戏画面进行组合,形成动态游戏图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310730268.XA CN116778043B (zh) | 2023-06-19 | 2023-06-19 | 一种表情捕捉及动画自动生成***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310730268.XA CN116778043B (zh) | 2023-06-19 | 2023-06-19 | 一种表情捕捉及动画自动生成***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116778043A CN116778043A (zh) | 2023-09-19 |
CN116778043B true CN116778043B (zh) | 2024-02-09 |
Family
ID=87989003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310730268.XA Active CN116778043B (zh) | 2023-06-19 | 2023-06-19 | 一种表情捕捉及动画自动生成***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116778043B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1404016A (zh) * | 2002-10-18 | 2003-03-19 | 清华大学 | 融合多视角、多线索二维信息的人脸三维模型的建立方法 |
CN102157007A (zh) * | 2011-04-11 | 2011-08-17 | 北京中星微电子有限公司 | 一种表演驱动的制作人脸动画的方法和装置 |
CN110531860A (zh) * | 2019-09-02 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
CN111325851A (zh) * | 2020-02-28 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN112818728A (zh) * | 2019-11-18 | 2021-05-18 | 深圳云天励飞技术有限公司 | 年龄识别的方法及相关产品 |
CN113569614A (zh) * | 2021-02-23 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 虚拟形象生成方法、装置、设备及存储介质 |
CN115187757A (zh) * | 2022-06-21 | 2022-10-14 | 平安银行股份有限公司 | 基于真实形象改变虚拟形象的图像处理方法及相关产品 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11430169B2 (en) * | 2018-03-15 | 2022-08-30 | Magic Leap, Inc. | Animating virtual avatar facial movements |
WO2019209431A1 (en) * | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
-
2023
- 2023-06-19 CN CN202310730268.XA patent/CN116778043B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1404016A (zh) * | 2002-10-18 | 2003-03-19 | 清华大学 | 融合多视角、多线索二维信息的人脸三维模型的建立方法 |
CN102157007A (zh) * | 2011-04-11 | 2011-08-17 | 北京中星微电子有限公司 | 一种表演驱动的制作人脸动画的方法和装置 |
CN110531860A (zh) * | 2019-09-02 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
CN112818728A (zh) * | 2019-11-18 | 2021-05-18 | 深圳云天励飞技术有限公司 | 年龄识别的方法及相关产品 |
CN111325851A (zh) * | 2020-02-28 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN113569614A (zh) * | 2021-02-23 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 虚拟形象生成方法、装置、设备及存储介质 |
CN115187757A (zh) * | 2022-06-21 | 2022-10-14 | 平安银行股份有限公司 | 基于真实形象改变虚拟形象的图像处理方法及相关产品 |
Non-Patent Citations (2)
Title |
---|
何钦政 ; 王运巧 ; .基于Kinect的人脸表情捕捉及动画模拟***研究.图学学报.2016,290-295. * |
面部视频贴图特效生成工具的设计与实现;韩萌萌;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-471 * |
Also Published As
Publication number | Publication date |
---|---|
CN116778043A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cao et al. | 3D aided duet GANs for multi-view face image synthesis | |
WO2020228389A1 (zh) | 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质 | |
WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
EP3373202B1 (en) | Verification method and system | |
CN104933755B (zh) | 一种静态物体重建方法和*** | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
CN112037320B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
CN111354079A (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
US20140204084A1 (en) | Systems and Methods for Animating the Faces of 3D Characters Using Images of Human Faces | |
US20180321776A1 (en) | Method for acting on augmented reality virtual objects | |
CN106778628A (zh) | 一种基于tof深度相机的面部表情捕捉方法 | |
CN107423306B (zh) | 一种图像检索方法及装置 | |
JP5833507B2 (ja) | 画像処理装置 | |
CN107316029A (zh) | 一种活体验证方法及设备 | |
CN110909634A (zh) | 可见光与双红外线相结合的快速活体检测方法 | |
CN107292269A (zh) | 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备 | |
CN111277759A (zh) | 构图提示方法、装置、存储介质及电子设备 | |
JP5503510B2 (ja) | 姿勢推定装置および姿勢推定プログラム | |
CN113643329A (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和*** | |
CN112990047B (zh) | 一种结合面部角度信息的多姿态人脸验证方法 | |
CN112230765A (zh) | Ar显示方法、ar显示设备和计算机可读存储介质 | |
CN114882537A (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
CN110188630A (zh) | 一种人脸识别方法和相机 | |
CN116778043B (zh) | 一种表情捕捉及动画自动生成***和方法 | |
CN111416938B (zh) | 一种增强现实合拍方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |