CN115063516A - 一种数字人的处理方法及装置 - Google Patents
一种数字人的处理方法及装置 Download PDFInfo
- Publication number
- CN115063516A CN115063516A CN202210753409.5A CN202210753409A CN115063516A CN 115063516 A CN115063516 A CN 115063516A CN 202210753409 A CN202210753409 A CN 202210753409A CN 115063516 A CN115063516 A CN 115063516A
- Authority
- CN
- China
- Prior art keywords
- face model
- basic
- data
- basic face
- model data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及本申请涉及数字人的领域,尤其是涉及一种数字人的处理方法及装置。其包括:获取基础人脸模型;确定基础人脸模型数据,所述基础人脸模型数据通过分解基础人脸模型获得;获取预设的自定义人脸模型数据;基于所述自定义人脸模型数据修改所述基础人脸模型数据,获得当前基础人脸模型数据;组合所述当前基础人脸模型数据,获得当前基础人脸模型,以便于根据所述当前基础人脸模型获得数字人脸。本申请具有提升在数字人人脸构建时的便捷性,提升数字人人脸处理的速度,提升数字人的生产速度的效果。
Description
技术领域
本申请涉及数字人的领域,尤其是涉及一种数字人的处理方法及装置。
背景技术
“数字人”是指在电脑里合成的三维人体详细结构,其全部数据来自真实人体,它能模拟人体的新陈代谢、生长发育、病理生理变化等狭义的数字人是信息科学与生命科学融合的产物,是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。广义的数字人是指数字技术在人体解剖、物理、生理及智能各个层次,各个阶段的渗透。
此外,随着移动互联网的不断发展,网络直播技术也得到了飞速提升,而“数字人”也被逐步应用于网络直播的行业中。为了增强直播的趣味性和互动性,虚拟形象直播作为直播项目中非常重要的一部分,近年来在直播项目中占据着越来越大的比例。在直播的过程中,可以使用预先设定的虚拟形象,如仿真人主播形象、卡通人物形象等代替真人主播的实际形象进行直播。在虚拟直播间直播的过程中,有些特定的消息需要在虚拟直播间中较快地播报出来,比如即时性的新闻、时效性较高的赛事、甚至为与观众互动的消息等。
但是,在制作直播用的数字人的过程中,一般是针对某一个特定角色的制作流程展开,或者是使用metahuman捏脸流程制作数字人,前者往往效率很低,前者在数字人制作过程中大多数依靠完全的自定,以至于所有的数据都需要从零开始;后者则由于其捏脸的功能不完善且依赖真实扫描模型目前还难以实现完全符合期望的数字人。
发明内容
为了改善相关技术中的数字人制作方法中制作数字人人脸的写实程度较低且制作速度较慢的问题,本申请提供一种数字人的处理方法及装置。
本申请提供的一种数字人的处理方法及装置采用如下的技术方案:
一种数字人的处理方法,应用于终端设备中,包括:
获取基础人脸模型;
确定基础人脸模型数据,所述基础人脸模型数据通过分解基础人脸模型获得;
获取预设的自定义人脸模型数据;
基于所述自定义人脸模型数据修改所述基础人脸模型数据,获得当前基础人脸模型数据;
组合所述当前基础人脸模型数据,获得当前基础人脸模型,以便于根据所述当前基础人脸模型获得数字人脸。
通过采用上述技术方案,当使用本申请中的数字人处理方法对数字人进行处理时,可以先获取基础人脸模型,接着对基础人脸模型进行分解,从而获得用于体现基础人脸模型的基础人脸模型数据,接着根据想要生成的自定义模型的数据,对基础人脸模型数据进行修改,以使得基础人脸模型与自定义人脸模型相似,从而后续可以通过对基础模型的修改已完成对自定义模型的构建,提升了在数字人人脸构建时的便捷性,提升了数字人人脸处理的速度,从而提升了数字人的生产速度。
作为优选,在分解所述基础人脸模型时,所述基础人脸模型数据被分为可调节模型数据及继承模型数据,所述可调节模型数据包括主观调节部分及校准部分,所述主观调节部分包括五官形态,所述校准部分包括脸型比例及口腔位置。
通过采用上述技术方案,对基础人脸模型数据进行进一步的划分,是由于在对数字人进行处理的过程中,一部分数据可以通过特征点的方式进行调节,比如眼睛、鼻子、嘴巴、眉毛以及耳朵的具体形状及由于脸的长度及宽度的不同而产生的五官位置的差异,另一部分则是完全与基础人脸模型一致,则被归纳为继承模型数据,通过对基础人脸模型数据的不断细分,增加了数字人人脸的写实程度。
作为优选,在基于所述自定义人脸模型修改所述基础人脸模型数据时,包括以下步骤:
获取所述主观调节部分的特征点,所述特征点包括定位特征点及微调特征点;
确定所述主观调节部分的特征点与所述自定义人脸模型数据的特征点;
根据所述自定义人脸模型数据的特征点调整所述主观调节部分的定位特征点;
基于定位特征点的调整结果改变微调特征点的位置。
通过采用上述技术方案,当在对基础人脸模型数据进行修改时,可以通过特征点定位的方式进行修改,而特征点又可以分为定位特征点及微调特征点,例如对眼睛通过特征点的形式进行修改时,对于眼角、眼睑等位置即作为定位特征点,其基本可以确定整个眼睛部分的大致形状,而微调特征点则可以代表眼睛的细节部分,仅需在确定定位特征点后微调即可完成,提升了对基础人脸模型数据修改时的便捷性及精确度。
作为优选,所述继承模型数据包括UV信息,所述UV信息用于对人脸模型的纹理贴图进行定位。
通过采用上述技术方案, UV信息是记录了纹理贴图的相对位置信息,UV信息的功能主要是对模型的纹理位置进行定位,通过对UV信息进行继承,从而可以使得基础人脸模型与自定义人脸模型中的五官位置可以做到相对统一,进而提升了将基础人脸模型转化为自定义人脸模型时的精确度。
作为优选,所述基础人脸模型的继承数据与所述自定义人脸模型的继承数据一致。
通过采用上述技术方案,基础人脸模型的继承数据与所述自定义人脸模型的继承数据一致,一方面提升了将基础人脸模型转化为自定义人脸模型时的精确度,另一方面提升了数字人的生产速度。
作为优选,在对校准部分进行修改的过程中,还包括以下步骤:
获取所述基础人脸模型的校准部分的数据;
比较所述基础人脸模型与所述自定义人脸模型的轮廓比例;
获取所述自定义模型的继承模型数据;
基于所述自定义的继承模型数据对所述基础人脸模型进行调整。
通过采用上述技术方案,在对校准数据进行调节的过程中,可以通过读取校准部分的数据,及时人脸的轮廓比例发生了变化,由于UV信息的可以对模型的纹理位置进行定位,故而可以将可调节模型数据对应调整到变化后的人脸轮廓上,进一步的提升了基础人脸模型与自定义人脸模型的相似程度,从而提升了数字人的写实程度。
作为优选,在获取所述基础人脸模型中,还包括以下步骤:
获取所述基础人脸模型的UV信息;
比较所述基础人脸模型与所述自定义人脸模型的UV信息,以获得UV相似参数;
比较所述UV相似参数与预设的阈值;
若UV相似参数小于或等于阈值,则选用获取的基础人脸模型。
通过采用上述技术方案,由于UV信息完全继承,故而在对基础人脸模型进行选择时,则可以通过基础人脸模型的UV信息与自定义模型的UV信息进行对比,从而筛选出与自定义人脸模型最为相近的UV模型,从而使得基础人脸模型的比例与自定义人脸模型的比例更为接近,进一步的提升了生产出的数字人与自定义的数字人之间的相似程度。
作为优选,在比较所述UV相似参数与预设的阈值中,根据所述自定义人脸模型对预设的阈值进行调整。
通过采用上述技术方案,通过修改阈值,则可以根据数字人的使用环境对五官比例进行调整,故而可以使得数字人不仅仅以真人的形象出现,还可以应用在各种动漫及游戏中,从而提升了数字人生产的适用范围。
作为优选,一种数字人处理装置,包括:
所述数字人处理装置包括获取单元、分解单元、修改单元及组合单元;
所述获取单元用于获取基础人脸模型;
所述分解单元用于在获取单元获取基础人脸模型后,对基础人脸模型进行分解,得到基础人脸模型数据;
所述修改单元用于对基础人脸模型数据进行修改;
所述组合单元用于将修改后的基础人脸模型数据组合成为基础人脸模型。
通过采用上述技术方案,使用本申请中的数字人处理方法对数字人进行处理时,可以先通过获取单元获取基础人脸模型,接着通过分解单元对基础人脸模型进行分解,从而获得用于体现基础人脸模型的基础人脸模型数据,根据想要生成的自定义模型的数据,通过修改单元对基础人脸模型数据进行修改,以使得基础人脸模型与自定义人脸模型相似,从而后续可以通过组合单元对基础模型的修改已完成对自定义模型的构建,提升了在数字人人脸构建时的便捷性,提升了数字人人脸处理的速度,从而提升了数字人的生产速度。
综上所述,本申请包括以下至少一种有益技术效果:
1.使用本申请中的数字人处理方法对数字人进行处理时,可以先获取基础人脸模型,接着对基础人脸模型进行分解,从而获得用于体现基础人脸模型的基础人脸模型数据,接着根据想要生成的自定义模型的数据,对基础人脸模型数据进行修改,以使得基础人脸模型与自定义人脸模型相似,从而后续可以通过对基础模型的修改已完成对自定义模型的构建,提升了在数字人人脸构建时的便捷性,提升了数字人人脸处理的速度,从而提升了数字人的生产速度。
2.当在对基础人脸模型数据进行修改时,可以通过特征点定位的方式进行修改,而特征点又可以分为定位特征点及微调特征点,例如对眼睛通过特征点的形式进行修改时,对于眼角、眼睑等位置即作为定位特征点,其基本可以确定整个眼睛部分的大致形状,而微调特征点则可以代表眼睛的细节部分,仅需在确定定位特征点后微调即可完成,提升了对基础人脸模型数据修改时的便捷性及精确度。
3.在对校准数据进行调节的过程中,可以通过读取校准部分的数据,及时人脸的轮廓比例发生了变化,由于UV信息的可以对模型的纹理位置进行定位,故而可以将可调节模型数据对应调整到变化后的人脸轮廓上,进一步的提升了基础人脸模型与自定义人脸模型的相似程度,从而提升了数字人的写实程度。
附图说明
图1是本申请中提供的整体流程示意图。
图2是图1中S100步骤的展开流程示意图。
图3是图1中S103步骤的展开流程示意图。
图4是图3中S203步骤的展开流程示意图。
图5是本申请中一种数字人处理装置的整体结构示意图。
图6是本申请中实现数字人处理流程的电子设备的结构示意图。
附图标记说明:1、确定单元;2、修改单元;3、获取单元;4、比较单元;5、组合单元;6、分解单元;1000、电子设备;1001、处理器;1002、通信总线;1003、用户接口;1004、网络接口;1005、存储器。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本申请实施例的描述中,“示性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B这三种情况。另外,除非另有说明,术语“多个”的含义是指两个或两个以上。例如,多个***是指两个或两个以上的***,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
以下是对本申请中涉及到的一些名词的解释:
基础人脸模型:记为选用的基础人脸的模型体,在本实施例中具体为MetahumanCreator中的选用的模型。
自定义人脸模型:预先创建出来的理想的模型,可以采用手绘,动画制作或者仿真扫描等方式,在本申请实施例中体现为需要由基础模型修改成为的目标模型。
继承模型数据:继承模型数据在本申请实施例中指代的是由基础人脸模型到自定义人脸模型中,不进行调整,不发生改变的量,如UV值。
UV信息,UV信息为指的是UV坐标,UV坐标是指所有的图象文件都是二维的一个平面。水平方向是U,垂直方向是V,通过这个平面的,二维的UV坐标系,可以定位图象上的任意一个象素。
以下结合附图1-6对本申请作进一步详细说明。
本申请实施例公开一种数字人的处理方法。参照图1,其包括S100-S104:
S100、获取基础人脸模型;
在本申请实施例中,选用Metahuman Creator作为基础,以完成数字人的创建,但是以Metahuman Creator为基础仅仅是数字人制作的方式之一,其余可以达到与MetahumanCreator相似效果的软件也可以应用于本申请的数字人处理方法中,此处不再赘述。
在Metahuman Creator中,可以选用其预设的数字人模型作为基础模型。
参照图2,在一种可能的实施方式中,在获取基础人脸模型中,还包括步骤S400-S403;
S400、获取基础人脸模型的UV信息;
但由于人脸差异性明显,表情丰富多样,在三维空间中的人脸线性模型受到很多限制,故而采用UV位置图的方式将人脸的关键点的三维坐标与UV空间中的UV坐标进行对应,将三维坐标存储在二维图像上,实现了三维到二维的映射;因此 UV 位置图 P ( ui,vi ) 可以表示为
P( ui,vi) = ( xi,yi,zi)
其中,( ui,vi)表示三维人脸模型中第 i 个顶点的 UV坐标,( xi,yi,zi ) 表示该顶点对应的三维空间坐标;同时( xi,yi ) 表示在输入的二维图像上对应的像素点位置,zi 表示该点的深度。 由于( ui,vi ) 和( xi,yi )对应的是该人脸模型上的同一个点,因此这种表示方法可以保留对齐信息。
在获取基础人脸模型的UV信息时,则可以选取基础人脸的五官位置,将基础人脸的作为UV空间,通过UV坐标的方式定位基础人脸上的五官位置,并将其记为人脸基础模型的UV信息。
除了定位五官外,也可以选用面部肌肉、骨骼等作为定位,不同的定位参照根据实际使用时的方便程度及精确程度决定,在此不再赘述。
S401、比较基础人脸模型与自定义人脸模型的UV信息,以获得UV相似参数;
根据自定义人脸模型的长度及宽度的比值对原UV空间进行变换,以使得在UV坐标不变的基础上,当前UV空间适用于自定义人脸模型;将当前UV空间与原UV空间的比值记为UV相似参数。
S402、比较UV相似参数与预设的阈值;
其中,预设的阈值可以根据数字人的应用场景做出更改,比如,在数字人要求尽可能贴合真人人像时,阈值逐渐降低;当数字人可以为动漫人物,或面部比例较为夸张的数字人人物是,阈值逐渐增加。
S403、若UV相似参数小于或等于阈值,则选用获取的基础人脸模型。
S101、分解基础人脸模型,以获得基础人脸模型数据,基础人脸模型数据分为可调节模型数据及继承模型数据,可调节模型数据包括主观调节部分及校准部分。
S102、获取预设的自定义人脸模型数据。
在获取自定义人脸模型数据中,可以将自定义人脸模型数据与基础人脸模型数据对应,即将自定义人脸模型数据分为可调节模型数据及继承模型数据,其中,可调节模型数据为基础人脸模型数据的修改目标数据,继承模型数据为UV坐标,自定义人脸模型数据与基础人脸模型数据的继承模型数据保持一致。
S103、基于自定义人脸模型数据修改基础人脸数据,获得当前基础人脸数据;
参照图3,在一种可能的实施方式中,在修改可调节模型数据中的主观调节部分时,还包括步骤S200-S203;
S200、获取主观调节部分的特征点,特征点包括定位特征点及微调特征点。
在基础人脸模型中,可调节模型数据即为五官信息等,可具体分为牙齿和眼球、角膜和睫毛及面部的骨骼信息,本申请实施例中选用了Houdini软件对可调节模型数据进行修改调节,Houdini软件可以将人脸的五官信息等进行参数化的分解,将原始的五官信息模型拆分成多个基础几何体的组成,再将多个几何体进行分解成为数个多边形单元,再通过常规的建模思路对多个多边形单元进行进一步的简化为点、线、面的组合形式,进而通过调整各个点、线、面的对应的节点,以完成对几何体整体的形状的改变。
S201、确定主观调节部分的特征点与自定义人脸模型数据的特征点。
S202、根据自定义人脸模型数据的特征点调整主观调节部分的定位特征点。
在本申请中,可以同时通过Houdini软件对基础人脸模型及自定义人脸模型的五官进行参数化的分解,并通过将基础人脸模型上的各个节点与自定义人脸模型上的各个节点一一对应以快速实现对基础人脸模型上可调节模型数据的更改。
S203、基于定位特征点的调整结果改变微调特征点的位置。
当Houdini软件分解出的特征点过多时,则对一些可以决定五官信息形态的特征点进行调整,具体的,在对眼部进行调整时,可以只调整眼角、眼睑的位置,此时定位眼角及眼睑位置的特征点即为定位特征点,其余特征点即为微调特定点,将眼睛的大体形状定位出来后,接着对眼睛周边的微调特征点进行调整,从而减少了***的运算步骤,加快了数字人的生产过程。
参照图4,在一种可能的实施方式中,在修改可调节模型数据中的校准部分时,包括步骤S300-S302;
S300、获取基础人脸模型的校准部分的数据;
基础人脸模型的校准部分的数据即为基础人脸模型的UV坐标,通过UV坐标的形式定位基础人脸模型的五官坐标。
S301、比较基础人脸模型与自定义人脸模型的轮廓比例;
即根据自定义人脸模型的长度及宽度的比值对原UV空间进行变换,以使得在UV坐标不变的基础上,当前UV空间适用于自定义人脸模型。
S302、基于自定义的继承模型数据对基础人脸模型进行调整。
在保持五官坐标不变的情况下,修改基础人脸模型的UV空间,即对基础人脸模型的面部进行拉伸,并保持五官的相对位置不变。
S104、组合所述当前基础人脸模型数据,获得当前基础人脸模型。
根据UV坐标及修改后的基础人脸模型中的五官信息等对数字人的面部进行重新组合以获得与自定义人脸模型较为相似的基础人脸模型,并使用Metahuman Creator对修改后的基础人脸模型进行进一步的修改以满足数字人的人脸需求。
参照图5,一种数字人处理装置,包括获取单元3、分解单元6、修改单元2、组合单元5、比较单元4及确定单元1;
获取单元3,获取单元3用于获取基础人脸模型;
分解单元6,当获取单元3获取基础人脸模型数据后,分解单元6分解基础人脸模型获得基础人脸模型数据;
在一种可能的实施方式中,获取单元3还可以用于获取预设的自定义人脸模型数据;
修改单元2,修改单元2可以基于自定义人脸模型数据修改基础人脸模型数据,获得当前基础人脸模型数据;
组合单元5,组合单元5组合当前基础人脸模型数据,获得当前基础人脸模型,以便于根据所述当前基础人脸模型获得数字人脸。
获取单元3还可以用于获取主观调节部分的特征点,特征点包括定位特征点及微调特征点;
确定单元1,确定单元1用于确定主观调节部分的特征点与自定义人脸模型数据的特征点;
修改单元2,修改单元2还可以根据自定义人脸模型数据的特征点调整主观调节部分的定位特征点;并基于定位特征点的调整结果改变微调特征点的位置。
在一种可能的实施方式中,获取单元3还可以用于获取基础人脸模型的校准部分的数据;
比较单元4,比较单元4用于比较基础人脸模型与自定义人脸模型的轮廓比例;
获取单元3还可以用于获取自定义模型的继承模型数据;
修改单元2基于自定义的继承模型数据对基础人脸模型进行调整。
在一种可能的实施方式中,获取单元3还可以获取基础人脸模型的UV信息;
比较单元4可以用于比较基础人脸模型与自定义人脸模型的UV信息,以获得UV相似参数;比较单元4还可以比较UV相似参数与预设的阈值;
若UV相似参数小于或等于阈值,则确定单元1确定获取的基础人脸模型。
本申请实施例提供了一种电子设备的结构示意图。如图6所示,所述电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行服务器1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及一种数字人处理方法的应用程序。
需要说明的是:上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在图6所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储一种数字人处理方法的应用程序,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。
一种电子设备可读存储介质,所述电子设备可读存储介质存储有指令。当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列(Field-ProgrammaBLE GateArray,FPGA)、集成电路(Integrated Circuit,IC)等。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(Read-Only Memory, ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的结构、形状、原理所做的等效变化,均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种数字人的处理方法,应用于终端设备中,其特征在于:包括:
获取基础人脸模型;
确定基础人脸模型数据,所述基础人脸模型数据通过分解基础人脸模型获得;
获取预设的自定义人脸模型数据;
基于所述自定义人脸模型数据修改所述基础人脸模型数据,获得当前基础人脸模型数据;
组合所述当前基础人脸模型数据,获得当前基础人脸模型,以便于根据所述当前基础人脸模型获得数字人脸。
2.根据权利要求1所述的一种数字人的处理方法,其特征在于:
在分解所述基础人脸模型时,所述基础人脸模型数据被分为可调节模型数据及继承模型数据,所述可调节模型数据包括主观调节部分及校准部分,所述主观调节部分包括五官形态,所述校准部分包括脸型比例及口腔位置。
3.根据权利要求2所述的一种数字人的处理方法,其特征在于:在基于所述自定义人脸模型修改所述基础人脸模型数据时,包括以下步骤:
获取所述主观调节部分的特征点,所述特征点包括定位特征点及微调特征点;
确定所述主观调节部分的特征点与所述自定义人脸模型数据的特征点;
根据所述自定义人脸模型数据的特征点调整所述主观调节部分的定位特征点;
基于定位特征点的调整结果改变微调特征点的位置。
4.根据权利要求2所述的一种数字人的处理方法,其特征在于:所述继承模型数据包括UV信息,所述UV信息用于对人脸模型的纹理贴图进行定位。
5.根据权利要求2所述的一种数字人的处理方法,其特征在于:所述基础人脸模型的继承数据与所述自定义人脸模型的继承数据一致。
6.根据权利要求2所述的一种数字人的处理方法,其特征在于:在对校准部分进行修改的过程中,还包括以下步骤:
获取所述基础人脸模型的校准部分的数据;
比较所述基础人脸模型与所述自定义人脸模型的轮廓比例;
获取所述自定义模型的继承模型数据;
基于所述自定义的继承模型数据对所述基础人脸模型进行调整。
7.根据权利要求4所述的一种数字人的处理方法,其特征在于:在获取所述基础人脸模型中,还包括以下步骤:
获取所述基础人脸模型的UV信息;
比较所述基础人脸模型与所述自定义人脸模型的UV信息,以获得UV相似参数;
比较所述UV相似参数与预设的阈值;
若UV相似参数小于或等于阈值,则选用获取的基础人脸模型。
8.根据权利要求7所述的一种数字人的处理方法,其特征在于:在比较所述UV相似参数与预设的阈值中,根据所述自定义人脸模型对预设的阈值进行调整。
9.一种数字人处理装置,应用于上述权利要求1-8中任一权利要求中,包括:
所述数字人处理装置包括获取单元(3)、分解单元(6)、修改单元(2)及组合单元(5);
所述获取单元(3)用于获取基础人脸模型;
所述分解单元(6)用于在获取单元(3)获取基础人脸模型后,对基础人脸模型进行分解,得到基础人脸模型数据;
所述修改单元(2)用于对基础人脸模型数据进行修改;
所述组合单元(5)用于将修改后的基础人脸模型数据组合成为基础人脸模型。
10.一种电子设备(1000),其特征在于,包括处理器(1001)、存储器(1005)和收发器,所述存储器(1005)用于存储指令,所述收发器用于和其他设备通信,所述处理器(1001)用于执行所述存储器(1005)中存储的指令,以使所述电子设备(1000)执行如权利要求1-8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210753409.5A CN115063516A (zh) | 2022-06-29 | 2022-06-29 | 一种数字人的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210753409.5A CN115063516A (zh) | 2022-06-29 | 2022-06-29 | 一种数字人的处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115063516A true CN115063516A (zh) | 2022-09-16 |
Family
ID=83203561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210753409.5A Pending CN115063516A (zh) | 2022-06-29 | 2022-06-29 | 一种数字人的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063516A (zh) |
-
2022
- 2022-06-29 CN CN202210753409.5A patent/CN115063516A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109448099B (zh) | 画面的渲染方法、装置、存储介质及电子装置 | |
CN106710003B (zh) | 一种基于OpenGL ES的三维拍照方法和*** | |
US20200020173A1 (en) | Methods and systems for constructing an animated 3d facial model from a 2d facial image | |
CN109151540B (zh) | 视频图像的交互处理方法及装置 | |
KR102386642B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
CN107452049B (zh) | 一种三维头部建模方法及装置 | |
KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
JP2023029984A (ja) | 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体 | |
CN112288665A (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
KR20220083830A (ko) | 이미지 처리 방법 및 이미지 합성 방법, 이미지 처리 장치 및 이미지 합성 장치, 그리고 저장 매체 | |
CN115601484B (zh) | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 | |
US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
TWI780995B (zh) | 圖像處理方法、設備及電腦儲存媒體 | |
CN109145688A (zh) | 视频图像的处理方法及装置 | |
CN114359453A (zh) | 一种三维特效渲染方法、装置、存储介质及设备 | |
CN113808249A (zh) | 图像处理方法、装置、设备和计算机存储介质 | |
US20230401806A1 (en) | Scene element processing method and apparatus, device, and medium | |
US20230274495A1 (en) | Avatar output device, terminal device, avatar output method, and program | |
CN112604279A (zh) | 一种特效显示方法及装置 | |
CN110751026B (zh) | 视频处理方法及相关装置 | |
CN115063516A (zh) | 一种数字人的处理方法及装置 | |
CN113808246B (zh) | 一种贴图的生成方法、装置、计算机设备及计算机可读存储介质 | |
CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
WO2021227740A1 (zh) | 图像处理方法及图像显示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |