CN116433852A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116433852A CN116433852A CN202310707673.XA CN202310707673A CN116433852A CN 116433852 A CN116433852 A CN 116433852A CN 202310707673 A CN202310707673 A CN 202310707673A CN 116433852 A CN116433852 A CN 116433852A
- Authority
- CN
- China
- Prior art keywords
- head
- target
- grid
- initial
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims description 62
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 29
- 238000002372 labelling Methods 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000004883 computer application Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置、设备及存储介质,该方法包括:获取待优化的初始对象网格模型,以及包括目标对象的K个图像;对K个图像进行头部特征提取,得到目标对象的K个候选头部形状数据以及K个候选头部纹理数据;根据K个候选头部形状数据,对初始头部形状数据进行修正,得到目标对象的目标头部形状数据;根据K个候选头部纹理数据,对初始头部纹理数据进行修正,得到目标头部纹理数据;根据目标头部形状数据和目标头部纹理数据,对目标对象的初始对象网格模型中的M个头部网格进行优化更新,得到优化后的目标对象网格模型。通过本申请提高头部网格模型(目标对象网格模型中的头部网格)的精确度。
Description
技术领域
本申请涉及人工智能技术等领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展,头部重建技术被广泛应用于游戏、动画、医疗等场景中,头部重建技术是指构建对象(如虚拟对象或现实世界中的用户)在虚拟世界中的头部网格模型,基于头部网格模型能够渲染得到逼真的图像。目前,需要通过人工构建头部网格模型,由于头部网格模型的复杂度比较高,容易出现误操作,导致获取的头部网格模型的精确度比较低。
发明内容
本申请实施例提供一种数据处理方法、装置、设备及存储介质,提高头部网格模型(目标对象网格模型中的头部网格)的精确度。
本申请实施例一方面提供一种数据处理方法,包括:
获取待优化的初始对象网格模型,以及包括所述目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数;
对所述K个图像进行头部特征提取,得到所述目标对象的K个候选头部形状数据以及K个候选头部纹理数据;
根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据;
根据所述K个候选头部纹理数据,对所述目标对象的初始头部纹理数据进行修正,得到所述目标对象的目标头部纹理数据;
根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型。
本申请实施例一方面提供一种数据处理方法,包括:
获取样本对象的标注头部轮廓数据、待优化的初始对象网格模型以及包括所述样本对象的P个图像;所述初始对象网格模型包括所述样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,所述训练数据包括所述样本对象的标注头部形状数据;
调用初始头部重建模型,对所述P个图像进行头部特征提取,得到所述样本对象的P个候选头部形状数据和P个候选头部纹理数据;
根据所述P个候选头部形状数据,对所述样本对象的初始头部形状数据进行修正,得到所述样本对象的预测头部形状数据;
根据所述P个候选头部纹理数据,对所述样本对象的初始头部纹理数据进行修正,得到所述样本对象的预测头部纹理数据;
根据所述预测头部纹理数据和所述预测头部形状数据,对所述样本对象的初始对象网格模型中的所述Q个头部网格进行优化更新,得到优化后的预测对象网格模型;
根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型;所述目标重建头部重建模型被调用时用于执行如前文所描述的方法。
本申请实施例一方面提供一种数据处理装置,包括:
获取模块,用于获取待优化的初始对象网格模型,以及包括所述目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数;
提取模块,用于对所述K个图像进行头部特征提取,得到所述目标对象的K个候选头部形状数据以及K个候选头部纹理数据;
第一修正模块,用于根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据;
第二修正模块,用于根据所述K个候选头部纹理数据,对所述目标对象的初始头部纹理数据进行修正,得到所述目标对象的目标头部纹理数据;
更新模块,用于根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型。
本申请实施例一方面提供一种数据处理装置,包括:
获取模块,用于获取样本对象的标注头部轮廓数据、待优化的初始对象网格模型以及包括所述样本对象的P个图像;所述初始对象网格模型包括所述样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,所述训练数据包括所述样本对象的标注头部形状数据;
提取模块,用于调用初始头部重建模型,对所述P个图像进行头部特征提取,得到所述样本对象的P个候选头部形状数据和P个候选头部纹理数据;
第一修正模块,用于根据所述P个候选头部形状数据,对所述样本对象的初始头部形状数据进行修正,得到所述样本对象的预测头部形状数据;
第二修正模块,用于根据所述P个候选头部纹理数据,对所述样本对象的初始头部纹理数据进行修正,得到所述样本对象的预测头部纹理数据;
更新模块,用于根据所述预测头部纹理数据和所述预测头部形状数据,对所述样本对象的初始对象网格模型中的所述Q个头部网格进行优化更新,得到优化后的预测对象网格模型;
训练模块,用于根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型;所述目标重建头部重建模型被调用时用于执行如前文所描述的方法。
本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,上述存储器存储有计算机程序,上述处理器执行上述计算机程序时实现上述的方法的步骤。
本申请实施例一方面提供了一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现上述的方法的步骤。
本申请实施例一方面提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
本申请中,由于该K个候选头部形状数据和K个候选头部纹理数据是从包括目标对象的K个图像中提取到的,即K个候选头部形状数据和K个候选头部纹理数据能够提供关于目标对象的头部的更多细节信息。因此,通过K个候选头部形状数据,对初始对象网格模型中的初始头部形状数据进行修正,得到目标头部形状数据,通过K个候选头部纹理数据对初始对象网格模型中的初始头部纹理数据进行修正,得到目标头部纹理数据,能够提高目标头部形状数据和目标头部纹理数据的准确度。进一步,根据目标头部形状数据和目标头部纹理数据对初始对象网格模型中的头部网格进行优化更新,能够提高优化后的目标对象网格模型中的头部网格的精确度;另外,对初始对象网格模型中的头部网格模型的优化更新过程,不需要人工参与,可节省人工成本,提高获取对象网格模型的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种数据处理***示意图;
图2是本申请提供的一种数据处理方法的交互场景示意图;
图3是本申请提供的另一种数据处理方法的交互场景示意图;
图4是本申请提供的一种数据处理方法的流程示意图;
图5是本申请提供的一种获取目标图像的目标头部深度数据的场景示意图;
图6是本申请提供的另一种数据处理方法的流程示意图;
图7是本申请实施例提供的一种数据处理装置的结构示意图;
图8是本申请实施例提供的另一种数据处理装置的结构示意图;
图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例可涉及人工智能技术以及自动驾驶、智慧交通等领域,所谓人工智能(Artificial Intelligence,AI),是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所谓机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
例如,本申请中,利用机器学习技术构建目标头部重建模型,调用目标头部重建模型,对K个图像进行头部特征提取,得到目标对象的K个候选头部形状数据以及K个候选头部纹理数据,根据该K个候选头部形状数据,对该初始头部形状数据进行修正,得到该目标对象的目标头部形状数据,根据该K个候选头部纹理数据,对该初始头部纹理数据进行修正,得到该目标对象的目标头部纹理数据。进一步,调用该目标头部重建模型,根据该目标头部形状数据和该目标头部纹理数据,对该初始对象网格模型中的该M个头部网格进行优化更新,得到优化后的目标对象网格模型。通过目标头部重建模型,能够快速地对初始对象网格模型中的头部网格进行优化更新,提高头部网格模型的精确度和优化更新效率。
为了便于更清楚理解本申请,首先介绍实现本申请的数据处理***,如图1所示,该数据处理***中包括服务器10和终端集群,终端集群可以包括一个或者多个终端,这里将不对终端的数量进行限制。如图1所示,终端集群具体可以包括终端1、终端2、… 、终端n;可以理解的是,终端1、终端2、终端3、… 、终端n均可以与服务器10进行网络连接,以便于每个终端均可以通过网络连接与服务器10之间进行数据交互。
终端中安装有一个或多个目标应用,此处的目标应用可以是指具有重构头部网格模型功能的应用,如目标应用可以包括独立的应用程序、网页应用、宿主应用中的小程序等,该目标应用具体可以是指制作动画视频的应用,或者制作游戏的应用等。服务器10是指为终端中的目标应用提供后端服务的设备,在一个实施例中,服务器10可以用于获取目标对象的初始对象网格模型,根据多张图像对初始对象网格模型中的初始头部形状数据和初始头部纹理数据进行修正,得到目标头部形状数据和目标头部纹理数据,根据目标头部形状数据和目标头部纹理数据对初始对象网格模型中的头部网格进行优化更新,得到优化后的目标对象网格模型。进一步,对优化后的目标对象网格模型进行渲染,得到包括目标对象的目标图像,将该目标图像发送至终端,终端显示该目标图像。
本申请中的目标对象可以是指头部待重建的对象,样本对象是指其所具有的头部数据(如标注头部轮廓数据)用于训练初始头部重建模型的对象,对象可以是指真实实际中的用户、动物等,或者,该对象可以是指虚拟世界中的虚拟对象,如虚拟游戏角色、动画角色,虚拟游戏角色或动画角色可以是指虚拟人物、虚拟动物以及其他具有头部的虚拟物体。
本申请中的对网格模型,也称为三维网格/3D网格/3D模型,在游戏和三维建模行业,一个对象可以用网格(例如三角形网格(triangle mesh)或四边形网格)来近似表示。使用网格来建立一个物体的过程,称为3D建模。3D世界中最基本的图元就是三角形。一般我们看到倒3维模型都是中空的,基本都只是闭合的表面。从存储的角度看,对网格模型只是由多个顶点组成,既没有“面”也没有“体”:因为平面可以由3个点来确定,立体可以由闭合的面确定,不用额外存储信息,以此达到压缩最大化的目的。所以3维网格模型看上去是由若干个三角形组成,存储时都是一些点而已。对象网格模型用于反映对象的体形、姿态、表情、面部颜色以及衣物颜色等信息,初始对象网格模型是指精确度小于精确度阈值的对象网格模型,即通常初始对象网格模型中的头部网格中缺少对象的部分细节信息,初始对象网格模型可以是人工创建的,或者,该初始对象网格模型可以对象进行扫描(如激光扫描)得到的,或者,初始对象网格模型是基于少量包括对象的图像生成的。本申请中的目标对象网格模型是指对目标对象的初始对象网格中的头部网格进行优化更新得到的,预测对象网格模型是指对样本对象的初始对象网格模型中的头部网格进行优化更新得到的。
本申请中的,头部重建模型是指用于对初始对象网格模型中的头部网格进行优化更新的算法,头部重建模型可以是指多层感知机模型、支持向量机(Support VectorMachine,SVM)模型、卷积神经网络(Convolutonal Neural NetworR,CNN)模型、全连接神经网络(Fully Convolutional Networks,FCN)模型等。本申请中的初始头部重建模型是指待优化训练的头部重建模型,目标头部重建模型是对初始头部重建模型进行优化训练得到的。
可理解的是,服务器可以是独立的一个物理服务器,也可以是至少两个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、中容分发网络(ContentDelivery NetworK,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端具体可以是指车载终端、智能手机、平板电脑、笔记本电脑、桌上型电脑、智能音箱、有屏音箱、智能手表等等,但并不局限于此。各个终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,同时,终端以及服务器的数量可以为一个或至少两个,本申请在此不做限制。
图1中的数据处理***可以用于实现本申请的数据处理方法,如图2和图3所示,图2和图3中的服务器20a可以是指图1中的服务器10,图3中的终端21a可以是指图1中的终端集群中的任一终端。图2和图3中以对对象a(即目标对象)的初始对象网格模型中的头部网格进行优化更新为例进行说明,该对象a可以是指游戏场景中的游戏角色,或者,该对象a可以是指动画视频中的角色,或者。该对象a可以是指影视剧中的演员角色。如图2所示,服务器20a可以获取包括对象a的K个图像,K个图像是对对象a从不同的视角拍摄得到的,K个图像分别标记为图像1、图像2、……、图像K。进一步,服务器20a可以获取该对象a的初始对象网格模型,该初始对象网格模型可以是对对象a进行扫码得到的,或者,该初始对象网格模型是通过少量包括对象a的图像构建得到的,或者,该初始对象网格模型是人工创建的。
特别地,此处该对象a为游戏场景中的游戏角色或动画角色时,服务器20a可以获取对象a的对象模型,该对象模型可以服务器20a基于对象a的对象特征(如尺寸、颜色等)进行三维建模得到的,对该对象模型进行旋转等操作,以获取包括对象a的K个图像,即得到针对对象a从不同视角拍摄得到的K个图像。当该对象a可以是指影视剧中的演员角色时,计算机设备可以对现实世界中的对象a从不同视角进行拍摄,得到包括对象a的K个图像。
接着,服务器20a可以对该图像1进行头部特征提取,得到该对象a的候选头部形状特征1和候选头部纹理特征1,对该图像2进行头部特征提取,得到该对象a的候选头部形状特征2和候选头部纹理特征2,以此类推,重复上述步骤,直到获取到K个图像分别对应的候选头部纹理特征和候选头部形状特征。由于K个图像是对对象a从不同视角拍摄得到的,因此,K个图像能够捕捉到对象a在不同视角下的头部特征,即K个候选头部形状特征和K个候选头部纹理特征能够更全面、准确地反映对象a的头部特征。基于此,服务器20a可以根据K个候选头部纹理特征对初始头部纹理特征进行修正,得到该对象a的目标头部纹理特征,同理,根据K个候选头部形状特征对初始头部形状特征进行修正,得到该对象a的目标头部形状特征。通过基于K个候选头部形状特征对初始头部形状特征进行修正,提高修正后的目标头部形状特征的准确度,通过基于K个候选头部纹理特征对初始头部纹理特征进行修正,提高修正后的目标头部纹理特征的准确度,目标头部形状特征和目标头部纹理特征能够提供丰富的关于对象a的头部特征。
如图3所示,在服务器20a获取到目标头部形状特征和目标头部纹理特征之后,服务器20a可以根据该目标头部形状特征和目标头部纹理特征,生成对象a的目标头部网格,根据该目标对象的目标头部网格,对初始对象网格模型中的头部网格进行优化更新,得到优化后的目标对象网格模型。该目标对象网格模型能够更加精确地反映对象a的头部特征,即该目标对象网格模型能够反映对象a头部的细节特征。在获取到目标对象网格模型之后,计算机设备可以对该目标对象网格模型进行渲染,得到包括对象a的图像22a,将该图像22a发送至终端21a,终端21a可以显示该图像22a。将图2中的K个图像中的图像与图3中的图像22a进行比较可知,图像22a能够提供关于对象a的面部的更多细节特征,提高图像的逼真度。
进一步地,请参见图4,是本申请实施例提供的一种数据处理方法的流程示意图。如图4所示,该方法可由图1中的终端集群中的任一终端来执行,也可以由图1中的服务器来执行,还可以由图1中的终端集群中的终端和服务器来协同执行,本申请中用于执行该数据处理方法的设备可以统称为计算机设备。其中,该方法可以包括如下步骤:
S101、获取待优化的初始对象网格模型,以及包括该目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数。
本申请中,计算机设备可以获取用于反映目标对象的待优化的初始对象网格模型;该目标对象的初始对象网格模型是指基于包括目标对象的少量图像生成的,或者,该目标对象的初始对象网格模型是人工制作得到的,或者,该目标对象的初始对象网格模型是通过对目标对象进行扫描得到的,通常该初始对象网格模型中缺少目标对象的头部的细节信息。例如,计算机设备可以从不同视角对目标对象进行扫描预设时长,得到关于目标对象的上万、几十万甚至更多的扫描点,如100000到250000个扫描点,根据扫描点,得到关于目标对象的初始对象网格模型。因此,该初始对象网格模型可以称为待优化的对象网格模型。该初始对象网格模型中可以包括目标对象的M个头部网格,M个头部网格具有目标对象的初始头部形状数据和初始头部纹理数据,即M个头部网格用于反映目标对象的初始头部形状数据和初始头部纹理数据。初始头部形状数据反映目标对象的头部姿态、面部表情、五官的大小、形状等,初始头部纹理数据反映目标对象的头部颜色信息。进一步,计算机设备可以获取包括目标对象的K个图像,K个图像可以从多个不同角度对目标对象进行拍摄得到的,如K个图像中包括对目标对象的正面、侧面、背面等进行拍摄得到的图像;或者,K个图像是在目标对象处于不同姿态下拍摄得到的,如K个图像包括目标对象处于仰头、低头等姿态下进行拍摄得到的,通过K个图像能够为目标对象的头部提供更丰富的细节信息。
需要说明的是,M个头部网格的形状可以是三角形、四边形等,每个头部网格包括多个头部顶点,如某个头部网格的形状为三角形,则该头部网格具有三个头部顶点,如果某个头部网格的形状为四边形,该头部网格具有四个头部顶点。同时,M个头部网格任一两个相邻的头部网格共享一个或多个头部顶点。
可选的,该初始对象网格模型中的头部网格是基于主成分分析(PrincipalComponent Analysis,PCA)得到的,可以减少初始对象网格模型中的头部网格的顶点数量,如将初始对象网格模型中的顶点数量降低至236个,这样可以后续处理过程中的运算量。
可选的,计算机设备可以对目标对象进行拍摄,得到包括目标对象的多张初始图像,初始图像的数量大于K,将多个初始图像输入至面部识别模型中,得到该多个初始图像中的目标对象的面部完整度,面部完整度反映目标对象的面部是否存在被头发、耳环等无效物体遮挡,或者,拍摄视觉差的问题,即面部完整度越高反映初始图像中所呈现的头部(即面部)信息量越多,面部完整度越低反映初始图像中所呈现的头部(即面部)信息量越少。因此,计算机设备可以从多个初始图像中筛选出K个面部完整度大于完整度阈值的初始图像,作为包括目标对象的K个图像,通常K个图像的分辨率可以大于分辨率阈值,如该分辨率阈值可以为300x300。
S102、对该K个图像进行头部特征提取,得到该目标对象的K个候选头部形状数据以及K个候选头部纹理数据。
本申请中,计算机设备可以调用目标头部重建模型,对该K个图像分别进行头部特征提取,得到该目标对象的K个候选头部形状数据和K个候选头部纹理数据,具体的,计算机设备可以调用该目标头部重建模型中的特征处理网络,对该K个图像分别进行头部特征提取,得到该目标对象的K个候选头部形状数据和K个候选头部纹理数据。
需要说明的是,该目标头部重建模型是对初始头部重建模型进行训练得到的,该目标头部重建模型包括特征处理网络以及优化更新网络,特征处理网络用于提取图像中头部特征、对初始头部形状特征以及初始头部纹理特征进行修正;优化更新网络用于对初始对象网格模型中的头部网格进行优化更新。
可理解的是,K个候选头部形状数据中的候选头部形状数据中包括多个候选头部网格的候选网格形状数据,候选网格形状数据是指候选头部网格的头部顶点的三维位置信息,记为候选三维位置信息,候选网格形状数据用于反映目标对象的头部姿态、面部表情、五官的大小、形状等,K个候选头部形状数据所反映的候选头部网格的数量可以相同,也可以不相同。由于K个候选头部形状数据是基于K个图像得到的,K个图像是对目标对象从不同视角进行拍摄得到的,或,K个图像是在目标对象处于不同姿态下拍摄得到的,因此,K个候选头部形状能够更加全面的反映目标对象的头部形状特征。本申请主要以K个候选头部形状数据所反映的候选头部网格的数量相同,以及初始头部形状数据中的头部网络的数量与候选头部网格的数量相同为例进行说明。
S103、根据该K个候选头部形状数据,对该目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据。
本申请中,由于该K个候选头部形状数据是从K个图像中提取得到的,K个候选头部形状数据能够提供更多关于目标对象的头部的形状细节信息,因此,计算机设备可以根据K个候选头部形状数据,对该目标对象的初始头部形状数据进行修正,得到该目标对象的目标头部形状数据,可以提高目标头部形状数据的准确度。
可选的, 计算机设备可以对K个候选头部形状数据与所述初始头部形状数据进行线性组合(如加权求和处理),得到该目标对象的目标头部形状数据。
可选的,该初始头部形状数据包括该M个头部网格中的头部网格n的初始网格形状数据,头部网格n的初始网格形状数据包括目标对象的头部网格n的头部顶点的初始三维位置信息,n为小于或等于M的正整数。该K个候选头部形状数据分别包括多个候选头部网格的候选网格形状数据,候选网格形状数据包括目标对象的候选头部网格的头部顶点的候选三维位置信息。
可选的,上述根据该K个候选头部形状数据,对该目标对象的初始头部形状数据进行修正,得到该目标对象的目标头部形状数据,包括:计算机设备可以从该K个候选头部形状数据中,分别获取与该头部网格n具有位置匹配关系的候选头部网格的候选网格形状数据,得到K个候选网格形状数据;此处与该头部网格n具有位置匹配关系的候选头部网格可以是指:多个候选头部网格中与头部网格n之间的距离小于距离阈值的候选头部网格,候选头部网格与头部网格n之间的距离可以是根据候选头部网格的候选三维位置信息和头部网格n的初始三维位置信息确定的。进一步,对该K个候选网格形状数据进行平均化处理,得到该头部网格n对应的平均头部形状数据,该平均头部形状数据反映该头部网格n中L个顶点分别对应的中心点的三维位置信息,即该平均头部形状数据包括头部网格n的L个头部顶点分别对应的中心点在X、Y、Z轴方向的位置值。进一步,获取L个头部顶点分别被共用的头部网格的网格数量,该L个头部顶点为用于构成该头部网格n的头部顶点,L为大于1的整数,根据该L个头部顶点分别被共用的头部网格的网格数量,以及该头部网格n的初始网格形状数据,确定该头部网格n的形状偏移量,该头部网格n的形状偏移量是指头部网格n的头部顶点的位置与头部网格n的中心点的位置之间的位置偏移。然后,计算机设备可以根据该头部网格n的形状偏移量和该头部网格n对应的平均头部形状数据,确定该头部网格n的目标网格形状数据。如,可以将该头部网格n的形状偏移量与该头部网格n对应的平均形状数据之间的和,确定头部网格n的目标头部形状数据,即根据头部网格n的头部顶点的分别对应的位置偏移与该平均头部形状数据所指示的中心点的三维位置信息之间的和,得到该头部网格n的更新三维位置信息,将该头部网格n的更新三维位置信息,确定为该头部网格n的目标网格形状数据。重复上述步骤,直到获取该M个头部网格分别对应的目标网格形状数据,将该M个头部网格分别对应的目标网格形状数据,作为该目标对象的目标头部形状数据。通过对K个候选头部形状数据进行平均化处理,以获取目标对象目标头部形状数据,这样可以避免单个候选头部形状数据存在误差,导致获取的目标头部形状数据的准确度比较低的问题,提高获取目标头部形状数据的准确度。
例如,计算机设备可以根据如下方式计算该头部网格n对应的平均头部形状数据,假设头部网格n的该L个头部顶点包括头部顶点A、B、C,计算机设备可以从K个候选网格形状数据中获取与头部顶点A之间具有位置匹配关系的候选头部顶点,得到K个第一候选头部顶点,头部顶点A之间具有位置匹配关系的候选头部顶点可以是指候选网格形状数据所指示的候选头部网格中与头部顶点A之间的距离小于距离阈值的头部顶点,对K个第一候选头部顶点在X轴方向上的候选三维位置进行求平均运算,得到头部顶点A对应的中心点在X轴方向的位置值,对K个第一候选头部顶点在Y轴方向上的候选三维位置进行求平均运算,得到头部顶点A对应的中心点在Y轴方向的位置值,对K个第一候选头部顶点在Z轴方向上的候选三维位置进行求平均运算,得到头部顶点A对应的中心点在Z轴方向的位置值,将头部顶点A对应的中心点在X、Y、Z轴方向的位置值,确定为该头部顶点A对应的中心点的三维位置信息。以此类推,计算头部顶点B对应的中心点的三维位置信息,以及该头部顶点C对应的中心点的三维位置信息,将头部顶点A、B、C分别对应的中心点的三维位置信息,确定为该头部网格n对应的平均头部形状数据。
可选的,上述头部网格n的初始网格形状数据包括所述L个头部顶点的初始三维位置信息;上述根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量,包括:计算机设备可以生成用于反映L个头部顶点分别被共用的头部网格的网格数量的网格数量矩阵,即该网格数量矩阵用于反映头部网格n的L个头部顶点分别被共用的头部网络的网格数量。然后,计算机设备可以生成用于反映该L个头部顶点的初始三维位置信息的初始位置矩阵,该初始位置矩阵包括L个头部顶点的初始三维位置信息,根据该初始位置矩阵生成该头部网格n对应的协方差矩阵;该协方差矩阵用于反映该L个头部顶点的初始三维位置信之间的线性关系,线性关系包括线性正相关和线性负相关。接着,对该头部网格n对应的协方差矩阵进行变换处理,得到该头部顶点n对应的特征值对;该头部网格n对应的特征值对包括反映该头部网格n的形状变化特征的特征值和特征向量;此处的特征值反映头部网格n的形状偏移程度,特征向量用于反映头部网格n相对头部网格n的偏移方向,该偏移方向是指头部网格n的法线的方向,该偏移方向是指头部网格n相对于显示屏幕的垂直方向的偏移量。对该头部网格n对应的特征值对中的该特征值和特征向量,与该网格数量矩阵进行乘积处理,得到该头部网格n的形状偏移量。
例如,如该L个头部顶点包括头部顶点A、B、C,头部顶点A、B、C均属于头部网格n的顶点,同时,头部顶点A被3个头部网格共用(即头部顶点A属于3个头部网格的顶点,3个头部网格中包括头部网格n),头部顶点B被2个头部网格共用,头部网格C为4个头部网格共用,头部网格n对应的网格数量矩阵为[3,2,4],头部顶点A、B、C的初始三维位置信息分别为(1,2,3)、(4,5,6)、(7,8,9),单位为mm;则头部网格n对应的初始位置矩阵为:P=,计算机设备可以在每个维度的均值,得到mean=[4,5,6],将初始位置矩阵中心化处理,得到处理后的矩阵,即采用初始位置矩阵中的元素与对应维度的均值相减,得到处理后矩阵,即为centered_P =/>,根据该处理后的矩阵可以计算协方差矩阵,,/>是指处理后矩阵的转置,C =/>,由于协方差矩阵中的元素均为正数,表明头部顶点A、B、C的初始三维位置信息之间具有线性正相关关系。计算机设备可以根据C/>=/>,计算协方差矩阵的特征值和特征向量,即/>是指头部网格n对应的协方差矩阵的特征向量,/>是指头部网格n对应的协方差矩阵的特征值。对该头部网格n对应的特征值对中的该特征值和特征向量,与该网格数量矩阵进行乘积处理,得到该头部网格n的形状偏移量。例如,计算机设备可以采用如下公式(1)计算头部网格n的形状偏移量:
例如,计算机设备可以采用如下公式(2)计算目标对象的目标头部形状数据:
需要说明的是,当协方差矩阵具有多个特征值对,这是,计算机设备可以按照公式(1)对计算机每个特征值对对应的形状偏移量,然后,对多个特征值对对应的形状偏移量进行加权求和处理,得到头部网格n的形状偏移量。
S104、根据该K个候选头部纹理数据,对该目标对象的初始头部纹理数据进行修正,得到该目标对象的目标头部纹理数据。
本申请中,由于该K个候选头部纹理数据是从K个图像中提取得到的,K个候选头部纹理数据能够提供更多关于目标对象的头部的纹理细节信息,因此,计算机设备可以根据K个候选头部纹理数据,对该目标对象的初始头部纹理数据进行修正,得到该目标对象的目标头部纹理数据,可以提高目标头部纹理数据的准确度。
可选的,步骤S104包括:计算机设备可以调用特征处理网络对K个候选头部纹理数据和初始头部纹理数据进行线性组合,得到该目标对象的目标头部纹理数据。例如,计算机设备可以调用特征处理网络获取K个候选头部纹理数据和初始纹理数据分别对应的权重,根据权重对K个候选头部纹理数据和初始头部纹理数据进行加权求和处理,得到该目标对象的目标头部纹理数据。K个候选头部纹理数据对应的权重可以是对应图像的图像属性确定的,图像属性包括图像清晰度以及面部完整度等中的至少一种或多种,如面部完整度越高,从该图像提取到的候选头部纹理数据对应的权重越高;面部完整度越低,从该图像提取到的候选头部纹理数据对应的权重越低。初始头部纹理数据对应的权重可以是根据初始对象网格模型的精确度确定的,即初始对象网格模型的精确度越高,该初始头部纹理数据对应的权重越高;反之,初始对象网格模型的精确度越低,该初始头部纹理数据对应的权重越低。K个候选头部纹理数据对应的权重和初始头部纹理数据的对应的权重之间的和为1。或者,计算机设备可以对K个头部纹理数据进行平均化处理,得到平均纹理数据,对平均纹理数据和该初始头部纹理数据进行求和处理(或加权求和处理),得到目标对象的目标头部纹理数据。
例如,如图5所示,该目标头部重建模型可以特征处理网络和优化更新网络,特征处理网络可以包括多层感知机编码器,该优化更新网络可以包括解码器。该多层感知机编码器可以包括多个神经网络层和卷积层,如图5所示,该多层感知机编码器包括神经网络层50a、第一中间层51a、第二中间层52a、第三中间层53a、第四中间层54a,每个中间层包括一个神经网络层和一个卷积层。计算机设备可以通过该多层感知机编码器获取目标对象的目标头部形状特征和目标头部纹理特征,以该目标对象为虚拟人物b为例,计算机设备可以获取该虚拟人物的图像p1,以及虚拟人物b的初始对象网格模型p2,可以将该图像p1和初始对象网格模型p2输入到神经网络层50a,神经网格层50a对图像p1进行头部特征提取,得到头部特征图b1,该头部特征图b1的尺寸是,其中,/>表示头部特征图b1的高度,/>表示头部特征图b1的宽度,64表示头部特征图b1的通道数,描述一个像素的颜色对应的向量的维数;/>描述的就是头部特征图b1的分辨率,也就是像素点的个数。对于每一个像素点,都会表示一个颜色,用一个/>维的向量描述;同时,/>反映头部特征图b1的宽、高分别为图像p1的宽、高的二分之一。进一步,调用第一中间层51a对头部特征图b1进行头部特征提取,得到头部特征图b2,该头部特征图b2的尺寸是/>,即头部特征图b2的宽、高为图像p1的宽、高的四分之一。调用第二中间层52a对头部特征图b2进行头部特征进行提取,得到该头部特征图b3,该头部特征图b3的尺寸是/>,即头部特征图b3的宽、高为图像p1的宽、高的八分之一。调用第三中间层53a对头部特征图b3进行头部特征进行提取,得到该头部特征图b4,该头部特征图b4的尺寸是/>,即头部特征图b4的宽、高为图像p1的宽、高的十六分之一。头部特征图b4中的头部形状特征可以称为图像p1对应的候选头部形状特征,头部特征图b4中的头部纹理特征可以称为图像p1对应的候选头部纹理特征。针对K个图像重复执行上述步骤,得到每个图像分别对应的候选头部形状特征和候选头部纹理特征,调用第四中间层52a根据K个图像的头部特征图b4对初始对象网格模型p2的初始头部形状特征和初始纹理特征进行修正,得到包括目标头部形状特征和目标纹理特征的头部特征图b5,头部特征图b5的尺寸是/>,即头部特征图b5的宽、高为图像p1的宽、高的三十二分之一。
需要说明的是,多层感知机编码器中的神经网络层与第一中间层、各个中间层之间是全连接的,其中,每个中间层也可以称为一个感知器,每个感知器的输出可以采用如下公式(3)表示:
其中,公式(3)中的表示第x个感知器的输出,/>表示第/>个感知器的输出,/>是激活函数,可以是非线性激活函数。/>表示权重,/>表示偏置,权重和偏置均属于第x层感知器的对应的模型参数,该模型参数是对初始头部重建模型的训练过程中调整得到的。例如,感知器的每层的权重可以根据如下公式(4)计算得到:
S105、根据该目标头部形状数据和该目标头部纹理数据,对该目标对象的初始对象网格模型中的该M个头部网格进行优化更新,得到优化后的目标对象网格模型。
本申请中,计算机设备可以根据该目标头部形状数据和目标头部纹理数据,对该目标对象的初始对象网格模型中的M个头部网格进行优化更新,得到优化后的目标对象网格模型,该目标对象网格模型相对于初始对象网格模型,能够提供更多关于目标对象的头部的细节信息,因此,该目标对象网格模型也可以称为优化后的对象网格模型。
可选的,上述根据该目标头部形状数据和该目标头部纹理数据,对该初始对象网格模型中的该M个头部网格进行优化更新,得到优化后的目标对象网格模型,包括:计算机设备可以调用目标头部重建模型的优化更新网络,对该目标头部形状数据和该目标头部纹理数据进行融合,得到目标融合特征,即将目标头部形状数据和目标头部纹理数据添加至同一个矩阵中,得到目标融合特征。进一步,对该目标融合特征进行上采样处理,得到该目标对象的目标头部深度数据,该目标头部深度数据用于反映目标对象的头部到相机成像平面的垂直距离。进一步,调用上述优化更新网络,根据该目标头部形状数据、该目标头部纹理数据以及该目标头部深度数据,生成反映该目标对象的头部的目标头部网格,即目标头部形状数据用于限制目标头部网格的形状、大小、位置,目标头部纹理数据用于限制目标头部网格的颜色的类型,如红、黄、绿,目标头部深度数据用于限制目标头部网格的颜色的亮度等。进一步,采用该目标头部网格替换该初始对象网格模型中的该M个头部网格,得到优化后的目标对象网格模型。通过目标头部形状数据、目标头部纹理数据以及目标头部深度数据,对初始对象网格模型中的头部网格进行优化更新,提高使优化后的目标对象网格模型中头部网格的精确度,有利于后续渲染得到逼真的图像。
可理解的是,优化更新网络可以包括解码器,该解码器可以包括X个上采样层,计算机设备可以获取包括目标融合特征的头部特征图,通过X个上采样层对头部特征图以及编码器中的头部特征图进行拼接、上采样处理,得到包括目标对象的目标头部深度数据的深度特征图。
例如,如图5所示,优化更新网络可以包括解码器,该解码器可以包括上采样层55a、上采样层56a、上采样层57a、上采样层58a、上采样层59a。计算机设备可以调用上采样层55a对包括目标头部形状特征和目标纹理特征的头部特征图b5进行上采样处理,得到上采样特征图c1,该上采样特征图c1的尺寸为,调用上采样层56a将该上采样特征图c1与上述头部特征图b4进行拼接得的拼接特征图d1,拼接特征图d1的尺寸为,对该拼接特征图d1进行上采样处理得到上采样特征图c2,该上采样特征图c2的尺寸为/>。调用上采样层57a将该上采样特征图c2与上述头部特征图b3进行拼接得的拼接特征图d2,拼接特征图d2的尺寸为/>,对该拼接特征图d2进行上采样处理得到上采样特征图c3,该上采样特征图c3的尺寸为。调用上采样层58a将该上采样特征图c3与上述头部特征图b2进行拼接得的拼接特征图d3,拼接特征图d3的尺寸为/>,对该拼接特征图d3进行上采样处理得到上采样特征图c4,该上采样特征图c4的尺寸为/>。调用上采样层59a将该上采样特征图c4与上述头部特征图b1进行拼接得的拼接特征图d4,拼接特征图d4的尺寸为/>,对该拼接特征图d4进行最大池化处理,得到包括目标对象的目标头部深度数据的深度特征图p3,其中,深度特征图p3的长、宽与原始图像(如图像p1)的长、宽相同,即将深度图像特征p3恢复至原始图像的分辨率,避免在特征提取的过程引起信息丢失,提高获取目标头部深度数据的准确度。
可选的,上述采用该目标头部网格替换该初始对象网格模型中的该M个头部网格,得到优化后的目标对象网格模型,包括:计算机设备可以采用该目标头部网格替换该初始对象网格模型中的该M个头部网格,得到该目标对象的候选对象网格模型,计算机设备可以进一步对候选对象网格模型进行优化,具体的,计算机设备可以根据该候选对象网格模型中的该目标头部网格和颈部网格,对该目标对象的头部和颈部进行裂缝检测,得到检测结果。该检测结果反映目标对象的头部和颈部之间存在裂缝,或者,该检测结果反映目标对象的头部和颈部之间不存在裂缝,目标对象的头部和颈部之间存在裂缝是指目标对象的头部和颈部之间的边缘存在缝隙,目标对象的头部和颈部之间不存在裂缝是指目标对象的头部和颈部之间的边缘不存在缝隙。若检测到该目标对象的头部和所述颈部之间存在裂缝,即该检测结果反映目标对象的头部和颈部之间存在裂缝,则对该候选对象网格模型中的该目标头部网格进行修正处理,得到优化后的目标对象网格模型。若检测到该目标对象的头部和所述颈部之间不存在裂缝,即该检测结果反映目标对象的头部和颈部之间不存在裂缝,则将该候选对象网格模型,确定为优化后的目标对象网格模型。在检测到目标对象的头部和颈部之间存在裂缝时,通过对候选对象网格模型中的目标头部网格进行修正处理,提高目标对象的头部和颈部之间的贴合度,以使目标对象的对象网格模型更加精度和逼真。
可选的,上述根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测,包括:计算机设备可以对该目标头部网格中的头部边缘网格进行二维投影,得到包括该头部边缘网格的二维平面;该头部边缘网格为该目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格,即该头部边缘网格为目标头部网格中与颈部网格相邻的头部网格。进一步,对该候选对象网格模型的颈部网格中的颈部边缘网格进行二维投影,得到包括该颈部边缘网格的二维平面;该颈部边缘网格为该颈部网格中与所述目标头部网格之间的距离小于第二距离阈值的网格,即该颈部边缘网格为颈部网格中与头部边缘网格之间具有位置相邻关系的颈部网格。若包括该头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面不匹配,则确定该目标对象的头部和该颈部之间存在裂缝,如果包括该头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面匹配,则确定该目标对象的头部和该颈部之间不存在裂缝。
需要说明的是,计算机设备可以获取包括该头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面之间平面角度,如果平面角度小于角度阈值,则确定包括该头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面匹配;如果平面角度大于或者等于角度阈值,则确定包括该头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面不匹配。包括该头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面之间平面角度可以是指:包括该头部边缘网格的二维平面的法向量与包括所述颈部边缘网格的二维平面的法向量之间的锐角。
可选的,上述若检测到该目标对象的头部和所述颈部之间存在裂缝,则对该候选对象网格模型中的该目标头部网格进行修正处理,得到优化后的目标对象网格模型,包括:若检测到该目标对象的头部和该颈部之间存在裂缝,则计算机设备可以获取该目标头部网格中的头部边缘网格的边长;该头部边缘网格为该目标头部网格中与该颈部网格之间的距离小于第一距离阈值的网格;计算机设备可以对边长大于边长阈值的头部边缘网格进行调整,得到优化后的目标对象网格模型,如可以将边长大于边长阈值的头部边缘网格进行合并,得到优化后的目标对象网格模型,或者,可以对边长大于边长阈值的头部边缘网格中添加新的网格,得到优化后的目标对象网格模型,这样可以最大化目标对象网格模型中的网格的最小内角,避免出现边长很大,内角很小的网格,导致目标对象的头部和颈部出现裂缝,提高目标对象的头部与颈部之间的平滑度。
可选的,计算机设备可以根据目标对象网格模型渲染得到包括目标对象的目标图像,具体的,计算机设备可以获取该目标对象网格模型中的顶点的三维坐标,将该目标对象网格模型中的顶点的三维坐标映射至纹理空间,得到该目标对象网格模型中的顶点的纹理坐标。然后,根据该目标对象网格模型中的网格的纹理数据,确定该目标对象网格模型中的网格对应的纹理贴图,纹理贴图的尺寸与对应网格的尺寸一样大,纹理贴图具有对应的网格的颜色的图片。进一步,根据该目标对象网格模型中的顶点的纹理坐标以及该目标对象网格模型中的网格对应的纹理贴图,对该目标对象网格模型中的网格进行贴图处理;即将纹理贴图与目标对象网格模型中的对应网格进行对齐,得到贴图处理后的目标对象网格模型。进一步,计算机设备可以对该贴图处理后的目标对象网格模型进行渲染,得到包括所述目标对象的目标图像,即计算机设备可以对贴图处理后的目标对象网格模型中的颜色亮度等进行微调,得到包括目标对象的目标图像。
可选的,上述将该目标对象网格模型中的顶点的三维坐标映射至纹理空间,得到该目标对象网格模型中的顶点的纹理坐标,包括:计算机设备可以获取目标对象网格模型中的目标顶点的三维坐标,以及与该目标顶点具有邻近位置关系的K个相邻顶点分别对应的三维坐标,目标顶点可以是指目标对象网格模型中的任一个顶点,目标顶点的三维坐标可以是指目标顶点在目标对象网格模型中的一个顶点为坐标原点所创建三维坐标系中位置。然后,计算机设备可以根据K个相邻顶点分别对应的三维坐标和目标顶点的三维坐标,确定目标顶点分别与K个相邻顶点之间的距离,根据目标顶点分别与K个相邻顶点之间的距离,以及K个相邻顶点的三维坐标,确定目标顶点的纹理坐标。
例如,计算机设备可以采用如下公式(5)计算目标对象网格模型中的顶点的纹理坐标:
其中,公式(5)中,可以是指目标对象网格模型中的目标顶点,/>表示目标顶点的纹理坐标,/>表示目标顶点与其的第i个相邻顶点之间的距离,目标顶点与其的第j个相邻顶点之间的距离,/>表示目标顶点的第i个相邻顶点的三维坐标。
本申请中,由于该K个候选头部形状数据和K个候选头部纹理数据是从包括目标对象的K个图像中提取到的,即K个候选头部形状数据和K个候选头部纹理数据能够提供关于目标对象的头部的更多细节信息。因此,通过K个候选头部形状数据,对初始对象网格模型中的初始头部形状数据进行修正,得到目标头部形状数据,通过K个候选头部纹理数据对初始对象网格模型中的初始头部纹理数据进行修正,得到目标头部纹理数据,能够提高目标头部形状数据和目标头部纹理数据的准确度。进一步,根据目标头部形状数据和目标头部纹理数据对初始对象网格模型中的头部网格进行优化更新,能够提高优化后的目标对象网格模型中的头部网格的精确度;另外,对初始对象网格模型中的头部网格模型的优化更新过程,不需要人工参与,可节省人工成本,提高获取对象网格模型的效率。
进一步地,请参见图6,是本申请实施例提供的一种数据处理方法的流程示意图。如图6所示,该方法可由图1中的终端集群中的任一终端来执行,也可以由图1中的服务器来执行,还可以由图1中的终端集群中的终端和服务器来协同执行,本申请中用于执行该数据处理方法的设备可以统称为计算机设备。其中,该方法可以包括如下步骤:
S201、获取样本对象的标注头部轮廓数据、用于反映该样本对象的待优化的初始对象网格模型以及包括该样本对象的P个图像;该初始对象网格模型包括具有该样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,该训练数据包括该样本对象的标注头部形状数据。
本申请中,计算机设备可以获取样本对象的标注头部轮廓数据,该标注头部轮廓数据是对包括样本对象的图像进行人工标注得到的,该标注头部轮廓数据反映样本对象的真实头部轮廓,头部轮廓是指头宽(左、右颧弓突点间距)与头高形成的矩形。进一步,获取用于反映该样本对象的待优化的初始对象网格模型,该样本对象的初始对象网格模型是指基于包括样本对象的少量图像生成的,或者,该样本对象的初始对象网格模型是人工制作得到的,或者,该样本对象的初始对象网格模型是通过对样本对象进行扫描得到的。通常该初始对象网格模型中缺少样本对象的头部的细节信息,因此,该初始对象网格模型可以称为待优化的对象网格模型。该初始对象网格模型中可以包括样本对象的Q个头部网格,Q个头部网格具有样本对象的初始头部形状数据和初始头部纹理数据,即Q个头部网格用于反映样本对象的初始头部形状数据和初始头部纹理数据。初始头部形状数据反映样本对象的头部姿态、面部表情、五官的大小、形状等,初始头部纹理数据反映样本对象的头部颜色信息。进一步,计算机设备可以获取包括样本对象的P个图像,P个图像可以从多个不同角度对样本对象进行拍摄得到的,如P个图像中包括对样本对象的正面、侧面、背面等进行拍摄得到的图像,通过P个图像能够为样本对象的头部提供更丰富的细节信息。
S202、调用初始头部重建模型,对该P个图像进行头部特征提取,得到该样本对象的P个候选头部形状数据和P个候选头部纹理数据。
本申请中,计算机设备可以调用初始头部重建模型,对该P个图像进行头部特征提取,得到该样本对象的P个候选头部形状数据以及P个候选头部纹理数据,即计算机设备可以调用该初始头部重建模型的特征处理网络,对该P个图像进行头部特征提取,得到该样本对象的P个候选头部形状数据以及P个候选头部纹理数据。
S203、根据该P个候选头部形状数据,对该样本对象的初始头部形状数据进行修正,得到该样本对象的预测头部形状数据。
本申请中,由于该P个候选头部形状数据是从P个图像中提取得到的,P个候选头部形状数据能够提供更多关于样本对象的头部的形状细节信息,因此,计算机设备可以调用初始重建模型的特征处理网络,根据P个候选头部形状数据,对该样本对象的初始头部形状数据进行修正,得到该样本对象的预测头部形状数据,可以提高预测头部形状数据的准确度。
S204、根据该P个候选头部纹理数据,对该样本对象的初始头部纹理数据进行修正,得到该样本对象的预测头部纹理数据。
本申请中,由于该P个候选头部纹理数据是从P个图像中提取得到的,P个候选头部纹理数据能够提供更多关于样本对象的头部的纹理细节信息,因此,计算机设备可以调用初始重建模型的特征处理网络,根据P个候选头部纹理数据,对该样本对象的初始头部纹理数据进行修正,得到该样本对象的预测头部纹理数据,可以提高预测头部纹理数据的准确度。
S205、根据该预测头部纹理数据和该预测头部形状数据,对该样本对象的初始对象网格模型的该Q个头部网格进行优化更新,得到优化后的预测对象网格模型。
本申请中,计算机设备可以调用初始头部重建模型的优化更新网络,根据该预测头部形状数据和预测头部纹理数据,对该样本对象的初始对象网格模型中的Q个头部网格进行优化更新,得到优化后的预测对象网格模型。该预测对象网格模型相对于样本对象的初始对象网格模型,能够提供更多关于样本对象的头部的细节信息,因此,该预测对象网格模型也可以称为优化后的对象网格模型。
S206、根据该标注头部轮廓数据、该预测头部纹理数据、该预测对象网格模型以及该预测头部形状数据,对该初始头部重建模型进行训练,得到目标头部重建模型;该目标重建头部重建模型被调用时用于执行如前文所描述的方法。
本申请中,计算机设备可以根据该标注头部轮廓数据、该预测头部纹理数据、预测对象网格模型以及该预测头部形状数据,对该初始头部重建模型进行训练,直到训练后的初始头部重建模型满足停止训练条件时,得到目标头部重建模型,该目标头部重建模型被调用时用于执行前文所描述的方法。该目标头部重建模型获取到的样本对象的更新对象网格模型的精确度,大于初始头部重建模型的获取到预测对象网格模型的精确度,更新对象网格模型是由目标头部重建模型参考上述步骤S201~S205获取到的样本对象的对象网格模型。更新对象网格模型的精确度可以是根据更新头部轮廓数据以及上述标注头部轮廓数据确定的,更新头部轮廓数据是根据上述更新对象网格模型确定的;预测对象网格模型的精确度可以是根据预测头部轮廓数据以及上述标注头部轮廓数据确定的,预测头部轮廓数据是根据上述预测对象网格模型确定的。
可选的,上述根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型,包括:计算机设备可以根据该预测对象网格模型,确定该样本对象的预测头部轮廓数据,如可以根据预测对象网格模型中的头部网格中的边缘头部网格,获取样本对象的头宽(左、右颧弓突点间距)与头高形成的矩形,将该矩形,确定为该样本对象的预测头部轮廓数据。进一步,如果该标注头部轮廓数据与预测头部轮廓数据之间的差异比较小,表明初始头部重建模型重建得到预测对象网格模型,能够较准确度的反映样本对象的头部轮廓;反之,如果该标注头部轮廓数据与预测头部轮廓数据之间的差异比较大,表明初始头部重建模型重建得到预测对象网格模型,不能够较准确度的反映样本对象的头部轮廓。因此,计算机设备可以获取该标注头部轮廓数据与该预测头部轮廓数据之间的距离,根据该距离确定该初始头部重建模型的轮廓预测误差,即该轮廓预测误差用于初始头部重建模型预测样本对象的头部轮廓的准确度,即轮廓预测误差用于反映基于初始头部重建模型获取的预测对象网格模型的精确度。预测头部轮廓数据与标注头部轮廓数据之间的距离,和轮廓预测误差之间具有正相关关系,即距离越大,轮廓预测误差越大;距离越小,轮廓预测误差越小。例如,该标注头部轮廓数据包括样本对象的头宽与头高形成的矩形的4个标注顶点的三维坐标,预测头部轮廓数据包括样本对象的头宽与头高形成的矩形的4个预测顶点的三维坐标,计算机设备可以通过如下公式(6)计算得到初始头部重建模型的轮廓预测误差:
其中,公式(6)中,表示初始头部重建模型的轮廓预测误差,/>表示第i个标注顶点的三维坐标,/>表示第i个预测顶点的三维坐标,/>表示第i个标注顶点与第i个预测顶点之间的距离。进一步,计算机设备可以根据该预测头部形状数据,生成该初始头部重建模型的形状预测误差,该形状预测误差反映初始头部重建模型获取样本对象的预测头部形状数据的准确度。该预测头部纹理数据包括预测对象网格模型中的网格分别对应的纹理数据,获取预测对象网格模型中的每两个网格的纹理数据之间的差值,累计预测对象网格模型中的每两个网格的纹理数据之间的差值,得到初始头部重建模型的纹理预测误差。即该纹理预测误差反映初始重建模型所输出的预测头部纹理数据的平滑程度,即纹理预测误差越大,初始重建模型所输出的预测头部纹理数据的平滑程度越低;纹理预测误差越小,初始重建模型所输出的预测头部纹理数据的平滑程度越高。接着,计算机设备可以根据该形状预测误差、该轮廓预测误差以及该纹理预测误差,对该初始头部重建模型的模型参数进行调整,得到目标头部重建模型。可选的,该样本对象的数量为S个,S为大于1的正整数;上述根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差,包括:计算机设备可以根据相似度算法确定S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度,相似度度算法包括余弦相似度算法、欧几里德距离相似度等等。进一步,累计该S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度,得到相似度总和,根据该相似度总和,生成该初始头部重建模型的形状预测误差。通常两个不同样本对象,其各自对应的头部形状具有较大的差别,因此,如果两个不同样本对象的对应的预测头部形状数据之间的相似度越大,表明初始头部重建模型所输出的预测头部形状数据的准确度比较低;如果两个不同样本对象的对应的预测头部形状数据之间的相似度越小,表明初始头部重建模型所输出的预测头部形状数据的准确度比较高。换而言之,上述相似度总和与形状预测形状误差之间具有正相关关系,即相似度总和越大,预测形状误差越大;相似度总和越小,预测形状误差越小。通过不同样本对象的预测形状数据之间的相似度,确定初始头部重建模型的形状预测误差,有利于基于形状预测误差等训练得到高精确度的目标头部重建模型。
例如,以相似度度算法为余弦相似度算法为例,计算机设备可以通过如下公式(7)计算得到初始头部重建模型的形状预测误差:
其中,表示初始头部重建模型的形状预测误差,/>表示第i个样本对象的预测头部形状数据,/>表示第j个样本对象的预测头部形状数据,/>表示样本对象的数量。可选的,上述根据该形状预测误差、该轮廓预测误差以及该纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型,包括:计算机设备可以对该形状预测误差、该轮廓预测误差以及该纹理预测误差进行求和处理,得到该初始头部重建模型的预测总误差;根据所述预测总误差,确定所述初始头部重建模型的收敛状态,该初始头部重建模型的收敛状态包括已收敛状态或未收敛状态,已收敛状态是指初始头部重建模型的预测总误差小于误差阈值,未收敛状态是指初始头部重建模型的预测总误差大于或等于误差阈值,该误差阈值可以是指初始头部重建模型的最小预测误差,或者,预测误差阈值可以预先设置的。若该初始头部重建模型处于已收敛状态,则将该初始头部重建模型确定为目标头部重建模型;若该初始头部重建模型处于未收敛状态,则根据该预测总误差,对该初始头部重建模型的模型参数进行调整,直到调整后的初始头部重建模型处于已收敛状态时,将调整后的初始头部重建模型的确定为目标头部重建模型。需要说明的是,该初始头部重建模型的预测总误差可以是基于上述公式(4)中的损失函数计算得到。
本申请中,通过对初始头部重构模型进行训练,提高训练得到的目标头部重构模型的准确度,有利于通过目标头部重构模型自动实现对初始对象网格模型中的头部网格进行优化更新,能够广泛应用于游戏、动画视频等场景,提高本申请的适用范围。
请参见图7,是本申请实施例提供的一种数据处理装置的结构示意图。如图7所示,该数据处理装置可以包括:
获取模块711,用于获取待优化的初始对象网格模型,以及包括所述目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数;
提取模块712,用于对所述K个图像进行头部特征提取,得到所述目标对象的K个候选头部形状数据以及K个候选头部纹理数据;
第一修正模块713,用于根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据;
第二修正模块714,用于根据所述K个候选头部纹理数据,对所述目标对象的初始头部纹理数据进行修正,得到所述目标对象的目标头部纹理数据;
更新模块715,用于根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型。
可选的,更新模块715包括融合单元7111a、采样单元7112a、第一生成单元7113a以及更新单元7114a;
融合单元7111a,用于对所述目标头部形状数据和所述目标头部纹理数据进行融合,得到目标融合特征;
采样单元7112a,用于对所述目标融合特征进行上采样处理,得到所述目标对象的目标头部深度数据;
第一生成单元7113a,用于根据所述目标头部形状数据、所述目标头部纹理数据以及所述目标头部深度数据,生成反映所述目标对象的头部的目标头部网格;
更新单元7114a,用于采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到优化后的目标对象网格模型。
可选的,更新单元7114a采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到优化后的目标对象网格模型,包括:
采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到所述目标对象的候选对象网格模型;
根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测;
若检测到所述目标对象的头部和所述颈部之间存在裂缝,则对所述候选对象网格模型中的所述目标头部网格进行修正处理,得到优化后的目标对象网格模型。
可选的,更新单元7114a根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测,包括:
对所述目标头部网格中的头部边缘网格进行二维投影,得到包括所述头部边缘网格的二维平面;所述头部边缘网格为所述目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格;
对所述候选对象网格模型的颈部网格中的颈部边缘网格进行二维投影,得到包括所述颈部边缘网格的二维平面;所述颈部边缘网格为所述颈部网格中与所述目标头部网格之间的距离小于第二距离阈值的网格;
若包括所述头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面不匹配,则确定所述目标对象的头部和所述颈部之间存在裂缝。
可选的,更新单元7114a若检测到所述目标对象的头部和所述颈部之间存在裂缝,则对所述候选对象网格模型中的所述目标头部网格进行修正处理,得到优化后的目标对象网格模型,包括:
若检测到所述目标对象的头部和所述颈部之间存在裂缝,则获取所述目标头部网格中的头部边缘网格的边长;所述头部边缘网格为所述目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格;
对边长大于边长阈值的头部边缘网格进行调整,得到优化后的目标对象网格模型。
可选的,所述初始头部形状数据包括所述M个头部网格中的头部网格n的初始网格形状数据,n为小于或等于M的正整数;所述K个候选头部形状数据分别包括多个候选头部网格的候选网格形状数据;
第一修正模块713包括处理单元7115b、第二生成单元7116b、获取单元7117b以及第三生成单元7118b;
获取单元7117b,用于从所述K个候选头部形状数据中,分别获取与所述头部网格n具有位置匹配关系的候选头部网格的候选网格形状数据,得到K个候选网格形状数据;
处理单元7115b,用于对所述K个候选网格形状数据进行平均化处理,得到所述头部网格n对应的平均头部形状数据;
获取单元7117b,用于获取L个头部顶点分别被共用的头部网格的网格数量;所述L个头部顶点为用于构成所述头部网格n的头部顶点,L为大于1的整数;
第二生成单元7116b,用于根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量;
第三生成单元7118b,用于根据所述头部网格n的形状偏移量和所述头部网格n对应的平均头部形状数据,确定所述头部网格n的目标网格形状数据,直到获取所述M个头部网格分别对应的目标网格形状数据,将所述M个头部网格分别对应的目标网格形状数据,作为所述目标对象的目标头部形状数据。
可选的,所述头部网格n的初始网格形状数据包括所述L个头部顶点的初始三维位置信息;第三生成单元7118b根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量,包括:
生成用于反映L个头部顶点分别被共用的头部网格的网格数量的网格数量矩阵,以及生成用于反映所述L个头部顶点的初始三维位置信息的初始位置矩阵;
根据所述初始位置矩阵生成所述头部网格n对应的协方差矩阵;所述协方差矩阵用于反映所述L个头部顶点的初始三维位置信之间的线性关系;
对所述头部网格n对应的协方差矩阵进行变换处理,得到所述头部顶点n对应的特征值对;所述头部网格n对应的特征值对包括反映所述头部网格n的形状变化特征的特征值和特征向量;
对所述头部网格n对应的特征值对中的所述特征值和特征向量,与所述网格数量矩阵进行乘积处理,得到所述头部网格n的形状偏移量。
该装置还包括渲染模块716;渲染模块716,用于执行如下步骤:
获取所述目标对象网格模型中的顶点的三维坐标;
将所述目标对象网格模型中的顶点的三维坐标映射至纹理空间,得到所述目标对象网格模型中的顶点的纹理坐标;
根据所述目标对象网格模型中的网格的纹理数据,确定所述目标对象网格模型中的网格对应的纹理贴图;
根据所述目标对象网格模型中的顶点的纹理坐标以及所述目标对象网格模型中的网格对应的纹理贴图,对所述目标对象网格模型中的网格进行贴图处理;
对所述贴图处理后的目标对象网格模型进行渲染,得到包括所述目标对象的目标图像。
本申请中,通过对初始头部重构模型进行训练,提高训练得到的目标头部重构模型的准确度,有利于通过目标头部重构模型自动实现对初始对象网格模型中的头部网格进行优化更新,能够广泛应用于游戏、动画视频等场景,提高本申请的适用范围。
请参见图8,是本申请实施例提供的一种数据处理装置的结构示意图。如图8所示,该数据处理装置可以包括:
获取模块811,用于获取样本对象的标注头部轮廓数据、所述样本对象的待优化的初始对象网格模型以及包括所述样本对象的P个图像;所述初始对象网格模型包括所述样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,所述训练数据包括所述样本对象的标注头部形状数据;
提取模块812,用于调用初始头部重建模型,对所述P个图像进行头部特征提取,得到所述样本对象的P个候选头部形状数据和P个候选头部纹理数据;
第一修正模块813,用于根据所述P个候选头部形状数据,对所述样本对象的初始头部形状数据进行修正,得到所述样本对象的预测头部形状数据;
第二修正模块814,用于根据所述P个候选头部纹理数据,对所述样本对象的初始头部纹理数据进行修正,得到所述样本对象的预测头部纹理数据;
更新模块815,用于根据所述预测头部纹理数据和所述预测头部形状数据,对所述样本对象的初始对象网格模型中的所述Q个头部网格进行优化更新,得到优化后的预测对象网格模型;
训练模块816,用于根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型;所述目标重建头部重建模型被调用时用于执行如前文的方法。
训练模块816包括确定单元8111a、生成单元8112a以及调整单元8113a;
确定单元8111a,用于根据所述预测对象网格模型,确定所述样本对象的预测头部轮廓数据,根据所述标注头部轮廓数据和所述预测头部轮廓数据,生成所述初始头部重建模型的轮廓预测误差;
生成单元8112a,用于根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差;根据所述预测头部纹理数据,生成所述初始头部重建模型的纹理预测误差;
调整单元8113a,用于根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型。
可选的,所述样本对象的数量为S个,S为大于1的正整数;所述生成单元8112a根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差,包括:
确定S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度;
累计所述S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度,得到相似度总和;
根据所述相似度总和,生成所述初始头部重建模型的形状预测误差。
可选的,调整单元8113a根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型,包括:
根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,确定所述初始头部重建模型的预测总误差;
根据所述预测总误差,确定所述初始头部重建模型的收敛状态;
若所述初始头部重建模型处于未收敛状态,则根据所述预测总误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型。
本申请中,由于该K个候选头部形状数据和K个候选头部纹理数据是从包括目标对象的K个图像中提取到的,即K个候选头部形状数据和K个候选头部纹理数据能够提供关于目标对象的头部的更多细节信息。因此,通过K个候选头部形状数据,对初始对象网格模型中的初始头部形状数据进行修正,得到目标头部形状数据,通过K个候选头部纹理数据对初始对象网格模型中的初始头部纹理数据进行修正,得到目标头部纹理数据,能够提高目标头部形状数据和目标头部纹理数据的准确度。进一步,根据目标头部形状数据和目标头部纹理数据对初始对象网格模型中的头部网格进行优化更新,能够提高优化后的目标对象网格模型中的头部网格的精确度;另外,对初始对象网格模型中的头部网格模型的优化更新过程,不需要人工参与,可节省人工成本,提高获取对象网格模型的效率。
请参见图9,是本申请实施例提供的一种计算机设备的结构示意图。如图9所示,上述计算机设备1000可以为上述方法中的第一设备,具体可以是指终端或服务器,包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一条通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,在一些实施例中,用户接口1003可以包括显示屏(DiSPlay)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile MeMory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个在远离前述处理器1001的存储装置。如图9所示,作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及计算机应用程序。
在图9所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于提供输入的接口;而处理器1001可以用于调用存储器1005中存储的计算机应用程序,以实现:
获取目标对象的待优化的初始对象网格模型,以及包括所述目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数;
对所述K个图像进行头部特征提取,得到所述目标对象的K个候选头部形状数据以及K个候选头部纹理数据;
根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据;
根据所述K个候选头部纹理数据,对所述目标对象的初始头部纹理数据进行修正,得到所述目标对象的目标头部纹理数据;
根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现所述根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型,包括:
对所述目标头部形状数据和所述目标头部纹理数据进行融合,得到目标融合特征;
对所述目标融合特征进行上采样处理,得到所述目标对象的目标头部深度数据;
根据所述目标头部形状数据、所述目标头部纹理数据以及所述目标头部深度数据,生成反映所述目标对象的头部的目标头部网格;
采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到优化后的目标对象网格模型。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到优化后的目标对象网格模型,包括:
采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到所述目标对象的候选对象网格模型;
根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测;
若检测到所述目标对象的头部和所述颈部之间存在裂缝,则对所述候选对象网格模型中的所述目标头部网格进行修正处理,得到优化后的目标对象网格模型。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测,包括:
对所述目标头部网格中的头部边缘网格进行二维投影,得到包括所述头部边缘网格的二维平面;所述头部边缘网格为所述目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格;
对所述候选对象网格模型的颈部网格中的颈部边缘网格进行二维投影,得到包括所述颈部边缘网格的二维平面;所述颈部边缘网格为所述颈部网格中与所述目标头部网格之间的距离小于第二距离阈值的网格;
若包括所述头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面不匹配,则确定所述目标对象的头部和所述颈部之间存在裂缝。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现若检测到所述目标对象的头部和所述颈部之间存在裂缝,则对所述候选对象网格模型中的所述目标头部网格进行修正处理,得到优化后的目标对象网格模型,包括:
若检测到所述目标对象的头部和所述颈部之间存在裂缝,则获取所述目标头部网格中的头部边缘网格的边长;所述头部边缘网格为所述目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格;
对边长大于边长阈值的头部边缘网格进行调整,得到优化后的目标对象网格模型。
可选的,所述初始头部形状数据包括所述M个头部网格的网格形状数据;可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据,包括:
可选的,所述初始头部形状数据包括所述M个头部网格中的头部网格n的初始网格形状数据,n为小于或等于M的正整数;所述K个候选头部形状数据分别包括多个候选头部网格的候选网格形状数据;
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据,包括:
从所述K个候选头部形状数据中,分别获取与所述头部网格n具有位置匹配关系的候选头部网格的候选网格形状数据,得到K个候选网格形状数据;
对所述K个候选网格形状数据进行平均化处理,得到所述头部网格n对应的平均头部形状数据;
获取L个头部顶点分别被共用的头部网格的网格数量;所述L个头部顶点为用于构成所述头部网格n的头部顶点,L为大于1的整数;
根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量;
根据所述头部网格n的形状偏移量和所述头部网格n对应的平均头部形状数据,确定所述头部网格n的目标网格形状数据;
直到获取所述M个头部网格分别对应的目标网格形状数据,将所述M个头部网格分别对应的目标网格形状数据,作为所述目标对象的目标头部形状数据。
可选的,所述头部网格n的初始网格形状数据包括所述L个头部顶点的初始三维位置信息;
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量,包括:
生成用于反映L个头部顶点分别被共用的头部网格的网格数量的网格数量矩阵,以及生成用于反映所述L个头部顶点的初始三维位置信息的初始位置矩阵;
根据所述初始位置矩阵生成所述头部网格n对应的协方差矩阵;所述协方差矩阵用于反映所述L个头部顶点的初始三维位置信之间的线性关系;
对所述头部网格n对应的协方差矩阵进行变换处理,得到所述头部顶点n对应的特征值对;所述头部网格n对应的特征值对包括反映所述头部网格n的形状变化特征的特征值和特征向量;
对所述头部网格n对应的特征值对中的所述特征值和特征向量,与所述网格数量矩阵进行乘积处理,得到所述头部网格n的形状偏移量。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现:
获取所述目标对象网格模型中的顶点的三维坐标;
将所述目标对象网格模型中的顶点的三维坐标映射至纹理空间,得到所述目标对象网格模型中的顶点的纹理坐标;
根据所述目标对象网格模型中的网格的纹理数据,确定所述目标对象网格模型中的网格对应的纹理贴图;
根据所述目标对象网格模型中的顶点的纹理坐标以及所述目标对象网格模型中的网格对应的纹理贴图,对所述目标对象网格模型中的网格进行贴图处理;
对所述贴图处理后的目标对象网格模型进行渲染,得到包括所述目标对象的目标图像。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现:
获取样本对象的标注头部轮廓数据、待优化的初始对象网格模型以及包括所述样本对象的P个图像;所述初始对象网格模型包括所述样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,所述训练数据包括所述样本对象的标注头部形状数据;
调用初始头部重建模型,对所述P个图像进行头部特征提取,得到所述样本对象的P个候选头部形状数据和P个候选头部纹理数据;
根据所述P个候选头部形状数据,对所述样本对象的初始头部形状数据进行修正,得到所述样本对象的预测头部形状数据;
根据所述P个候选头部纹理数据,对所述样本对象的初始头部纹理数据进行修正,得到所述样本对象的预测头部纹理数据;
根据所述预测头部纹理数据和所述预测头部形状数据,对所述样本对象的初始对象网格模型中的所述Q个头部网格进行优化更新,得到优化后的预测对象网格模型;
根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型;所述目标重建头部重建模型被调用时用于执行如前文所描述的方法。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型,包括:
根据所述预测对象网格模型,确定所述样本对象的预测头部轮廓数据,根据所述标注头部轮廓数据和所述预测头部轮廓数据,生成所述初始头部重建模型的轮廓预测误差;
根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差;
根据所述预测头部纹理数据,生成所述初始头部重建模型的纹理预测误差;
根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型。
可选的,所述样本对象的数量为S个,S为大于1的正整数;可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差,包括:
确定S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度;
累计所述S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度,得到相似度总和;
根据所述相似度总和,生成所述初始头部重建模型的形状预测误差。
可选的,处理器1001调用存储器1005中存储的计算机应用程序,以实现根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型,包括:
根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,确定所述初始头部重建模型的预测总误差;
根据所述预测总误差,确定所述初始头部重建模型的收敛状态;
若所述初始头部重建模型处于未收敛状态,则根据所述预测总误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型。
本申请中,由于该K个候选头部形状数据和K个候选头部纹理数据是从包括目标对象的K个图像中提取到的,即K个候选头部形状数据和K个候选头部纹理数据能够提供关于目标对象的头部的更多细节信息。因此,通过K个候选头部形状数据,对初始对象网格模型中的初始头部形状数据进行修正,得到目标头部形状数据,通过K个候选头部纹理数据对初始对象网格模型中的初始头部纹理数据进行修正,得到目标头部纹理数据,能够提高目标头部形状数据和目标头部纹理数据的准确度。进一步,根据目标头部形状数据和目标头部纹理数据对初始对象网格模型中的头部网格进行优化更新,能够提高优化后的目标对象网格模型中的头部网格的精确度;另外,对初始对象网格模型中的头部网格模型的优化更新过程,不需要人工参与,可节省人工成本,提高获取对象网格模型的效率。
应当理解,本申请实施例中所描述的计算机设备可执行前文所对应实施例中对上述数据处理方法的描述,也可执行前文所对应实施例中对上述数据处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文对应实施例中对上述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
作为示例,上述程序指令可被部署在一个计算机设备上执行,或者被部署在一个地点的至少两个计算机设备上执行,又或者,在分布在至少两个地点且通过通信网络互连的至少两个计算机设备上执行,分布在至少两个地点且通过通信网络互连的至少两个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的中部存储单元,例如计算机设备的硬盘或中存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(SMart Media card,SMC),安全数字(Secure digital,SD)卡,闪存卡(flaSh card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的中部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同媒体中容,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本申请书中相关数据(如行驶轨迹数据)收集处理在实例应用时应该严格根据相关国家法律法规的要求,获取个人信息主体(如行驶轨迹数据对应的用户)的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。
本申请实施例还提供了一种计算机程序产品,包括计算机程序/指令,上述计算机程序/指令被处理器执行时实现前文对应实施例中对上述数据处理方法、解码方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品的实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程网络连接设备的处理器以产生一个机器,使得通过计算机或其他可编程网络连接设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程网络连接设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程网络连接设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (16)
1.一种数据处理方法,其特征在于,包括:
获取待优化的初始对象网格模型,以及包括目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数;
对所述K个图像进行头部特征提取,得到所述目标对象的K个候选头部形状数据以及K个候选头部纹理数据;
根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据;
根据所述K个候选头部纹理数据,对所述目标对象的初始头部纹理数据进行修正,得到所述目标对象的目标头部纹理数据;
根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型。
2.如权利要求1所述的方法,其特征在于,所述根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型,包括:
对所述目标头部形状数据和所述目标头部纹理数据进行融合,得到目标融合特征;
对所述目标融合特征进行上采样处理,得到所述目标对象的目标头部深度数据;
根据所述目标头部形状数据、所述目标头部纹理数据以及所述目标头部深度数据,生成反映所述目标对象的头部的目标头部网格;
采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到优化后的目标对象网格模型。
3.如权利要求2所述的方法,其特征在于,所述采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到优化后的目标对象网格模型,包括:
采用所述目标头部网格替换所述目标对象的初始对象网格模型中的所述M个头部网格,得到所述目标对象的候选对象网格模型;
根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测;
若检测到所述目标对象的头部和所述颈部之间存在裂缝,则对所述候选对象网格模型中的所述目标头部网格进行修正处理,得到优化后的目标对象网格模型。
4.如权利要求3所述的方法,其特征在于,所述根据所述候选对象网格模型中的所述目标头部网格和颈部网格,对所述目标对象的头部和颈部进行裂缝检测,包括:
对所述目标头部网格中的头部边缘网格进行二维投影,得到包括所述头部边缘网格的二维平面;所述头部边缘网格为所述目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格;
对所述候选对象网格模型的颈部网格中的颈部边缘网格进行二维投影,得到包括所述颈部边缘网格的二维平面;所述颈部边缘网格为所述颈部网格中与所述目标头部网格之间的距离小于第二距离阈值的网格;
若包括所述头部边缘网格的二维平面与包括所述颈部边缘网格的二维平面不匹配,则确定所述目标对象的头部和所述颈部之间存在裂缝。
5.如权利要求3所述的方法,其特征在于,所述若检测到所述目标对象的头部和所述颈部之间存在裂缝,则对所述候选对象网格模型中的所述目标头部网格进行修正处理,得到优化后的目标对象网格模型,包括:
若检测到所述目标对象的头部和所述颈部之间存在裂缝,则获取所述目标头部网格中的头部边缘网格的边长;所述头部边缘网格为所述目标头部网格中与所述颈部网格之间的距离小于第一距离阈值的网格;
对边长大于边长阈值的头部边缘网格进行调整,得到优化后的目标对象网格模型。
6.如权利要求1所述的方法,其特征在于,所述初始头部形状数据包括所述M个头部网格中的头部网格n的初始网格形状数据,n为小于或等于M的正整数;所述K个候选头部形状数据分别包括多个候选头部网格的候选网格形状数据;
所述根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据,包括:
从所述K个候选头部形状数据中,分别获取与所述头部网格n具有位置匹配关系的候选头部网格的候选网格形状数据,得到K个候选网格形状数据;
对所述K个候选网格形状数据进行平均化处理,得到所述头部网格n对应的平均头部形状数据;
获取L个头部顶点分别被共用的头部网格的网格数量;所述L个头部顶点为用于构成所述头部网格n的头部顶点,L为大于1的整数;
根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量;
根据所述头部网格n的形状偏移量和所述头部网格n对应的平均头部形状数据,确定所述头部网格n的目标网格形状数据;
直到获取所述M个头部网格分别对应的目标网格形状数据,将所述M个头部网格分别对应的目标网格形状数据,作为所述目标对象的目标头部形状数据。
7.如权利要求6所述的方法,其特征在于,所述头部网格n的初始网格形状数据包括所述L个头部顶点的初始三维位置信息;
所述根据所述L个头部顶点分别被共用的头部网格的网格数量,以及所述头部网格n的初始网格形状数据,确定所述头部网格n的形状偏移量,包括:
生成用于反映L个头部顶点分别被共用的头部网格的网格数量的网格数量矩阵,以及生成用于反映所述L个头部顶点的初始三维位置信息的初始位置矩阵;
根据所述初始位置矩阵生成所述头部网格n对应的协方差矩阵;所述协方差矩阵用于反映所述L个头部顶点的初始三维位置信之间的线性关系;
对所述头部网格n对应的协方差矩阵进行变换处理,得到所述头部顶点n对应的特征值对;所述头部网格n对应的特征值对包括反映所述头部网格n的形状变化特征的特征值和特征向量;
对所述头部网格n对应的特征值对中的所述特征值和特征向量,与所述网格数量矩阵进行乘积处理,得到所述头部网格n的形状偏移量。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述目标对象网格模型中的顶点的三维坐标;
将所述目标对象网格模型中的顶点的三维坐标映射至纹理空间,得到所述目标对象网格模型中的顶点的纹理坐标;
根据所述目标对象网格模型中的网格的纹理数据,确定所述目标对象网格模型中的网格对应的纹理贴图;
根据所述目标对象网格模型中的顶点的纹理坐标以及所述目标对象网格模型中的网格对应的纹理贴图,对所述目标对象网格模型中的网格进行贴图处理;
对所述贴图处理后的目标对象网格模型进行渲染,得到包括所述目标对象的目标图像。
9.一种数据处理方法,其特征在于,包括:
获取样本对象的标注头部轮廓数据、训练数据、待优化的初始对象网格模型以及包括所述样本对象的P个图像;所述初始对象网格模型包括所述样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,所述训练数据包括所述样本对象的标注头部形状数据;
调用初始头部重建模型,对所述P个图像进行头部特征提取,得到所述样本对象的P个候选头部形状数据和P个候选头部纹理数据;
根据所述P个候选头部形状数据,对所述样本对象的初始头部形状数据进行修正,得到所述样本对象的预测头部形状数据;
根据所述P个候选头部纹理数据,对所述样本对象的初始头部纹理数据进行修正,得到所述样本对象的预测头部纹理数据;
根据所述预测头部纹理数据和所述预测头部形状数据,对所述样本对象的初始对象网格模型中的所述Q个头部网格进行优化更新,得到优化后的预测对象网格模型;
根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型;所述目标重建头部重建模型被调用时用于执行如权利要求1-8任一项所述的方法。
10.如权利要求9所述的方法,其特征在于,所述根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型,包括:
根据所述预测对象网格模型,确定所述样本对象的预测头部轮廓数据,根据所述标注头部轮廓数据和所述预测头部轮廓数据,生成所述初始头部重建模型的轮廓预测误差;
根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差;
根据所述预测头部纹理数据,生成所述初始头部重建模型的纹理预测误差;
根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型。
11.如权利要求10所述的方法,其特征在于,所述样本对象的数量为S个,S为大于1的正整数;
所述根据所述预测头部形状数据,生成所述初始头部重建模型的形状预测误差,包括:
确定S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度;
累计所述S个样本对象中每两个样本对象之间的预测头部形状数据之间的相似度,得到相似度总和;
根据所述相似度总和,生成所述初始头部重建模型的形状预测误差。
12.如权利要求10所述的方法,其特征在于,所述根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型,包括:
根据所述形状预测误差、所述轮廓预测误差以及所述纹理预测误差,确定所述初始头部重建模型的预测总误差;
根据所述预测总误差,确定所述初始头部重建模型的收敛状态;
若所述初始头部重建模型处于未收敛状态,则根据所述预测总误差,对所述初始头部重建模型的模型参数进行调整,得到目标头部重建模型。
13.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待优化的初始对象网格模型,以及包括目标对象的K个图像;所述初始对象网格模型包括所述目标对象的初始头部形状数据和初始头部纹理数据的M个头部网格,K、M均为大于1的整数;
提取模块,用于对所述K个图像进行头部特征提取,得到所述目标对象的K个候选头部形状数据以及K个候选头部纹理数据;
第一修正模块,用于根据所述K个候选头部形状数据,对所述目标对象的初始头部形状数据进行修正,得到所述目标对象的目标头部形状数据;
第二修正模块,用于根据所述K个候选头部纹理数据,对所述目标对象的初始头部纹理数据进行修正,得到所述目标对象的目标头部纹理数据;
更新模块,用于根据所述目标头部形状数据和所述目标头部纹理数据,对所述目标对象的初始对象网格模型中的所述M个头部网格进行优化更新,得到优化后的目标对象网格模型。
14.一种数据处理装置,其特征在于,包括:
获取模块,用于获取样本对象的标注头部轮廓数据、训练数据、待优化的初始对象网格模型以及包括所述样本对象的P个图像;所述初始对象网格模型包括所述样本对象的初始头部形状数据和初始头部纹理数据的Q个头部网格,P、Q均为大于1的整数,所述训练数据包括所述样本对象的标注头部形状数据;
提取模块,用于调用初始头部重建模型,对所述P个图像进行头部特征提取,得到所述样本对象的P个候选头部形状数据和P个候选头部纹理数据;
第一修正模块,用于根据所述P个候选头部形状数据,对所述样本对象的初始头部形状数据进行修正,得到所述样本对象的预测头部形状数据;
第二修正模块,用于根据所述P个候选头部纹理数据,对所述样本对象的初始头部纹理数据进行修正,得到所述样本对象的预测头部纹理数据;
更新模块,用于根据所述预测头部纹理数据和所述预测头部形状数据,对所述样本对象的初始对象网格模型中的所述Q个头部网格进行优化更新,得到优化后的预测对象网格模型;
训练模块,用于根据所述标注头部轮廓数据、所述预测头部纹理数据、所述预测对象网格模型以及所述预测头部形状数据,对所述初始头部重建模型进行训练,得到目标头部重建模型;所述目标重建头部重建模型被调用时用于执行如权利要求1-8任一项所述的方法。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707673.XA CN116433852B (zh) | 2023-06-15 | 2023-06-15 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707673.XA CN116433852B (zh) | 2023-06-15 | 2023-06-15 | 数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116433852A true CN116433852A (zh) | 2023-07-14 |
CN116433852B CN116433852B (zh) | 2023-09-12 |
Family
ID=87084082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310707673.XA Active CN116433852B (zh) | 2023-06-15 | 2023-06-15 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433852B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049896A (zh) * | 2012-12-27 | 2013-04-17 | 浙江大学 | 三维模型的几何数据和纹理数据自动配准算法 |
CN115512073A (zh) * | 2022-09-19 | 2022-12-23 | 南京信息工程大学 | 基于可微分渲染下多阶段训练的三维纹理网格重建方法 |
CN116109798A (zh) * | 2023-04-04 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 图像数据处理方法、装置、设备及介质 |
-
2023
- 2023-06-15 CN CN202310707673.XA patent/CN116433852B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049896A (zh) * | 2012-12-27 | 2013-04-17 | 浙江大学 | 三维模型的几何数据和纹理数据自动配准算法 |
CN115512073A (zh) * | 2022-09-19 | 2022-12-23 | 南京信息工程大学 | 基于可微分渲染下多阶段训练的三维纹理网格重建方法 |
CN116109798A (zh) * | 2023-04-04 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 图像数据处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116433852B (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270761B2 (ja) | 画像処理方法及び装置、電子機器並びにコンピュータプログラム | |
CN111369681B (zh) | 三维模型的重构方法、装置、设备及存储介质 | |
US11232286B2 (en) | Method and apparatus for generating face rotation image | |
CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
CN109242961A (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
WO2021063271A1 (zh) | 人体模型重建方法、重建***及存储介质 | |
CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
CN115330947A (zh) | 三维人脸重建方法及其装置、设备、介质、产品 | |
CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
KR20180035359A (ko) | 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법 | |
CN112991503A (zh) | 一种基于蒙皮权重的模型训练方法、装置、设备及介质 | |
CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
CN114170290A (zh) | 图像的处理方法及相关设备 | |
WO2022208440A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
CN114494395A (zh) | 基于平面先验的深度图生成方法、装置、设备及存储介质 | |
CN116363320B (zh) | 重建模型的训练和三维模型重建方法、装置、设备及介质 | |
CN116012626B (zh) | 建筑立面图像的素材匹配方法、装置、设备和存储介质 | |
CN116433852B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN115049764B (zh) | Smpl参数预测模型的训练方法、装置、设备及介质 | |
CN115760888A (zh) | 图像处理方法、装置、计算机及可读存储介质 | |
CN114943799A (zh) | 一种面部图像处理方法、装置和计算机可读存储介质 | |
CN114842071B (zh) | 一种图像视角自动转化方法 | |
CN116228994B (zh) | 三维模型获取方法、装置、设备及存储介质 | |
CN117557699B (zh) | 动画数据生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40090380 Country of ref document: HK |