CN116977506A - 模型动作重定向的方法、装置、电子设备及存储介质 - Google Patents
模型动作重定向的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116977506A CN116977506A CN202310289218.2A CN202310289218A CN116977506A CN 116977506 A CN116977506 A CN 116977506A CN 202310289218 A CN202310289218 A CN 202310289218A CN 116977506 A CN116977506 A CN 116977506A
- Authority
- CN
- China
- Prior art keywords
- model
- joint
- bone information
- bone
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 230000009471 action Effects 0.000 title claims abstract description 92
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 214
- 230000005477 standard model Effects 0.000 claims abstract description 108
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 abstract description 11
- 230000036544 posture Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 23
- 210000001503 joint Anatomy 0.000 description 23
- 238000005457 optimization Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 21
- 238000013508 migration Methods 0.000 description 18
- 230000005012 migration Effects 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000013136 deep learning model Methods 0.000 description 10
- 210000004247 hand Anatomy 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 210000000707 wrist Anatomy 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 210000002411 hand bone Anatomy 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000035217 Ring chromosome 1 syndrome Diseases 0.000 description 1
- 208000032825 Ring chromosome 2 syndrome Diseases 0.000 description 1
- 208000032826 Ring chromosome 3 syndrome Diseases 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003108 foot joint Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种模型动作重定向的方法、装置、设备以及存储介质,涉及计算机视觉领域。该模型动作重定向的方法包括:获取源模型的运动姿态对应的第一骨骼信息;根据源模型与标准模型的关节映射关系,得到第一骨骼信息对应到标准模型的第二骨骼信息;将源模型的绑定姿态对应的骨骼信息与标模型的绑定姿态对应的骨骼信息对齐;根据第二骨骼信息,驱动对齐的源模型和目标模型,以及根据源模型和目标模型对应的驱动结果调整第二骨骼信息;根据目标模型与标准模型的关节映射关系,得到调整后的第二骨骼信息重定向到目标模型的第三骨骼信息。本申请实施例能够在保持源模型原有动作序列语义不丢失的同时,降低模型动作重定向的人力成本和计算成本。
Description
技术领域
本申请涉及计算机视觉领域,并且更具体地,涉及模型动作重定向的方法、装置、设备以及存储介质。
背景技术
三维(3-dimension,3D)动画目前在各行各业具有广泛的应用,如计算机图形学(Computer Graphics,CG)电影、3D动画片、虚拟直播、虚拟3D话务员等。其中3D动画的内容生产是3D动画行业发展的一个重要瓶颈。动画数据在不同模型之间的迁移是一种重要的解决骨骼动画数据短缺的方法。模型运动数据的重定向,即将某一角色的运动数据迁移到与其骨骼拓扑结构或骨骼长度和比例不同的其他角色上,以实现批量的运动数据重用。
相关技术中,一种方案在通过专业工具软件对角色的骨骼动画数据进行简单迁移后,通过人工调整动画关键帧来解决迁移后的穿模、脚步滑动和语义错误等问题,该方案存在人力成本高、过程复杂的问题。另一种方案根据源角色和目标角色的骨骼运动数据集训练深度学习模型,使得模型可以将源角色的运动数据重定向到目标角色的骨骼上,但是该方案需要针对每个角色准备对应的训练数据对深度学习模型进行训练,存在计算成本高、耗时长的问题。
发明内容
本申请实施例提供了一种模型动作重定向的方法、装置、设备以及存储介质,能够在保持源模型原有动作序列语义不丢失的同时,进一步降低模型动作重定向的人力成本和计算成本。
第一方面,提供了一种模型动作重定向的方法,包括:
获取源模型的运动姿态对应的第一骨骼信息;
根据所述源模型与标准模型的关节映射关系,得到所述第一骨骼信息对应到所述标准模型的第二骨骼信息;
将所述源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐;
根据所述第二骨骼信息,驱动对齐的所述源模型和所述目标模型,以及根据所述源模型和所述目标模型对应的驱动结果调整所述第二骨骼信息;
根据所述目标模型与所述标准模型的关节映射关系,得到调整后的所述第二骨骼信息对应到所述目标模型的第三骨骼信息,其中,所述第三骨骼信息为所述运动姿态重定向到所述目标模型的骨骼信息。
第二方面,提供了一种模型动作重定向的装置,包括:
获取单元,用于获取源模型的运动姿态对应的第一骨骼信息;
转换单元,用于根据所述源模型与标准模型的关节映射关系,得到所述第一骨骼信息对应到所述标准模型的第二骨骼信息;
对齐单元,用于将所述源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐;
调整单元,用于根据所述第二骨骼信息,驱动对齐的所述源模型和所述目标模型,以及根据所述源模型和所述目标模型对应的驱动结果调整所述第二骨骼信息;
所述转换单元还用于根据所述目标模型与所述标准模型的关节映射关系,得到调整后的所述第二骨骼信息对应到所述目标模型的第三骨骼信息,其中,所述第三骨骼信息为所述运动姿态重定向到所述目标模型的骨骼信息。
第三方面,本申请提供了一种电子设备,包括:
处理器,适于实现计算机指令;以及,
存储器,存储有计算机指令,计算机指令适于由处理器加载并执行上述第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,该计算机指令被计算机设备的处理器读取并执行时,使得计算机设备执行上述第一方面的方法。
第五方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面的方法。
通过上述技术方案,本申请实施例在获取源模型的运动姿态的第一骨骼信息对应到标准模型的第二骨骼信息后,通过该第二骨骼信息驱动对齐的源模型和目标模型,并根据源模型和目标模型对应的驱动结果调整该第二骨骼信息,使得调整后的第二骨骼信息能够保持源模型的运动姿态原有的动作序列语义不丢失,从而在根据第二骨骼信息将源模型的运动姿态迁移到目标模型后,能够有利于保证目标模型做出与源模型的运动姿态具有相同特定语义的动作,有利于实现保持原有动作序列语义的模型动作重定向。
另外,相比于人工调整动画关键帧的方案而言,本申请实施例可以自动化处理动画数据在不同模型之间的重定向迁移,并能够保持源模型原有动作序列语义不丢失,因而不需要美术工作者进行后处理,能够降低人力成本。相比于采用根据不同模型的骨骼运动数据集训练深度学习模型来实现模型之间的动作迁移方案而言,本申请实施例通过优化算法约束保持源模型的运动姿态原有的动作序列语义不丢失,规避了深度学习模型的训练过程,计算耗时短并且计算成本低。同时本申请实施例的模型动作重定向算法可以实现任意模型之间的运动数据重定向,应用场景不受限制。
附图说明
图1为本申请实施例涉及的一种应用场景示意图;
图2为本申请实施例的一种模型动作重定向的方法的示意性流程图;
图3为人体模型的一种可选的骨架示意图;
图4为本申请实施例的一种获取关节映射关系的示意性流程图;
图5为3种不同的模型的T姿态的一个示意图;
图6为本申请实施例对手部进行优化前后对比效果的一个示意图;
图7为人体模型的关节的一个示意图;
图8为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图9为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图10为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图11为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图12为本申请实施例的人体模型动作重定向的效果的一个示意图;
图13为本申请实施例的人体模型动作重定向的效果的另一个示意图;
图14为本申请实施例的人体模型动作重定向的效果的另一个示意图;
图15为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图16为本申请实施例的人体模型动作重定向的效果的另一个示意图;
图17为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图18为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图19为本申请实施例的另一种模型动作重定向的方法的示意性流程图;
图20是本申请实施例提供的模型动作重定向的装置的示意性框图;
图21是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,在本申请实施例中,“与A对应的B”表示B与A相关联。在一种实现方式中,可以根据A确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
在本申请的描述中,除非另有说明,“至少一个”是指一个或多个,“多个”是指两个或多于两个。另外,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
还应理解,本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
还应理解,说明书中与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请提供的方案可涉及人工智能技术。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
应理解,人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例可涉及人工智能技术中的计算机视觉(Computer Vision,CV)技术,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、监测和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例也可以涉及人工智能技术中的机器学习(Machine Learning,ML),ML是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案还涉及网络媒体领域中的视频处理技术。网络媒体与传统的音视频设备采用的工作方式不同,网络媒体依赖信息技术(IT)设备开发商们提供的技术和设备来传输、存储和处理音视频信号。传统的串型数字(SDI)传输方式缺乏真正意义上的网络交换特性。需要做大量的工作才可能利用SDI创建类似以太网和因特网协议(IP)所提供的部分网络功能。因此,视频行业中的网络媒体技术就应运而生。进一步的,网络媒体的视频处理技术可以包括音视频信号的传输、存储和处理过程及音视频。
图1为本申请实施例涉及的一种应用场景示意图。
如图1所示,包括计算设备102和显示设备103。其中,计算设备102用于执行模型动作重定向的方法,将源模型的运动姿态(如骨骼动画数据)迁移到目标模型上。显示设备103用于显示目标模型动作重定结果。可选的,显示设备103还可以用于显示源模型的运动姿态,不做限定。
可选的,参见图1,还可以包括采集设备101。采集设备101可用于对用户进行运动姿态捕获。捕获的用户的运动姿态可以作为源模型的骨骼动画数据迁移到用户的虚拟化身上,使得虚拟化身表达出和用户同样的语义动作。
示例性地,计算设备102可以是用户设备,例如手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)或其他具有安模型动作重定向功能的终端设备。
示例性地,计算设备101可以为服务器。服务器可以是一台或多台。服务器是多台时,存在至少两台服务器用于提供不同的服务,和/或,存在至少两台服务器用于提供相同的服务,比如以负载均衡方式提供同一种服务,本申请实施例对此不加以限定。服务器中可以设置有模型动作重定向装置,用于将源模型的运动姿态迁移到目标模型上,该服务器为该模型动作重定向装置的应用过程提供支撑。
其中,上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器也可以成为区块链的节点。
示例性地,计算设备102具有显示功能时,显示设备103可以为计算设备102中的显示器。
示例性地,显示设备103与计算设备102为不同的设备,显示设备103通过网络与计算设备102连接。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication,GSM)、宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
相关技术中,一种方案在通过专业工具软件(如Unity、Maya等)对角色的骨骼动画数据进行简单迁移后,通过人工调整动画关键帧来解决迁移后的穿模、脚步滑动和语义错误等问题,这个过程需要具有丰富的动修复经验的专业美术人员完成,该方案存在人力成本高、过程复杂的问题。
另一种方案根据源角色和目标角色的骨骼运动数据集训练深度学习模型,使得模型学习两个角色拓扑骨骼之间的映射关系,将源角色的运动数据重定向到目标角色的骨骼上,但是该方案需要针对每个角色准备对应的训练数据对深度学习模型进行训练,存在计算成本高、耗时长的问题。
有鉴于此,本申请实施例提供了一种模型动作重定向的方法、装置、设备以及存储介质,能够在保持源模型原有动作序列语义不丢失的同时,进一步降低模型动作重定向的人力成本和计算成本。
具体而言,可以获取源模型的运动姿态对应的第一骨骼信息,根据源模型与标准模型的关节映射关系,得到第一骨骼信息对应到标准模型的第二骨骼信息,之后将源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐,并根据第二骨骼信息,驱动对齐的源模型和目标模型,以及根据源模型和目标模型对应的驱动结果调整第二骨骼信息,然后根据目标模型与标准模型的关节映射关系,得到调整后的第二骨骼信息对应到目标模型的第三骨骼信息,其中该第三骨骼信息为将源模型的运动姿态重定向到目标模型的骨骼信息。
本申请实施例在获取源模型的运动姿态的第一骨骼信息对应到标准模型的第二骨骼信息后,通过该第二骨骼信息驱动对齐的源模型和目标模型,并根据源模型和目标模型对应的驱动结果调整该第二骨骼信息,使得调整后的第二骨骼信息能够保持源模型的运动姿态原有的动作序列语义不丢失,从而在根据第二骨骼信息将源模型的运动姿态迁移到目标模型后,能够有利于保证目标模型做出与源模型的运动姿态具有相同特定语义的动作,有利于实现保持原有动作序列语义的模型动作重定向。
另外,相比于人工调整动画关键帧的方案而言,本申请实施例可以自动化处理动画数据在不同模型之间的重定向迁移,并能够保持源模型原有动作序列语义不丢失,因而不需要美术工作者进行后处理,能够降低人力成本。相比于采用根据不同模型的骨骼运动数据集训练深度学习模型来实现模型之间的动作迁移方案而言,本申请实施例通过优化算法约束保持源模型的运动姿态原有的动作序列语义不丢失,规避了深度学习模型的训练过程,计算耗时短并且计算成本低。同时本申请实施例的模型动作重定向算法可以实现任意模型之间的运动数据重定向,应用场景不受限制。
需要说明的是,本申请实施例能够应用到视频动捕的各种应用以及影视动作自动迁移上,应用场景包括但不限于CG电影、3D动画、3D数字人、游戏制作、虚拟直播等领域中人物模型动作重定向。例如,一种典型应用场景在利用各种动捕方式获得动画资产后,将运动数据重定向到新的模型后不需要美术人员重新微调即可使用新模型的骨架。比如对于虚拟直播行业,可以采用动捕设备实时采集用户动作,使得在模型动作重定向后虚拟化身呈现能够与真实用户表现一致,能合理做出用户的各种动作,在保持原有动作序列语义不丢失的同时,能够降低模型动作重定向的人力成本和计算成本。
下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2示出了根据本申请实施例的模型动作重定向的方法200的示意性流程图,该模型动作重定向的方法200可以由任何具有数据处理能力的电子设备执行,例如,该电子设备可实施为服务器或终端设备,又例如,该电子设备可实施为图1中的计算设备102,本申请对此不做限定。
如图2所示,该模型动作重定向的方法200可包括步骤210至250。
210,获取源模型的运动姿态对应的第一骨骼信息。
其中,源模型即需要重定向迁移的动作初始所在的模型,可以是任意拓扑骨骼结构的人体模型或动物模型,不做限定。源模型的运动姿态即需要重定向迁移到目标模型的动作。源模型的运动姿态在源模型上可以表达出特定的语义,比如比心、双手自然下垂、双手交叉等,不做限定。
示例性的,可以获取源模型对应的运动图像序列中每一帧图像作为源模型的运动姿态,该运动图像序列对应的运动姿态随着时间的改变而改变。
在一些实施例中,骨骼信息可以包括关节轴角、位置和平移数据中的至少一种。这里,关节可以包括模型中所有骨骼关节的部分或全部,不做限定。其中,关节轴角用于表示关节的旋转,关节位置或平移数据用于表示各关节之间的相对位置关系。示例性的,关节轴角可以采用四元数、旋转矩阵、五维旋转向量、六维旋转向量、轴角、欧拉角或部分欧拉角等方式表示,或者可以采用全局旋转或局部旋转等方式表示,本申请对此不做限定。
图3示出了人体模型的一种可选的骨架示意图。如图3所示,人体模型的骨架可以包括多个人体关节点,如:0-hips(臀部关节点)、1-spine_virtual(脊柱虚拟关节点)、1-leftupleg_virtual(左上肢虚拟关节点)、1-rightupleg_virtual(右上肢虚拟关节点)、2-spine(脊柱关节点)、2-leftupleg(左上肢关节点)、2-rightupleg(右上肢关节点)、3-spine1(脊柱关节点1)、3-leftleg(左肢关节点)、3-rightleg(右肢关节点)、4-spine_split(脊柱裂关节点)、4-leftfoot(左脚关节点)、4-rightfoot(右脚关节点)、5-spine2(脊柱关节点2)、5-lefttoebase(左脚底关节点)、5-righttoebase(右脚底关节点)、6-neck_virtual(颈部虚拟关节点)、6-lefttoe_end(左脚尖关节点)、6-righttoe_end(右脚尖关节点)、6-leftshoulder_virtual(左肩虚拟关节点)、6-rightshoulder_virtual(右肩虚拟关节点)、7-neck(颈部关节点)、7-leftshoulder(左肩关节点)、7-rightshoulder(右肩关节点)、8-head(头部关节点)、8-leftshoulder_split(左肩***关节点)、8-rightshoulder_split(右肩***关节点)、9-headtop_end(头端关节点)、9-leftarm(左臂关节点)、9-rightarm(右臂关节点)、10-leftforearm(左前臂关节点)、10-rightforearm(右前臂关节点)、11-lefthand(左手关节点)、11-righthand(右手关节点)。
其中,0hips(臀部关节点)可以作为人体模型中的根关节点(即父关节点),0hips(臀部关节点)以外的其它关节点均可以作为根关节点的子关节点。每个关节点的关节末梢方向相邻的一个或多个关节点为该关节点的子关节点。例如,图3中关节点5-spine2作为父关节点,其子关节点包括:关节点6-leftshoulder_virtual、关节点6-rightshoulder_virtual和关节点6-neck_virtual。基于此在人体模型中可以提取出关节点的名字和位置,以及关节点的父子关系。
220,根据源模型与标准模型的关节映射关系,得到上述第一骨骼信息对应到标准模型的第二骨骼信息。
示例性的,标准模型可以为蒙皮多人线性模型(Skinned Multi-Person LinearModel,SMPL),或SMPL变体(SMPL-X)。SMPL是一个基于蒙皮顶点的模型,代表了广泛的人体形状,可以用表现为软组织动力学的自然姿势相关的变形来模拟。作为一个示例,标准模型可以包括55个关节点。
在一些实施例中,参见图4,可以通过步骤2201至2205,得到源模型与标准模型的关节映射关系。可选的,还可以获取源模型在T姿态下的骨骼信息。
2201,从源模型中提取关节信息,关节信息包括关节名字、位置、父子关系中的至少一种。
示例性的,可以通过源模型解析获取源模型的在绑定状态下各关节的关节信息,比如提取源模型的绑定状态下各关节的名字、位置和父子关系。这里,绑定状态是指模型初始状态,是不会随着时间的变化而改变的静态状态。
2202,根据关节信息,确定源模型与标准模型匹配的关节对作为源模型与标准模型的关节映射关系。
具体的,可以根据从源模型中提取的关节名字、位置和父子关系,将源模型与标准模型对齐,匹配出源模型与标准模型相对应的关节对,即源模型与标准模型的关节映射关系(也可以称为骨骼匹配表)。
示例性的,各关节对名字可以包括但不限于:Chest:spine2;Head:head;Hips:pelvis;Jaw:jaw;LeftIndexDistal:left_index3;LeftIndexIntermediate:left_index2;LeftIndexProximal:left_index1;LeftLittleDistal:left_pinky3;LeftLittleIntermediate:left_pinky2;LeftLittleProximal:left_pinky1;LeftMiddleDistal:left_middle3;LeftMiddleIntermediate:left_middle2;LeftMiddleProximal:left_middle1;LeftRingDistal:left_ring3;LeftRingIntermediate:left_ring2;LeftRingProximal:left_ring1;LeftThumbDistal:left_thumb3;LeftThumbIntermediate:left_thumb2;LeftThumbProximal:left_thumb1;LeftEye:left_eye_smplhf;LeftFoot:left_ankle;LeftHand:left_wrist;LeftLowerArm:left_elbow;LeftLowerLeg:left_knee;LeftShoulder:left_collar;LeftToes:left_foot;LeftUpperArm:left_shoulder;LeftUpperLeg:left_hip;Neck:neck等。其中,关节对中“:”之前的关节名字可以为源模型中的关节名字,之后的关节名字可以为匹配的标准模型的关节名字。
2203,在源模型的绑定姿态下,根据源模型与标准模型匹配的关节对,逐个关节计算源模型对应到T姿态的骨骼信息。
示例性的,首先可以构造源模型的T姿态。其中,T姿态是人体双手水平侧向伸直,身体直立的一种姿态。图5示出了3种不同的模型的T姿态的一个示意图。然后,可以根据源模型的绑定姿态和标准模型的相匹配的关节对,采用基于最小表面拉扯的方法对源模型的T姿态进行自旋优化,逐个关节优化计算源模型的绑定姿态对应到T姿态的骨骼信息,比如源模型由绑定姿态到T姿态下各关节的轴角和位置信息。
可选的,在根据关节点获取源模型的T姿态的骨骼信息后,可以利用迭代最邻近(Iterative Closest Point,ICP)算法,对源模型与标准模型的身体部件进行拟合,并根据身体部件的拟合结果,优化调整源模型的T姿态的骨骼信息,使得源模型和标准模型最邻近点平均距离最小,实现源模型的关节的朝向以及对应的蒙皮基本与标准模型对齐。
示例性的,对于一些无法通过关节优化的肢体末端,如手指末端或者头部,可以采用本申请实施例的优化算法对其骨骼信息(比如轴角)进行优化,从而提高肢体末端表面蒙皮匹配度,有利于避免肢体末端朝向不同的问题。
图6示出了对手部进行优化前后对比效果的一个示意图。其中,(a)图为优化前手部的一个示意图,其源模型和标准模型的手部关键位置对应不准确,(b)图是根据关节点对源模型进行T姿态化后手部的一个示意图,(c)图是按照蒙皮对源模型进行T姿态化后手部的一个示意图。示例性的,可以逐个关节优化计算源模型的T姿态的骨骼信息,得到(b)图所示的T姿态化结果,然后将(b)图作为基于蒙皮进行T姿态化的初始值,通过ICP算法对(b)图中的T姿态化的初始值进行优化,得到(c)图所示的按照蒙皮进行T姿态化的结果。其中,(c)图中源模型的关节的朝向以及对应的蒙皮基本与标准模型对齐。
在另一些实施例中,还可以对标准模型的参数进行优化使得标准模型趋近源模型,也可以采用将点云转换为截断符号距离场(Truncated Signed distance Field,TSDF),采用TSDF采样值作为惩罚值去优化轴角旋转产生的模型对齐效果。
可选的,2204,重定向信息校验。
这里,重定向信息即源模型与标准模型的关节映射关系和源模型在T姿态下的骨骼信息。示例性的,可以采用源模型在T姿态下的骨骼信息驱动绑定姿态的源模型,当源模型的蒙皮为准确的T姿势时校验通过。否则,重新计算重定向信息。
2205,保存源模型与标准模型的关节映射表和T姿态下的骨骼信息。可选的,还可以保存源模型中关节的父子关系。
在一些实施例中,还可以获取目标模型与标准模型的关节映射关系,以及目标模型在T姿态下的骨骼信息。具体的,获取目标模型与标准模型的关节映射关系和T姿态下的骨骼信息的过程与获取源模型与标准模型的关节映射关系和T姿态下的骨骼信息的过程类似,可以参考图4中的相关描述,这里不再赘述。
需要说明的是,源模型或目标模型与标准模型的关节并不是一一对应的。例如,源模型或目标模型包括的关节数量可以大于或等于标准模型。本申请实施例中,可以定义模型(如源模型或目标模型)中与标准模型不匹配的关节为次骨骼,以及定义模型中与标准模型匹配的关节为标准骨骼。例如,如图7所示,该模型的肘部(leftForeArm)和腕部(leftHand)关节分别在标准模型中具有匹配的关节,肘部和腕部即为该模型中的标准骨骼。而该模型的肘部和腕部之间的三个关节(名字可以分别为leftForeArm_sec1、leftForeArm_sec2和leftForeArm_sec3)在标准模型中并没有匹配的关节,此时该三个关节即为该模型中的次骨骼。同时,该三个关节为肘部关节的下一级子关节,肘部关节为该三个关节的父关节。
在一些实施例中,在得到源模型与标准模型的关节映射关系之后,参见图8,可以通过221至223,得到第一骨骼信息对应到标准模型的第二骨骼信息。
221,将第一骨骼信息转换为第一模型的第四骨骼信息,其中,第一模型为与源模型的骨骼结构一致、且T姿态为0旋转状态的模型。
示例性的,以源模型为A模型为例,可以定义以T姿态为0旋转状态且骨骼结果与A模型完全一致的模型为模型(第一模型的一个示例)。则将所述第一骨骼信息转换为第一模型的第四骨骼信息具体可以实施为:将A模型的骨骼信息(第一骨骼信息的一个示例)转换为/>模型的骨骼信息(第四骨骼信息的一个示例)。
作为具体的示例,以骨骼信息包括轴角为例,将A模型的轴角转换为模型的轴角可以通过以下公式(1)实现:
其中,为A模型的第i个关节的轴角,/>为A模型从根节点到第i个关节轴角累乘得到的全局旋转值,/>为/>的逆矩阵。
222,将第四骨骼信息中的次骨骼的骨骼信息转移到第一模型中的与标准模型匹配的关节上,使得第四骨骼信息中的次骨骼的旋转值为0。其中,次骨骼包括与标准模型不匹配的关节。
示例性的,可以将转换到模型的骨骼信息(比如轴角)转移到/>模型中的与标准模型匹配,即存在一一对应关系的关节上,使得/>模型中的次骨骼的旋转值(即轴角)为0。作为一种可实现的方式,可以将次骨骼的轴角向父子关系中的儿子方向传递,且保持就近原则。作为具体的例子,参见图7,图中右手骨骼可以作为/>模型的右手骨骼的一个示例,对于肘部和腕部的中间次骨骼,可以将这些次骨骼的轴角传递到腕部关节上,使得次骨骼的旋转值为0。本申请实施例通过自动分析模型的次骨骼分布,将次骨骼的轴角进行分解,使得模型次骨骼的旋转分配不受骨骼0状态的影响。
223,根据源模型与标准模型的关节映射关系,将所述第四骨骼信息对应到标准模型上,得到第二骨骼信息。
具体而言,在步骤222之后,第一模型中的所有次骨骼的旋转值为0,此时第一模型中的与标准模型可以一一对应的关节的骨骼信息(比如轴角)可以按照源模型与标准模型的关节映射关系,逐个取出第一模型中的各关节的骨骼信息作为标准模型的骨骼信息(例如可以保存为轴角形式)。此时,即完成了源模型到标准模型的重定向,即将第一骨骼信息对应到标准模型上,得到对应的第二骨骼信息。
相关技术中,在完成源模型到标准模型的重定向后,可以进行标准模型到目标模型的重定向,即将标准模型的第二骨骼信息进行转换重定向到目标模型上。该重定向过程可以称为是基础重定向过程,即包括两个过程:第一个过程是将原模型的骨骼信息转换为标准模型的骨骼信息;第二个过程是将标准模型的骨骼信息重定向为目标模型的骨骼信息。
示例性的,以骨骼信息包括轴角为例,将标准模型的轴角转换为B模型的轴角可以通过以下公式(2)实现:
其中,P为B模型和标准模型的关节对集合,例如B模型中的第j个关节和标准模型中的第i个关节为一个关节对;为标准模型(如SMPLX模型)的第i个关节的轴角,/>为B模型从根节点到第j个关节轴角累乘得到的全局旋转值,/>为/>的逆矩阵。
本申请实施例中,在基础重定向的基础上,还可以实现基于语义的重定向过程,该过程可以称为语义重定向过程。语义重定向过程可以有利于使得从源模型的转换到标准模型的第二骨骼信息保持源模型的运动姿态原有的动作序列语义不丢失,从而进一步使将第二骨骼信息转换重定向到目标模型后,目标模型做出与源模型的运动姿态具有相同特定语义的动作。具体的,通过以下步骤230和250可以实现语义重定向过程。
230,将源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐。
具体而言,源模型的绑定姿态与目标模型的绑定姿态可以为同一姿态,或不同姿态,不做限定。可选的,当源模型的绑定姿态和目标模型的绑定姿态为不同姿态时,可以将源模型和目标模型的绑定模型转换到相同的姿态进行骨骼信息对齐。示例性的,该相同的姿态可以为T姿态。通过将源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐,能够将源模型和目标模型缩放到相同的大小,从而有利于更准确地对源模型和目标模型的驱动结果进行比较。
在一些实施例中,参见图9,可以通过步骤231至233,实现将源模型的绑定姿态与目标模型的绑定姿态转换到T姿态进行骨骼信息对齐。
231,根据源模型的绑定姿态,确定源模型的T姿态的骨骼信息。
示例性的,可以通过图4所示的流程确定源模型的T姿态的骨骼信息。
232,根据目标模型的绑定姿态,确定目标模型的T姿态的骨骼信息。
示例性的,可以通过与图4所示的确定源模型的T姿态的骨骼信息流程类似的方式,确定目标模型的T姿态的骨骼信息。
233,将源模型的T姿态的骨骼信息和目标模型的T姿态的骨骼信息进行缩放和平移进行对齐。
作为一个示例,可以按照源模型和目标模型在T姿态下两手端点的距离,对源模型和目标模型进行缩放,使得源模型的T姿态的骨骼信息和目标模型的T姿态的骨骼信息对齐。作为另一个示例,可以将源模型和目标模型T姿态下的骨骼长度分别缩放到与标准模型的骨骼长度,从而使得源模型的T姿态的骨骼信息和目标模型的T姿态的骨骼信息对齐。
240,根据上述第二骨骼信息,驱动对齐的源模型和目标模型,以及根据源模型和目标模型对应的驱动结果调整第二骨骼信息。
其中,第二骨骼信息是将源模型的运动姿态重定向到标准模型,得到的对应的骨骼信息。根据该第二骨骼信息驱动对齐的源模型和目标模型,对应的驱动结果即为将第二骨骼信息分别重定向到源模型和目标模型上,得到的骨骼信息。本申请实施例中,可以调整第二骨骼信息,使得源模型和目标模型对应的驱动结果之间损失最小。此时的第二骨骼信息能够保持源模型的运动姿态原有的动作序列语义不丢失。
在一些实施例中,参见图10,可以通过以下步骤241至243确定损失函数,并进一步根据损失函数调整优化第二骨骼信息。
241,根据源模型和目标模型对应的驱动结果的关节点位置损失、关节轴角损失、关节对距离损失、触地损失和碰撞损失中的至少一种,确定损失函数。其中,各项损失也可以称为惩罚项,用于表示源模型和目标模型对应的驱动结果之间的距离。
示例性的,以源模型为模型,目标模型为/>模型为例,关节点位置损失Epos可以如下公式(3)所示:
其中,setpos表示定义的需要参与关节点位置优化的关节的顶点的集合,表示/>模型的第i个关节点的位置,/>表示/>模型的第i个关节点的位置,λpos为关节点位置损失Epos的权重,/>表示2范数。
示例性的,以源模型为模型,目标模型为/>模型为例,关节轴角损失Erot可以如下公式(4)所示:
其中,setrot表示定义的需要参与关节轴角优化的关节的顶点的集合,表示/>模型的第i个关节点的轴角(比如旋转矩阵),/>表示/>模型的第i个关节点的轴角(比如旋转矩阵),λrot为关节轴角损失Erot的权重。/>
需要说明的是,这里以关节轴角为例对旋转约束进行描述,但本申请实施例并不限制于此,例如旋转约束还可以采用四元数、旋转矩阵、5维旋转向量、6维旋转向量、欧拉角、部分欧拉角等方式。
示例性的,以源模型为模型,目标模型为/>模型为例,关节对距离损失Edist可以如下公式(5)所示:
其中,setdist表示定义的需要参与关节对距离优化的关节的顶点的集合,表示/>模型的第i个关节点到第j个关节的距离,/>表示/>模型的第i个关节点到第j个关节的距离,λdist为关节对距离损失Edist的权重。
示例性的,以源模型为模型,目标模型为/>模型为例,触地损失Efoot可以如下公式(6)所示:
其中,setdoot表示定义的需要参与触地优化的关节的顶点的集合,表示/>模型的第i个关节点的位置,/>表示/>模型的第i个关节点的位置,λi()为脚步第i个关节的位置的权重,其数值与脚是否被判定为与地面运动静止相关,是随时间t变化的。例如,若某一脚部关节在地上不动,可以令λi=100,而若脚步腾空,则可以令λi=0或其他较小数值。
作为一种可实现的方式,碰撞损失可以采用胶囊体碰撞,即采用一个物体侵入另外一个关节的深度计算。示例性的,以目标模型为模型为例,碰撞损失Ecollision可以如下公式(7)所示:
其中,表示/>模型中第i个关节和第j个关节之间的最短距离,Ri表示第i个关节的半径,Rj表示第j个关节的半径,λcollid为碰撞损失Ecollision的权重。
需要说明的是,上述源模型或目标模型中第i个或第j个关节的顺序可以按照标准模型的关节顺序进行统一排序,本申请对此不做限定。
242,根据损失函数,调整第二骨骼信息。
具体的,可以调整第二骨骼信息以减少损失函数值。例如当损失函数最小时,对应的第二骨骼信息为最优值。示例性的,可以采用高斯牛顿算法,多次迭代优化损失函数到满足预设条件(比如小于预设阈值),得到满足保持源模型的运动姿态原有的动作序列语义不丢失的第二骨骼信息。
需要说明的是,这里以优化器采用高斯牛顿算法为例进行描述,本申请实施例并不限定特定的优化方法,例如优化器也可以采用列文贝格-马夸儿塔方法,Dogleg算法或者一阶优化等算法进行优化。
可选的,243,在下一轮调整第二骨骼信息之前,调整关节点位置损失、关节轴角损失、关节对距离损失、触地损失和碰撞损失中的至少一种损失对应的加权权重和/或迭代步长。
示例性的,当迭代过程中第一惩罚项快速满足预设条件,而第二惩罚项经过多轮迭代仍然不能满足其对应的预设条件时,可以增大该第二惩罚项对应的加权权重或迭代步长,从而加快该第二惩罚项满足预设条件,减少迭代次数。
作为一种可实现的方式,可以对第二骨骼信息(比如关节轴角和根节点平移量)进行变量初始化,计算当前变量对应的所有关节坐标,选取关节对距离矢量计算惩罚值,以及计算每个惩罚向量对变量的雅克比矩阵,然后通过雅克比矩阵近似海森矩阵,以及多个海森矩阵加权,并求解二次方程。最后,可以根据迭代结果调整不同惩罚项的权重和迭代步长。
可选的,在通过迭代优化第二骨骼信息之后,还可以对第二骨骼信息进行触地平移迁移,使得第二骨骼信息的脚步关节能够平稳触地。
250根据目标模型与标准模型的关节映射关系,得到调整后的第二骨骼信息对应到目标模型的第三骨骼信息,其中,第三骨骼信息为源模型的运动姿态重定向到目标模型的骨骼信息。
具体而言,在经过步骤230和240之后,调整后的第二骨骼信息能够保持源模型的运动姿态原有的动作序列语义不丢失,因此可以在步骤240之后执行步骤250进行跨模型迁移,将调整后的第二骨骼信息对应到目标模型得到第三骨骼信息,实现将源模型的运动姿态通过语义重定向到目标模型上。示例性的,可以根据上述公式(2)实现将标准模型的调整后的第二骨骼信息转换为目标模型的第三骨骼信息。
因此,本申请实施例在获取源模型的运动姿态的第一骨骼信息对应到标准模型的第二骨骼信息后,通过该第二骨骼信息驱动对齐的源模型和目标模型,并根据源模型和目标模型对应的驱动结果调整该第二骨骼信息,使得调整后的第二骨骼信息能够保持源模型的运动姿态原有的动作序列语义不丢失,从而在根据第二骨骼信息将源模型的运动姿态迁移到目标模型后,能够有利于保证目标模型做出与源模型的运动姿态具有相同特定语义的动作,有利于实现保持原有动作序列语义的模型动作重定向。
另外,相比于人工调整动画关键帧的方案而言,本申请实施例可以自动化处理动画数据在不同模型之间的重定向迁移,并能够保持源模型原有动作序列语义不丢失,因而不需要美术工作者进行后处理,能够降低人力成本。相比于采用根据不同模型的骨骼运动数据集训练深度学习模型来实现模型之间的动作迁移方案而言,本申请实施例通过优化算法约束保持源模型的运动姿态原有的动作序列语义不丢失,规避了深度学习模型的训练过程,计算耗时短并且计算成本低。同时本申请实施例的模型动作重定向算法可以实现任意模型之间的运动数据重定向,应用场景不受限制。
图11示出了本申请实施例提供的模型动作重定向方法的另一个流程示意图,该方法基于语义进行模型动作重定向。如图11所示,以源模型为A模型,目标模型为B模型为例,首先可以对A模型轴角(A模型运动姿态的第一骨骼信息的一个示例)采用跨模型转换的方法,转换为标准模型的轴角(第二骨骼信息的一个示例)。示例性的,标准模型可以具有55个关节轴角。同时,可以将A模型的T姿态关节点和B模型的T姿态关节点对齐,例如可以通过放缩或者平移操作对齐。作为一些可实现的方式,可以按照A模型和B模型两手端点的距离做缩放,或者将A模型和B模型均放缩到与标准模型的骨骼长度,本申请对此不做限定。之后可以采用标准模型轴角驱动T姿态化对齐的A模型和B模型,并根据A模型和B模型的驱动结果计算所有的惩罚项,包括但不限于位置损失、轴角损失、碰撞损失、关节对(距离)损失、触地损失等。对所有损失按照特定权重加权后,可以计算雅克比矩阵并采用高斯牛顿优化算法,迭代优化到合适的惩罚值。在多次迭代优化之后,可以对优化或的标准模型轴角进行触地平移迁移的放缩,之后将标准模型轴角跨模型角度迁移到B模型上,转换得到B模型轴角。
应理解,图11示出了模型动作重定向方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图11中的各个操作的变形。此外,图11中的各个步骤可以按照与图11呈现的不同的顺序来执行,并且有可能并非要执行图11的全部操作。
图12示出了人体模型动作重定向的效果的一个示意图。其中,(a)图为实时动捕画面,(b)图为基础重定向结果,(c)图为语义重定向结果。可以看到,(a)图中用户动捕画面中食指指向额头左侧,(b)图中基础重定向结果中目标模型的食指指向偏向额头中间位置,而(c)图中语义重定向结果中目标模型的食指指向额头左侧,与用户的动捕画面中的动作具有相同的动作序列语义,实现了保持原有动作序列语义的模型动作重定向。
图13示出了人体模型动作重定向的效果的另一个示意图。其中,(a)图为源模型的动作姿态,(b)图为基础重定向结果,(c)图为语义重定向结果。可以看到,(a)图中源模型保持双手在身体前侧且右手叠放在左手上面,(b)图中基础重定向结果中目标模型的左手穿过了右手,(c)图中语义重定向结果中目标模型的双手与源模型的双手动作相同,并没有发生位置的错乱,与源模型的动作具有相同的动作序列语义,实现了保持原有动作序列语义的模型动作重定向。
图14示出了人体模型动作重定向的效果的另一个示意图。其中,(a)图为实时动捕画面,(b)图为目标模型#1的基础重定向结果,(c)图为目标模型#1的语义重定向结果,(d)图为目标模型#2的基础重定向结果,(e)图为目标模型#2的语义重定向结果。可以看到,(a)图中用户双手自然下垂并且手掌与胯部之间保持一定的距离,(b)图中的基础重定向结果中目标模型#1的双手与胯部发生了碰撞,(c)图中语义重定向结果中目标模型#1的动作姿势与用户相同,与用户的动作具有相同的动作序列语义,实现了保持原有动作序列语义的模型动作重定向。类似的,(d)图中的基础重定向结果中目标模型#2的双手与胯部发生了碰撞,(e)图中语义重定向结果中目标模型#2的动作姿势与用户相同,与用户的动作具有相同的动作序列语义,实现了保持原有动作序列语义的模型动作重定向。
在一些实施例中,参见图15,可以执行以下步骤261和262,进一步对第三骨骼信息进行次骨骼优化。
261,获取上述第三骨骼信息中的次骨骼,该次骨骼位于模型的两段标准骨骼(即能够与标准模型匹配的骨骼)之间,且在目标模型的T姿态下呈直线分布。
具体的,次骨骼在模型的T姿态下呈直线分布,指该次骨骼仅包含绕轴自转而不包括非绕轴自转。例如,如图7所示,对于肘部和腕部之间的次关节,其在模型的T姿态下仅包含绕轴自转而呈直线分布。
示例性的,次骨骼的父关节的轴角Ri可以表示为如下公式(7):
其中,表示父关节的非绕轴自转,Raxis表示父关节的绕轴自转。
262,将第三骨骼信息中的次骨骼的父关节的绕轴自转分量分解到目标模型中该父关节的各个子关节上。
作为一种可实现的方式,可以通过对父关节的绕轴自转和非绕轴自转分离,令父关节的轴角同时将父关节的绕轴自转Raxis分解到目标模型中该父关节的各个子关节上。作为示例,可以将绕轴自转Raxis平均分解到各个子关节上,使得各子关节得到更小的绕轴自转值。
以图7中为例,对于肘部和腕部之间的中间次骨骼,可以将肘部的绕轴自转平均分解到这些次骨骼上,肘部仅保留非绕轴自转分量,从而实现对重定向后的目标模型的肘部和腕部的蒙皮优化,有利于减少或避免模型肘部和腕部蒙皮在极端轴角下出现塌陷。图16示出了蒙皮优化效果的一个示意图。其中,(a)图中未将肘部的绕轴自转分解到次骨骼上,其肘部和腕部之间出现蒙皮塌陷和错位;(b)图中将肘部的绕轴自转分解到次骨骼上,其肘部和腕部之间蒙皮效果较好。
因此,本申请实施例通过将第三骨骼信息中的次骨骼的父关节的绕轴自转分量分解到该父关节的各个子关节上,能够进一步实现对重定向后的目标模型的蒙皮优化,有利于减少或避免模型蒙皮在极端轴角下出现的塌陷问题。
在另一些实施例中,还可以采用与父关节两端标准骨骼均分或不等分配绕轴自转的分解方式来分解父关节的绕轴自转,本申请对此不做限定。
需要说明的是,本申请实施例中对次骨骼的父关节的绕轴自转分类分解到该父关节的各个子关节实现蒙皮优化时,可以采用渲染观察蒙皮表明是否光滑的方式实现,或者采用三角顶点的三角形凸度的方式实现,本申请对此不做限定。
图17示出了本申请实施例提供的模型动作重定向方法的另一个流程示意图。如图17所示,可以获取源模型的T姿态关节角度、源模型的T姿态关节位置、源模型的轴角和平移数据、目标模型的T姿态关节角度和目标模型的T姿态关节位置。示例性的,可以通过图4所示的流程对源模型和目标模型的绑定姿态分别进行T姿态化,得到源模型的T姿态关节角度和关节位置,以及目标模型的T姿态关节角度和关节位置。其中,关节角度和关节位置为骨骼信息的一个示例。源模型的轴角和平移数据为图2步骤210中源模型的运动姿态对应的第一骨骼信息的一个示例,本申请对此不做限定。之后,可以根据获取的数据,进行基础重定向和/或语义重定向,将原模型的轴角和平移数据重定向到目标模型上,得到目标模型的轴角和平移数据。具体的,基础重定向和语义重定向可以参见上文图2至图11中的相关描述,这里不再赘述。可选的,在得到目标模型的轴角和平移数据之后,还可以进行次骨骼优化。示例性的,次骨骼优化可以参考图15的描述,这里不再赘述。
在一些实施例中,本申请实施例可以对FBX和BVH两种格式的运动文件分别做重定向迁移。其中,FBX是一种提供数字内容创建应用程序之间的互操作性的视频游戏中间件,通常包含动作和三维模型;BVH是一种保存运动数据格式,通常包含骨骼父子关系,帧率,帧欧拉角等信息。
参见图18,对于输入的FBX文件,可以进行FBX文件解析,得到源模型的绑定姿态关节角度、源模型的绑定姿态关节位置、源模型的父子关系和名称,以及源模型蒙皮信息和顶点坐标。可选的,还可以解析得到源模型运动帧的关节欧拉角。由于FBX文件解析可以得到模型的蒙皮信息,因此可以进行基于蒙皮的优化等更加细致的处理。这里,可以根据源模型的绑定姿态关节角度、源模型的绑定姿态关节位置和源模型的父子关系以及名称,得到源模型的绑定姿态关节信息,进一步可以根据源模型的绑定姿态关节信息,进行源模型与人型骨骼(即标准模型)的自动匹配,得到源模型与人型骨骼的骨骼匹配表和T型轴角。可选的,可以根据源模型的运动帧的关节欧拉角,或者包含运动信息的其他动捕文件,结合源模型与人型骨骼的骨骼匹配表和T型轴角,将源模型的运动帧或者其他动捕文件重定向到其他模型。具体的,重定向的过程可以参见上文中的描述,这里不再赘述。
参见图19,对于输入的BVH文件,可以监BVH文件解析,得到源模型的绑定姿态关节角度、源模型的0轴角姿态关节位置和源模型的父子关系以及名称。可选的,还可以解析得到源模型运动帧的关节欧拉角。因为通常BVH格式文件并不包含模型的蒙皮信息,因此BVH格式文件无法进行基于蒙皮的优化。这里,可以根据源模型的绑定姿态关节角度、源模型的0轴角姿态关节位置和源模型父子关系以及名称,得到源模型的绑定姿态关节信息,进一步可以根据源模型的绑定姿态关节信息,进行源模型与人型模型(即标准模型)的手工匹配,得到源模型与人体骨骼的骨骼匹配表和T型轴角。可选的,可以根据源模型的运动帧的关节欧拉角,或者包含运动信息的其他动捕文件,结合源模型与人型骨骼的骨骼匹配表和T型轴角,将源模型的运动帧或者其他动捕文件重定向到其他模型。具体的,重定向的过程可以参见上文中的描述,这里不再赘述。可选的,还可以将重定向结果保存为新的动捕文件或进行渲染,本申请对此不做限定。
在一些实施例中,对于其他格式文件,比如BIP格式文件或者类似于标准模型(如SMPLX模型)等格式数据,也可以根据源模型的绑定姿态关节信息,与源模型和人型骨骼进行人工或自动的对齐处理,以及执行后续的重定向流程,本申请对此不做限定。
以上结合附图详细描述了本申请的具体实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。例如,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。又例如,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。
还应理解,在本申请的各种方法实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。应理解这些序号在适当情况下可以互换,以便描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。
上文详细描述了本申请的方法实施例,下文结合图20至图21,详细描述本申请的装置实施例。
图20是本申请实施例的模型动作重定向的装置10的示意性框图。如图20所示,所述模型动作重定向的装置10可包括获取单元11、转换单元12、对齐单元13和调整单元14。
获取单元11,用于获取源模型的运动姿态对应的第一骨骼信息;
转换单元12,用于根据所述源模型与标准模型的关节映射关系,得到所述第一骨骼信息对应到所述标准模型的第二骨骼信息;
对齐单元13,用于将所述源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐;
调整单元14,用于根据所述第二骨骼信息,驱动对齐的所述源模型和所述目标模型,以及根据所述源模型和所述目标模型对应的驱动结果调整所述第二骨骼信息;
所述转换单元12还用于根据所述目标模型与所述标准模型的关节映射关系,得到调整后的所述第二骨骼信息对应到所述目标模型的第三骨骼信息,其中,所述第三骨骼信息为所述运动姿态重定向到所述目标模型的骨骼信息。
在一些实施例中,所述调整单元14具体用于:
根据所述源模型和所述目标模型对应的驱动结果的关节点位置损失、关节轴角损失、关节对距离损失、触地损失和碰撞损失中的至少一种,确定所述损失函数;
根据所述损失函数,调整所述第二骨骼信息。
在一些实施例中,所述调整单元14还具体用于:
在下一轮调整所述第二骨骼信息之前,调整所述关节点位置损失、所述关节轴角损失、所述关节对距离损失、所述触地损失和所述碰撞损失中的至少一种损失对应的加权权重和/或迭代步长。
在一些实施例中,所述转换单元12具体用于:
将所述第一骨骼信息转换为第一模型的第四骨骼信息,其中,所述第一模型为与所述源模型的骨骼结构一致、且T姿态为0旋转状态的模型;
将所述第四骨骼信息中的第一次骨骼的骨骼信息转移到所述第一模型中的与所述标准模型匹配的关节上,使得所述第一次骨骼的旋转值为0;
根据所述源模型与标准模型的关节映射关系,将所述第四骨骼信息对应到所述标准模型上,得到所述第二骨骼信息。
在一些实施例中,所述对齐单元13具体用于:
根据所述源模型的绑定姿态,确定所述源模型的T姿态的骨骼信息;
根据所述目标模型的绑定姿态,确定所述目标模型的T姿态的骨骼信息;
将所述源模型的T姿态的骨骼信息和所述目标模型的T姿态的骨骼信息进行缩放和平移进行对齐。
在一些实施例中,装置10还包括优化单元,用于:
获取所述第三骨骼信息中的第二次骨骼,其中,所述第二次骨骼位于所述目标模型的两段标准骨骼之间,且在所述目标模型的T姿态下呈直线分布;
将所述第二次骨骼的父关节的绕轴自转分量分解到所述目标模型中所述父关节的各个子关节上。
在一些实施例中,装置10还包括确定单元,用于:
从第二模型中提取关节信息,所述关节信息包括关节名字、位置、父子关系中的至少一种;所述第二模型包括所述源模型和所述目标模型中的至少一种;
根据所述关节信息,确定所述第二模型与所述标准模型匹配的关节对作为所述第二模型与所述标准模型的关节映射关系。
在一些实施例中,所述确定单元还用于:
在所述第二模型的绑定姿态下,根据所述第二模型与所述标准模型匹配的关节对,逐个关节计算所述第二模型对应到T姿态的骨骼信息。
在一些实施例中,所述确定单元还用于:
利用迭代最邻近ICP算法,对所述第二模型和所述标准模型的身体部件进行拟合;
根据所述身体部件的拟合结果,调整所述第二模型的T姿态的骨骼信息。
在一些实施例中,所述骨骼信息包括关节轴角、位置和平移数据中的至少一种。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图20所示的装置10可以执行上述方法200,并且装置10中的各个模块的前述和其它操作和/或功能分别为了实现上述各个方法200中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置和***。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图21是本申请实施例提供的电子设备30的示意性框图。
如图21所示,该电子设备30可包括:
存储器31和处理器32,该存储器31用于存储计算机程序,并将该程序代码传输给该处理器32。换言之,该处理器32可以从存储器31中调用并运行计算机程序,以实现本申请实施例中的方法。
例如,该处理器32可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中,该处理器32可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器31包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器31中,并由该处理器32执行,以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图21所示,该电子设备30还可包括:
收发器33,该收发器33可连接至该处理器32或存储器31。
其中,处理器32可以控制该收发器33与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器30可以包括发射机和接收机。收发器33还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线***相连,其中,总线***除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
根据本申请的一个方面,提供了一种通信装置,包括处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行所述存储器中存储的计算机程序,使得所述编码器执行上述方法实施例的方法。
根据本申请的一个方面,提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
根据本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例的方法。
换言之,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
可以理解的是,在本申请的具体实施方式中,可能涉及到用户信息等相关的数据。当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (14)
1.一种模型动作重定向的方法,其特征在于,包括:
获取源模型的运动姿态对应的第一骨骼信息;
根据所述源模型与标准模型的关节映射关系,得到所述第一骨骼信息对应到所述标准模型的第二骨骼信息;
将所述源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐;
根据所述第二骨骼信息,驱动对齐的所述源模型和所述目标模型,以及根据所述源模型和所述目标模型对应的驱动结果调整所述第二骨骼信息;
根据所述目标模型与所述标准模型的关节映射关系,得到调整后的所述第二骨骼信息对应到所述目标模型的第三骨骼信息,其中,所述第三骨骼信息为所述运动姿态重定向到所述目标模型的骨骼信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述源模型和所述目标模型对应的驱动结果调整所述第二骨骼信息,包括:
根据所述源模型和所述目标模型对应的驱动结果的关节点位置损失、关节轴角损失、关节对距离损失、触地损失和碰撞损失中的至少一种,确定所述损失函数;
根据所述损失函数,调整所述第二骨骼信息。
3.根据权利要求2所述的方法,其特征在于,还包括:
在下一轮调整所述第二骨骼信息之前,调整所述关节点位置损失、所述关节轴角损失、所述关节对距离损失、所述触地损失和所述碰撞损失中的至少一种损失对应的加权权重和/或迭代步长。
4.根据权利要求1所述的方法,其特征在于,所述根据所述源模型与标准模型的关节映射关系,得到所述第一骨骼信息对应到所述标准模型的第二骨骼信息,包括:
将所述第一骨骼信息转换为第一模型的第四骨骼信息,其中,所述第一模型为与所述源模型的骨骼结构一致、且T姿态为0旋转状态的模型;
将所述第四骨骼信息中的第一次骨骼的骨骼信息转移到所述第一模型中的与所述标准模型匹配的关节上,使得所述第一次骨骼的旋转值为0;
根据所述源模型与标准模型的关节映射关系,将所述第四骨骼信息对应到所述标准模型上,得到所述第二骨骼信息。
5.根据权利要求1所述的方法,其特征在于,所述将所述源模型的绑定姿态对应的骨骼信息与所述目标模型的绑定姿态对应的骨骼信息对齐,包括:
根据所述源模型的绑定姿态,确定所述源模型的T姿态的骨骼信息;
根据所述目标模型的绑定姿态,确定所述目标模型的T姿态的骨骼信息;
将所述源模型的T姿态的骨骼信息和所述目标模型的T姿态的骨骼信息进行缩放和平移进行对齐。
6.根据权利要求1所述的方法,其特征在于,还包括:
获取所述第三骨骼信息中的第二次骨骼,其中,所述第二次骨骼位于所述目标模型的两段标准骨骼之间,且在所述目标模型的T姿态下呈直线分布;
将所述第二次骨骼的父关节的绕轴自转分量分解到所述目标模型中所述父关节的各个子关节上。
7.根据权利要求1所述的方法,其特征在于,还包括:
从第二模型中提取关节信息,所述关节信息包括关节名字、位置、父子关系中的至少一种;所述第二模型包括所述源模型和所述目标模型中的至少一种;
根据所述关节信息,确定所述第二模型与所述标准模型匹配的关节对作为所述第二模型与所述标准模型的关节映射关系。
8.根据权利要求7所述的方法,其特征在于,还包括:
在所述第二模型的绑定姿态下,根据所述第二模型与所述标准模型匹配的关节对,逐个关节计算所述第二模型对应到T姿态的骨骼信息。
9.根据权利要求8所述的方法,其特征在于,还包括:
利用迭代最邻近ICP算法,对所述第二模型和所述标准模型的身体部件进行拟合;
根据所述身体部件的拟合结果,调整所述第二模型的T姿态的骨骼信息。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述骨骼信息包括关节轴角、位置和平移数据中的至少一种。
11.一种模型动作重定向的装置,其特征在于,包括:
获取单元,用于获取源模型的运动姿态对应的第一骨骼信息;
转换单元,用于根据所述源模型与标准模型的关节映射关系,得到所述第一骨骼信息对应到所述标准模型的第二骨骼信息;
对齐单元,用于将所述源模型的绑定姿态对应的骨骼信息与目标模型的绑定姿态对应的骨骼信息对齐;
调整单元,用于根据所述第二骨骼信息,驱动对齐的所述源模型和所述目标模型,以及根据所述源模型和所述目标模型对应的驱动结果调整所述第二骨骼信息;
所述转换单元还用于根据所述目标模型与所述标准模型的关节映射关系,得到调整后的所述第二骨骼信息对应到所述目标模型的第三骨骼信息,其中,所述第三骨骼信息为所述运动姿态重定向到所述目标模型的骨骼信息。
12.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有指令,所述处理器执行所述指令时,使得所述处理器执行权利要求1-10任一项所述的方法。
13.一种计算机存储介质,其特征在于,用于存储计算机程序,所述计算机程序包括用于执行权利要求1-10中任一项所述的方法。
14.一种计算机程序产品,其特征在于,包括计算机程序代码,当所述计算机程序代码被电子设备运行时,使得所述电子设备执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310289218.2A CN116977506A (zh) | 2023-03-22 | 2023-03-22 | 模型动作重定向的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310289218.2A CN116977506A (zh) | 2023-03-22 | 2023-03-22 | 模型动作重定向的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977506A true CN116977506A (zh) | 2023-10-31 |
Family
ID=88482119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310289218.2A Pending CN116977506A (zh) | 2023-03-22 | 2023-03-22 | 模型动作重定向的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977506A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710468A (zh) * | 2024-02-06 | 2024-03-15 | 天度(厦门)科技股份有限公司 | 基于关节网格形变的姿态重定向方法、装置、设备及介质 |
-
2023
- 2023-03-22 CN CN202310289218.2A patent/CN116977506A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710468A (zh) * | 2024-02-06 | 2024-03-15 | 天度(厦门)科技股份有限公司 | 基于关节网格形变的姿态重定向方法、装置、设备及介质 |
CN117710468B (zh) * | 2024-02-06 | 2024-05-17 | 天度(厦门)科技股份有限公司 | 基于关节网格形变的姿态重定向方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020207281A1 (zh) | 姿态识别模型的训练方法、图像识别方法及装置 | |
CN111968217B (zh) | 基于图片的smpl参数预测以及人体模型生成方法 | |
CN113496507A (zh) | 一种人体三维模型重建方法 | |
CN110599573B (zh) | 一种基于单目相机的人脸实时交互动画的实现方法 | |
CN111553968B (zh) | 一种三维人体重构动画的方法 | |
CN108363973A (zh) | 一种无约束的3d表情迁移方法 | |
CN104376309A (zh) | 一种基于手势识别的手势运动基元模型结构化方法 | |
CN113051420B (zh) | 一种基于文本生成视频机器人视觉人机交互方法及*** | |
US12020374B2 (en) | Body shape and pose estimation via volumetric regressor for raw three dimensional scan models | |
CN114549291A (zh) | 图像处理方法、装置、设备以及存储介质 | |
CN116977506A (zh) | 模型动作重定向的方法、装置、电子设备及存储介质 | |
Liu | Aerobics posture recognition based on neural network and sensors | |
CN113506377A (zh) | 一种基于虚拟漫游技术的教学培训方法 | |
CN114821675A (zh) | 对象的处理方法、***和处理器 | |
CN115330979A (zh) | 表情迁移的方法、装置、电子设备及存储介质 | |
CN117635897B (zh) | 三维对象的姿态补全方法、装置、设备、存储介质及产品 | |
CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
CN104484034A (zh) | 一种基于手势识别的手势运动基元过渡帧定位方法 | |
CN116248920A (zh) | 虚拟角色直播处理方法、装置及*** | |
WO2023284634A1 (zh) | 一种数据处理方法及相关设备 | |
CN110956599A (zh) | 图片处理方法和装置、存储介质及电子装置 | |
CN116749168A (zh) | 一种基于体势手势示教的康复轨迹获取方法 | |
CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
CN115661307A (zh) | 服装动画生成方法及装置 | |
Qianwen | Application of motion capture technology based on wearable motion sensor devices in dance body motion recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |