CN114332939B - 一种位姿序列生成方法和*** - Google Patents
一种位姿序列生成方法和*** Download PDFInfo
- Publication number
- CN114332939B CN114332939B CN202111653731.2A CN202111653731A CN114332939B CN 114332939 B CN114332939 B CN 114332939B CN 202111653731 A CN202111653731 A CN 202111653731A CN 114332939 B CN114332939 B CN 114332939B
- Authority
- CN
- China
- Prior art keywords
- pose
- target object
- sequence
- information
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008859 change Effects 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 description 11
- 210000002310 elbow joint Anatomy 0.000 description 10
- 210000001503 joint Anatomy 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 210000004394 hip joint Anatomy 0.000 description 5
- 210000000629 knee joint Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本说明书实施例提供一种位姿序列生成方法,该方法包括基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列,其中,第一位姿序列包括目标对象在初始时间段内的多个时间点的位姿信息。
Description
技术领域
本说明书涉及图像技术领域,特别涉及一种位姿序列生成方法和***。
背景技术
对目标对象的(例如,人体)位姿的预测和生成作为计算机视觉研究领域中的一个重要课题,具有广泛的应用。现有技术中,常见的方式大多是基于获取的目标对象初始位姿信息,生成一系列的预测目标对象位姿。但是,生成预测目标对象位姿不仅与目标对象的初始位姿信息相关,还应该与目标对象位姿在不同时刻下的变化信息相关。同时,不同目标对象在运动时,其运动特征也应该不同,例如,老人和小孩在跑步时,其姿势、身体摆动幅度均不同。
因此,希望可以提供一种位姿序列生成方法和***,可以基于目标对象的初始位姿信息、目标对象位姿在不同时刻下的变化信息以及目标对象自身的信息,生成更加准确、真实的目标对象的位姿。
发明内容
本说明书实施例之一提供一种位姿序列生成方法,所述位姿序列生成方法包括:基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列,其中,所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息。
本说明书实施例之一提供一种位姿序列生成***,所述位姿序列生成***包括:生成模块,用于基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列,其中,所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息。
本说明书实施例之一提供一种位姿序列生成装置,所述装置包括处理设备以及存储器;所述存储器用于存储指令,所述指令被所述处理设备执行时,导致所述装置实现如上述实施例中任意一项所述的位姿序列生成方法。
本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如上述实施例中任意一项所述的位姿序列生成方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的位姿序列生成***的应用场景示意图;
图2是根据本说明书一些实施例所示的位姿序列生成方法的示例性流程图;
图3是根据本说明书一些实施例所示的又一位姿序列生成方法的示例性流程图;
图4是根据本说明书一些实施例所示的又一位姿序列生成方法方法的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标签的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的位姿序列生成***的应用场景示意图。
位姿序列生成***100可以对目标对象进行位姿预测。***100的应用场景可以包括第一位姿序列110、个性化信息120、处理设备130和第二位姿序列140。
第一位姿序列110可以指目标对象在初始时间段内的位姿序列信息。在一些实施例中,第一位姿序列110可以包括目标对象在初始时间段内某采样间隔下的多个时间点的位姿信息,例如,位姿信息111、位姿信息112、…。第一位姿序列可以通过多种方式获取,例如,用户直接输入第一位姿序列,再例如,对视频进行筛选获得第一位姿序列。
个性化信息120可以指表征目标对象的特征的信息。在一些实施例中,个性化信息可以包括但不限于目标对象的年龄、性别、身高、体重、性格等。在一些实施例中,可以对包含有目标对象的视频帧进行图像识别,确定目标对象的个性化信息。在一些实施例中,还可以基于其他方式确定个性化信息,例如,用户直接输入。
处理设备130可以处理从其他设备或***组成部分中获得的数据、信息和/或处理结果,并基于这些数据、信息和/或处理结果执行程序指令,以执行一个或多个本说明书中描述的功能。例如,处理设备可以基于第一位姿序列以及个性化信息,生成第二位姿序列。
第二位姿序列140可以指目标对象在目标时间段内的位姿序列信息,其中,目标时间段位于初始时间段之后。与第一位姿序列相似,第二位姿序列也可以包括目标对象在目标时间段内某采样间隔下的多个时间点的位姿信息,例如,位姿信息141、位姿信息142、位姿信息143、…。在一些实施例中,第二位姿序列可以由处理设备生成。
在一些实施例中,所述位姿序列生成***100可以包括生成模块,所述生成模块可以用于基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列,其中,所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息。关于目标对象、位姿生成模型、目标时间段的更多内容,参见图2及其相关描述,此处不再赘述。在一些实施例中,生成模块还可以进一步用于:基于所述第一位姿序列,确定所述目标对象的初始位姿信息以及初始位姿变化序列;基于所述初始位姿信息、所述初始位姿变化序列以及所述个性化信息,通过所述位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列。关于初始位姿信息、初始位姿变化序列的更多内容参见图3及其相关描述,此处不再赘述。
应当理解,图1所示的***及其模块可以利用各种方式来实现。另外,以上对于***100及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该***的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子***与其他模块连接。
图2是根据本说明书一些实施例所示的位姿序列生成方法的示例性流程图。在一些实施例中,流程200可以由处理设备执行。如图2所示,流程200包括下述步骤:
步骤210,获取目标对象的第一位姿序列。
目标对象可以指需要进行位姿生成的对象。在一些实施例中,目标对象可以是一个或多个。目标对象可以是人,也可以是其他对象,例如,猫、狗等。在一些实施例中,可以对包含有目标对象的视频帧进行图像识别,确定其中的运动对象,并将该运动对象确定为目标对象。在一些实施例中,目标对象还可以通过其他方式确定,例如,可以由用户直接指定。
第一位姿序列可以为目标对象在初始时间段内多个时间点的位姿信息。初始时间段可以指第一位姿序列所对应的时间段,可以包含有多个时间点。
在一些实施例中,位姿信息可以是目标对象的关节点信息。对应的,第一位姿序列可以是目标对象在初始时间段内多个时间点的关节点信息序列。关节点信息可以指目标对象的各个关节点在世界坐标系下的位置信息。在一些实施例中,可以基于目标对象的类型,确定目标对象的关节点类型及其关节点间的相对位置关系。例如,可以基于目标对象为人,确定目标对象的关节点有头、颈、颈下脊椎、…,其中,头与颈连接、颈与颈下脊椎连接、…。
在一些实施例中,处理设备可以对视频进行处理,筛选出视频中目标对象发生连贯动作且不存在镜头切换的视频片段。在一些实施例中,处理设备还可以依次提取该视频片段中的某采样间隔下的帧作为关键帧。例如,每0.2S提取该视频片段中的一帧作为关键帧,从而提取出该视频片段的关键帧序列。再对前述视频片段或基于视频片段提取的关键帧序列进行位姿估计,确定各个时间点目标对象的关节点信息。示例性的,处理设备可以对视频片段进行3D位姿估计,确定开始时间点中目标对象的第一关节点的坐标为(5.0,6.0,5.0)、第二关节点的坐标为(5.0,8.0,5.0)、第二时间点中目标对象的第一关节点的坐标为(4.0,6.0,5.0)、第二关节点的坐标为(4.0,8.0,5.0)、…。
在一些实施例中,基于各个时间点目标对象各个关节点的关节点信息,可以确定各个时间点目标对象的关节长度,其中,所述关节长度可以为目标对象两个相邻关节点之间关节的长度。例如,基于目标对象开始时间点各个关节点的关节点信息,可以确定头关节点到颈关节点,即颈部关节的关节长度为16.0cm。再例如,基于目标对象第二时间点各个关节点的关节点信息,可以确定颈部关节的关节长度为15.6cm。在一些实施例中,可以对多个时间点的目标对象的各关节的关节长度进行归一化处理。可以取目标对象在各个时间点的对应关节的关节长度的均值,将该均值作为目标对象对应关节的归一化处理后的关节长度。例如,初始时间段中包含有三个时间点,开始时间点颈部关节的关节长度为16.0cm,第二时间点颈部关节的关节长度为15.6cm,第三时间点颈部关节的关节长度为15.5cm,对目标对象的关节长度进行归一化处理后,确定目标对象颈部关节的关节长度为15.7cm。在一些实施例中,当关节在目标对象身体两侧对称存在时,可以在得到各时间点的对应关节长度的均值后,再对身体两侧对称存在关节的关节长度再一起取一次均值,将得到的该均值作为目标对象的对应关节归一化处理后的关节长度。例如,通过取各时间点的对应关节长度的均值,确定目标对象的左肩关节点到左肘关节点(即左上肘关节)的关节长度为25.0cm,右肩关节点到右肘关节点(即右上肘关节)的关节长度为24.6cm,左上肘关节与右上肘关节为目标对象身体两侧对称存在的关节,因此,左上肘关节与右上肘关节再一起取一次均值,确定左上肘关节与右上肘关节的关节长度均为24.8cm。
在一些实施例中,基于归一化处理后的关节长度,可以对各个时间点目标对象各个关节点的关节点信息进行调整,得到调整后的各时间点的关节点信息,调整后的各时间点的关节点信息序列将作为第一位姿序列。
在一些实施例中,所述位姿信息还可以是其他信息,例如,位姿信息还可以是图像,所述图像可以为二维图像,也可以为三维图像。对应的,第一位姿序列可以为目标对象在初始时间段内多个时间点的图像序列。在一些实施例中,处理设备可以直接将前述视频片段直接作为第一位姿序列。在一些实施例中,处理设备还可以将前述的关键帧序列作为目标对象的第一位姿序列。
步骤220,基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列。
目标时间段可以指需要生成目标对象的位姿的时间段。在一些实施例中,目标时间段的长度可以基于用户输入确定。例如,用户输入目标时间段30S。目标时间段也可以包含有多个时间点,同时,目标时间段的开始时间点为初始时间段中最后一个时间点的下一个时间点。例如,初始时间段为0~1S,包含有6个时间点,分别为视频的0.0S、0.2S、0.4S、0.6S、0.8S、1.0S,目标时间段的长度为1S,也包含有6个时间点,可以为视频的1.0S、1.2S、1.4S、1.6S、1.8S、2.0S。
第二位姿序列可以为目标对象在目标时间段的多个时间点的位姿信息。与第一位姿序列类似,第二位姿序列可以为目标时间段内多个时间点的关节点信息序列,也可以为目标时间段的多个时间点的图像序列。示例性地,目标时间段为30S,第二位姿序列为30内第0.2S、0.4S、0.6S、…的关节点信息序列。
在一些实施例中,位姿生成模型可以是时域卷积网络模型。在一些实施例中,位姿生成模型还可以是其他模型,例如,支持向量机模型、卷积神经网络模型、循环神经网络模型等。
在一些实施例中,位姿生成模型的输入可以为第一位姿序列。可以先基于目标对象的个性化信息,通过预设对应关系,确定该个性化信息对应的位姿生成模型。例如,基于目标对象的个性化信息为男、25岁、活泼,确定该个性化信息对应的位姿生成模型。再将第一位姿序列输入位姿生成模型,确定目标对象在目标时间段内的第二位姿序列。应当注意的是,当位姿生成模型的输入仅为第一位姿序列时,在对位姿生成模型进行训练时,训练样本应为同一个性化信息对应的位姿序列,训练结束后得到该个性化信息对应的位姿生成模型。
在一些实施例中,位姿生成模型的输入还可以为第一位姿序列和个性化信息。可以将第一位姿序列和个性化信息输入位姿生成模型,确定目标对象在目标时间段内的第二位姿序列。对应的,当位姿生成模型的输入为第一位姿序列和个性化信息时,该位姿生成模型的训练样本可以包括各种个性化信息对应的位姿序列。
在一些实施例中,位姿生成模型的输出可以直接为目标对象在目标时间段内的第二位姿序列。例如,基于位姿生成模型对输入的第一位姿序列和个性化信息进行处理,输出为目标对象在目标时间段内的第二位姿序列。当位姿生成模型的输出为目标对象在目标时间段内的第二位姿序列时,可以获取视频数据对位姿生成模型进行训练,训练样本可以为目标对象在视频数据中第一时间段的位姿序列以及目标对象对应的个性化信息,训练样本的标签可以是目标对象在视频数据中第二时间段的位姿序列,其中,第二时间段是第一时间段之后的时间段,第一时间段与第二时间段的位姿序列可以基于视频数据获取,目标对象对应的个性化信息可以通过人工标注获取。
在一些实施例中,输出可以为目标时间段内其中一个时间点的位姿信息。基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型可以生成目标时间段的开始时间点的位姿信息,再基于第二个时间点至目标时间段的开始时间点的位姿序列和个性化信息,通过位姿生成模型可以生成目标时间段的第二个时间点的位姿信息,进行滑窗操作,直至生成目标时间段内最后一个时间点的位姿信息,将得到的目标时间段内所有时间点的位姿信息的序列作为第二位姿序列。例如,可以将第一位姿序列,具体的,第一位姿序列中所包含的第1~T个时间点目标对象的位姿序列和个性化信息输入位姿生成模型,输出为下一时间点,即第T+1个时间点目标对象的位姿信息。再基于第2~T+1个时间点目标对象的位姿序列和个性化信息输入位姿生成模型,输出第T+2个时间点目标对象的位姿信息,进行滑窗操作,直至输出第T+M个时间点目标对象的位姿信息,其中,M为目标时间段的时间点数量。再将第T+1~T+M时间点目标对象的位姿序列作为目标对象在目标时间段内的第二位姿序列。对应的,该位姿生成模型的训练样本为目标对象在视频数据中第一时间段,即第1~T个时间点的位姿序列,训练样本的标签可以为目标对象在视频数据中第一时间段的下一时间点,即第T+1个时间点的位姿信息。
在一些实施例中,还可以通过其他方式获得第二位姿序列。例如,可以基于第一位姿序列,确定目标对象的初始位姿信息以及位姿变化序列;基于初始位姿信息、初始位姿变化序列以及个性化信息,通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列。关于前述实施例的更多内容参见图3及其相关描述,此处不再赘述。
图3是根据本说明书一些实施例所示的又一位姿序列生成方法的示例性流程图。在一些实施例中,流程300可以由处理设备执行。如图3所示,流程300包括下述步骤:
步骤310,基于第一位姿序列,确定目标对象的初始位姿信息以及初始位姿变化序列。
初始位姿信息可以是目标对象在第一位姿序列中开始时间点的位姿信息。在一些实施例中,初始位姿信息可以是目标对象在初始时间段的开始时间点的关节点信息。在一些实施例中,初始位姿信息也可以是目标对象在初始时间段的开始时间点的图像。
初始位姿变化序列可以是目标对象在初始时间段内的多个时间点的位姿变化信息,其中,位姿变化信息可以为位姿信息的变化信息。
在一些实施例中,可以基于第一位姿序列,确定目标对象各个关节点在初始时间段内下一时间点与上一时间点关节点信息的差分坐标序列,将该差分坐标序列作为初始位姿变化序列。例如,目标对象有两个关节点,第一位姿序列中存在三个时间点,第一关节点在三个时间点的关节点信息分别为(5.0,6.0,5.0)、(4.0,6.0,5.0)、(3.0,6.0,5.0),第二关节点在三个时间点的关节点信息分别为(5.0,5.0,5.0)、(4.0,4.0,5.0)、(3.0,5.0,5.0),可以确定对应的初始位姿变化序列为{[(1.0,0.0,0.0),(1.0,0.0,0.0)],[(1.0,1.0,0.0),(1.0,-1.0,0.0)]}。在一些实施例中,初始位姿还可以通过其他方式确定,例如,确定目标对象各个关节点在初始时间段内下一时间点与上一时间点关节点信息的旋转四元数序列,将该旋转四元数序列作为初始位姿变化序列。
步骤320,基于初始位姿信息、初始位姿变化序列以及个性化信息,通过位姿生成模型生成目标对象在目标时间段内的第二位姿序列。
在一些实施例中,可以将初始位姿信息、初始位姿变化序列以及个性化信息输入位姿生成模型,输出目标对象在目标时间段内的第二位姿序列。该位姿生成模型可以基于视频数据训练获取,该位姿生成模型的训练样本可以为视频数据中第一时间段内开始时间点的位姿信息、第一时间段内的位姿变化信息以及目标对象对应的个性化信息,训练样本可以为视频数据中第二时间段内的位姿序列,其中,第二时间段是第一时间段之后的时间段,第一时间段内开始时间点的位姿信息、第一时间段内的位姿变化信息、第二时间段内的位姿序列可以基于视频数据获取,个性化信息可以基于人工标注获取。将多个带有标签的训练样本输入初始位姿生成模型,通过训练更新初始位姿生成模型的参数,当训练的模型满足预设条件时,训练结束,获取训练好的该个性化信息对应的位姿生成模型。
在一些实施例中,也可以先基于个性化信息,通过预设对应关系,确定该个性化信息对应的位姿生成模型。再将初始位姿信息、初始位姿变化序列输入位姿生成模型,位姿生成模型输出为目标对象在目标时间段内的第二位姿序列。对应的,位姿生成模型的训练数据均为同一个性化信息对应的视频数据,训练样本中不需要个性化信息,其余训练内容与需要输入个性化信息的位姿生成模型相同,参见本说明书上文,此处不再赘述。
在一些实施例中,可以基于初始位姿信息、初始位姿变化序列以及个性化信息,通过位姿生成模型生成目标对象在目标时间段内各个时间点的目标位姿变化信息。进一步的,可以基于目标对象在目标时间段内各个时间点的目标位姿变化信息,确定目标对象在目标时间段内的第二位姿序列。关于上述实施例的更多内容,参见图4及其相关描述,此处不再赘述。
图4是根据本说明书一些实施例所示的又一位姿序列生成方法的示意图。在一些实施例中,流程400可以由处理设备执行。如图4所示,流程400包括下述步骤:
步骤410,基于所述第一位姿序列,确定目标对象的初始位姿信息以及初始位姿变化序列。
步骤410与本说明书中步骤310一致,关于步骤410的具体细节,参见本说明书上文步骤310,此处不再赘述。
步骤420,基于初始位姿信息、初始位姿变化序列以及个性化信息,通过位姿生成模型生成目标对象在目标时间段内各个时间点的目标位姿变化信息。
目标位姿变化信息可以是输入位姿生成模型的位姿变化序列对应的时间段中最后一个时间点的下一时间点的位姿变化信息,其中,输入位姿生成模型的位姿变化序列可以为初始位姿变化序列,也可以为滑窗操作时输入模型的其他时间段对应的位姿变化序列。
在一些实施例中,可以将初始位姿信息、初始位姿变化序列以及个性化信息输入位姿生成模型,输出目标时间段内开始时间点的目标位姿变化信息,再通过滑窗操作,生成目标对象在目标时间段内各个时间点的目标位姿变化信息。关于滑窗操作进行预测的更多内容,参见图2及其相关描述,此处不再赘述。
在一些实施例中,位姿生成模型的参数可以经训练得到。位姿生成模型可以基于视频数据训练获取,训练样本可以为目标对象在视频数据中第一时间段的开始时间点的位姿信息、第一时间段内的位姿变化序列(例如,第1~T个时间点的位姿变化序列)以及个性化信息,训练样本的标签可以是目标对象在第一时间段的下一时间点(例如,第T+1个时间点)的位姿变化信息。通过多组训练样本可以更新初始位姿生成模型的参数,得到训练好的初始位姿生成模型。位姿生成模型的参数来自于训练好的初始位姿生成模型,其中,位姿生成模型的参数可以以任何可行的方式传递。
在训练过程中,可以将初始位姿信息编码成长度为K的数组,其中,K可以与目标对象的关节点数量相关,例如,K为关节点数量的三倍。可以采用时域卷积网络对第一时间段内的位姿变化序列,例如,第1~T个时间点的位姿变化序列进行处理,依次经过一维卷积、最大池化、一维卷积、最大池化、张量拉伸操作后,可以得到长度为[(T-2)/2-2]/2*72的数组。可以将个性化信息编码成长度为L的数组,第二预设长度可以与个性化信息所描述的目标对象的特征的多少相关。在一些实施例中,将上述得到的三类数组通过串联操作得到长度为[(T-2)/2-2]/2*72+K+L的数组,经过全连接操作后得到长度为θ*关节点数的长向量,其中,θ为可变参数,再经过一层全连接层操作后得到长度为关节点数的长向量,然后,再用预测得到的长度为关节点数的长向量与训练样本的标签,即目标对象在第T+1个时间点的位姿变化信息进行损失函数计算进行模型训练、梯度计算,当损失函数满足预设条件时,得到训练好的位姿生成模型。
在一些实施例中,位姿生成模型的损失函数可以与目标对象的位姿变化信息相关。损失函数可以如公式(1)所示:
其中,q表示真实的目标对象的位姿变化信息;q′表示预测的目标对象的位姿变化信息;qi表示目标对象的第i个关节点真实的位姿变化信息;q′i表示预测的所述目标对象第i个关节点的位姿变化信息;i表示目标对象的第i个关节点;n表示目标对象的关节点总数。
在一些实施例中,损失函数还可以与目标对象的关节长度相关,关节长度为目标对象的两个相邻关节点间的长度。损失函数可以如公式(2)所示:
其中,q表示真实的目标对象的位姿变化信息,q′表示预测的目标对象的位姿变化信息;qi表示目标对象的第i个关节点真实的位姿变化信息;q′i表示预测的目标对象第i个关节点的位姿变化信息;i表示目标对象的第i个关节点;n表示目标对象的关节点总数;βi表示调节关节长度的第一参数,可以预先设置。
在一些实施例中,第一参数可以平衡对称的关节对损失函数的影响,以及对相同层级的关节点设置不同的损失权重。例如,可以按照关节点到根节点的由近到远的距离,来进行从小到大的编号。以臀部关节点为根节点,那么臀部关节点为第1个关节点,右胯关节点为第2个关节点,右膝关节点为第3个关节点,右踝关节点为第4个关节点,当对左侧的关节进行编号时,需要从5开始编号,左胯关节点为第5个关节点,左膝关节点为第6个关节点,左踝关节点为第7个关节点。但其中部分关节为对称关节,例如,第2个关节点到第3个关节点所表示的关节和第5个关节点到第6个关节点所表示的关节是对称的,对损失函数的贡献理论上也应该相同,但n-2和n-5是不同的,所以可以基于第一参数进行调节,将对称位置对损失函数的贡献调整为相等,即:这样的设置方式可以平衡对称关节点对损失函数的影响。又例如,以臀部关节点为根节点,左右胯部关节点和脊柱关节点到臀部关节点的层级关系相同,但脊柱关节点对整体的影响大于左右胯部关节点对整体的影响,那么也可以通过设置不同的第一参数来实现。
在一些实施例中,损失函数可以体现出关节长度对位姿的影响。例如,人体手指关节的关节长度比膝关节的关节长度短,在进行预测时,人体手指关节对位姿的影响较膝关节对位姿的影响更小。
在一些实施例中,损失函数还可以与个性化信息相关。损失函数可以如公式(3)所示:
其中,q表示真实的目标对象的位姿变化信息,q′表示预测的目标对象的位姿变化信息;qi表示目标对象的第i个关节点真实的位姿变化信息;q′i表示预测的目标对象第i个关节点的位姿变化信息;i表示目标对象的第i个关节点;n表示目标对象的关节点总数;li表示第i个关节点至第i-1个关节点所表示关节的关节长度;βi表示调节所述关节长度的第一参数;λi表示基于个性化信息对第i个关节点进行调节的第二参数,可以基于个性化信息的内容,通过预设关系确定。
在一些实施例中,每一组不同的个性化信息,经过编码之后都会得到一组第二参数,第二参数可以表示初始位姿生成模型对不同关节点的关注度。例如,个性化信息中包含有活泼、跳舞的目标对象,其手部的动作幅度相对会更大,可以将与手部相关关节点的第二参数设置得更高。再例如,沉稳的人和/或老人,手部的动作会低一些,那么就会将与手部相关的关节点的第二参数设置得更低。应当理解的是,目标对象中变化更大(或者更关注)的关节点,其对应的第二参数就设置得更高,以调整不同个性化信息对应的目标对象对动作的完成的不同表现。
步骤430,基于目标对象在目标时间段内各时间点的目标位姿变化信息,确定目标对象在目标时间段内的第二位姿序列。
可以基于目标对象在目标时间段内各个时间点的目标位姿变化信息、初始位姿信息以及初始位姿变化序列,确定目标对象在目标时间段内各个时间点其各个关节点在世界坐标系下的关节点信息,将该关节点信息对应的序列确定为目标对象在目标时间段内的第二位姿序列。
应当注意的是,上述有关各个流程的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对各个流程进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
本说明书一些实施例还公开了一种位姿序列生成装置,所述装置包括处理设备以及存储器;所述存储器用于存储指令,所述指令被所述处理设备执行时,导致所述装置实现如上述实施例中任一项所述位姿序列生成方法。
本说明书一些实施例还公开了计算机可读存储介质,所述介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如上述实施例中任一项所述位姿序列生成方法。
本说明书实施例可能带来的有益效果包括但不限于:1)输入位姿生成模型的内容可以包括目标对象的个性化信息,可以使位姿生成模型学习到目标对象本身的运动特征,使得生成的第二位姿序列更加真实;2)输入位姿生成模型的内容可以包括基于时序变化的位姿变化信息,其不受视频本身的分辨率及内容质量影响,可以保证位姿生成模型预测得到的位姿信息与之前的位姿信息有较好的连贯性;3)输入位姿生成模型的内容还可以包括初始位姿信息,可以更好地让位姿生成模型学习到目标对象位姿本身的信息;4)位姿生成模型可以包括时域卷积网络模型,使得模型从输入的各项信息中学习位姿到随时间变化的规律,使得输出的数据更加连贯,更加真实。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的***。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (9)
1.一种位姿序列生成方法,其特征在于,包括:
基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列,其中,所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息,所述个性化信息为表征所述目标对象的特征的信息,所述位姿生成模型的参数经训练获得,所述位姿生成模型的损失函数与所述目标对象的关节长度相关,所述损失函数还与所述个性化信息相关,所述关节长度为所述目标对象的两个相邻关节点间的长度。
2.根据权利要求1所述的方法,其特征在于,所述基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列包括:
基于所述第一位姿序列,确定所述目标对象的初始位姿信息以及初始位姿变化序列;
基于所述初始位姿信息、所述初始位姿变化序列以及所述个性化信息,通过所述位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列。
3.根据权利要求2所述的方法,其特征在于,所述初始位姿变化序列包括所述目标对象在初始时间段内的多个时间点的位姿变化信息。
4.根据权利要求1或2所述的方法,其特征在于,所述位姿生成模型包括时域卷积网络模型。
5.根据权利要求4所述的方法,其特征在于,所述位姿生成模型的损失函数与所述目标对象的位姿变化信息相关。
6.一种位姿序列生成***,其特征在于,所述***包括:
生成模块,用于基于目标对象的第一位姿序列和个性化信息,通过位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列,其中,所述第一位姿序列包括所述目标对象在初始时间段内的多个时间点的位姿信息,所述个性化信息为表征所述目标对象的特征的信息,所述位姿生成模型的参数经训练获得,所述位姿生成模型的损失函数与所述目标对象的关节长度相关,所述损失函数还与所述个性化信息相关,所述关节长度为所述目标对象的两个相邻关节点间的长度。
7.根据权利要求6所述的***,其特征在于,所述生成模块进一步用于:
基于所述第一位姿序列,确定所述目标对象的初始位姿信息以及初始位姿变化序列;
基于所述初始位姿信息、所述初始位姿变化序列以及所述个性化信息,通过所述位姿生成模型生成所述目标对象在目标时间段内的第二位姿序列。
8.一种位姿序列生成装置,所述装置包括处理设备以及存储器;所述存储器用于存储指令,所述指令被所述处理设备执行时,导致所述装置实现如权利要求1至5中任意一项所述位姿序列生成方法。
9.一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如权利要求1至5中任意一项所述位姿序列生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111653731.2A CN114332939B (zh) | 2021-12-30 | 2021-12-30 | 一种位姿序列生成方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111653731.2A CN114332939B (zh) | 2021-12-30 | 2021-12-30 | 一种位姿序列生成方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114332939A CN114332939A (zh) | 2022-04-12 |
CN114332939B true CN114332939B (zh) | 2024-02-06 |
Family
ID=81019665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111653731.2A Active CN114332939B (zh) | 2021-12-30 | 2021-12-30 | 一种位姿序列生成方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332939B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102252676A (zh) * | 2011-05-06 | 2011-11-23 | 微迈森惯性技术开发(北京)有限公司 | 运动姿态数据获取、人体运动姿态追踪方法及相关设备 |
CN107870570A (zh) * | 2017-12-26 | 2018-04-03 | 电子科技大学 | 基于分数阶幂次趋近律的终端滑模机械臂轨迹跟踪方法 |
CN109410276A (zh) * | 2018-11-01 | 2019-03-01 | 北京达佳互联信息技术有限公司 | 关键点位置确定方法、装置及电子设备 |
CN109948505A (zh) * | 2019-03-14 | 2019-06-28 | 郑州大学 | 一种人体三维姿态匹配算法的优化方法 |
CN111126272A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 姿态获取方法、关键点坐标定位模型的训练方法和装置 |
CN111401230A (zh) * | 2020-03-13 | 2020-07-10 | 深圳市商汤科技有限公司 | 姿态估计方法及装置、电子设备和存储介质 |
CN111589138A (zh) * | 2020-05-06 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 动作预测方法、装置、设备及存储介质 |
CN111610998A (zh) * | 2020-05-26 | 2020-09-01 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、装置及存储介质 |
CN112927260A (zh) * | 2021-02-26 | 2021-06-08 | 商汤集团有限公司 | 一种位姿生成方法、装置、计算机设备和存储介质 |
CN113192161A (zh) * | 2021-04-22 | 2021-07-30 | 清华珠三角研究院 | 一种虚拟人形象视频生成方法、***、装置及存储介质 |
CN113487674A (zh) * | 2021-07-12 | 2021-10-08 | 北京未来天远科技开发有限公司 | 一种人***姿估计***和方法 |
CN113793251A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备和可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11488320B2 (en) * | 2019-07-31 | 2022-11-01 | Samsung Electronics Co., Ltd. | Pose estimation method, pose estimation apparatus, and training method for pose estimation |
-
2021
- 2021-12-30 CN CN202111653731.2A patent/CN114332939B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102252676A (zh) * | 2011-05-06 | 2011-11-23 | 微迈森惯性技术开发(北京)有限公司 | 运动姿态数据获取、人体运动姿态追踪方法及相关设备 |
CN107870570A (zh) * | 2017-12-26 | 2018-04-03 | 电子科技大学 | 基于分数阶幂次趋近律的终端滑模机械臂轨迹跟踪方法 |
CN109410276A (zh) * | 2018-11-01 | 2019-03-01 | 北京达佳互联信息技术有限公司 | 关键点位置确定方法、装置及电子设备 |
CN109948505A (zh) * | 2019-03-14 | 2019-06-28 | 郑州大学 | 一种人体三维姿态匹配算法的优化方法 |
CN111126272A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 姿态获取方法、关键点坐标定位模型的训练方法和装置 |
CN111401230A (zh) * | 2020-03-13 | 2020-07-10 | 深圳市商汤科技有限公司 | 姿态估计方法及装置、电子设备和存储介质 |
CN111589138A (zh) * | 2020-05-06 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 动作预测方法、装置、设备及存储介质 |
CN111610998A (zh) * | 2020-05-26 | 2020-09-01 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、装置及存储介质 |
CN112927260A (zh) * | 2021-02-26 | 2021-06-08 | 商汤集团有限公司 | 一种位姿生成方法、装置、计算机设备和存储介质 |
CN113192161A (zh) * | 2021-04-22 | 2021-07-30 | 清华珠三角研究院 | 一种虚拟人形象视频生成方法、***、装置及存储介质 |
CN113487674A (zh) * | 2021-07-12 | 2021-10-08 | 北京未来天远科技开发有限公司 | 一种人***姿估计***和方法 |
CN113793251A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114332939A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102223296B1 (ko) | 콘볼루셔널 신경 네트워크들에서의 구조 학습 | |
Cho et al. | Improved learning of Gaussian-Bernoulli restricted Boltzmann machines | |
KR100347622B1 (ko) | 최적화조정방법및최적화조정장치 | |
CN106485773B (zh) | 一种用于生成动画数据的方法和装置 | |
CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
Ruiz-Garcia et al. | Deep learning for emotion recognition in faces | |
CN112037179B (zh) | 一种脑疾病诊断模型的生成方法、***及设备 | |
CN112116589B (zh) | 虚拟形象的评测方法、装置、设备及计算机可读存储介质 | |
KR20230004837A (ko) | 생성형 비선형 인간 형상 모형 | |
CN109726662A (zh) | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 | |
CN116807447B (zh) | 动态脑网络的脑龄预测建模方法、认知提升方法及*** | |
CN108960171B (zh) | 一种基于特征迁移学习的转换手势识别到身份识别的方法 | |
CN110728194A (zh) | 基于微表情和动作识别的智能培训方法、装置及存储介质 | |
CN110390259A (zh) | 图数据的识别方法、装置、计算机设备和存储介质 | |
CN114861731B (zh) | 一种可跨场景通用的肌电模式识别方法 | |
CN115439308A (zh) | 训练试衣模型的方法、虚拟试衣方法及相关装置 | |
CN113436224B (zh) | 一种基于显式构图规则建模的智能图像裁剪方法及装置 | |
CN114332939B (zh) | 一种位姿序列生成方法和*** | |
CN113657380A (zh) | 融合多模态注意力机制的图像美学质量评价方法 | |
Nejadgholi et al. | A brain-inspired method of facial expression generation using chaotic feature extracting bidirectional associative memory | |
CN112183315A (zh) | 动作识别模型训练方法和动作识别方法及装置 | |
CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
CN115966194A (zh) | 语音口型同步生成方法、装置、电子设备及存储介质 | |
CN109299777A (zh) | 一种基于人工智能的数据处理方法及其*** | |
Kumar et al. | Estimation of Human Posture Using Convolutional Neural Network Using Web Architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |