CN113012268A - 静态行人图像的运动动态化方法、***、装置及介质 - Google Patents

静态行人图像的运动动态化方法、***、装置及介质 Download PDF

Info

Publication number
CN113012268A
CN113012268A CN202110245019.2A CN202110245019A CN113012268A CN 113012268 A CN113012268 A CN 113012268A CN 202110245019 A CN202110245019 A CN 202110245019A CN 113012268 A CN113012268 A CN 113012268A
Authority
CN
China
Prior art keywords
motion
pair
sequence
similarity
postures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110245019.2A
Other languages
English (en)
Inventor
聂勇伟
赵美花
李桂清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110245019.2A priority Critical patent/CN113012268A/zh
Publication of CN113012268A publication Critical patent/CN113012268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种静态行人图像的运动动态化方法、***、装置及介质,其中方法包括:获取两张行人图像,根据所述行人图像提取一对人体的2D姿态;根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态;根据一对所述3D姿态生成一组3D运动姿态序列;将所述3D运动姿态序列进行2D投影,获得2D运动姿态序列;根据一对所述2D姿态对所述2D运动姿态序列进行优化;根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。本发明通过设计动作相似度对人体姿态进行2D和3D之间的映射,能够避免数据标注的人力和时间耗费,使得人体姿态的生成更加灵活,可广泛应用于图像数据处理领域。

Description

静态行人图像的运动动态化方法、***、装置及介质
技术领域
本发明涉及图像数据处理领域,尤其涉及一种静态行人图像的运动动态化方法、***、装置及介质。
背景技术
从静态行人图像生成行人运动图像序列是指,根据两张行人图像合成一段时间的行人运动图像序列。通常可分为两个子任务,第一个子任务是根据从给定图像中提取出的人体姿态,合成一段时间的人体姿态序列;第二个子任务是根据给定的人体图像与第一个子任务得到的人体姿态序列,合成人体图像序列。
深度学习方法通常通过大量数据进行有监督的学习,但是数据的标注往往极耗费人力和时间,且在实际应用中常常因为实际数据与实验数据特征不一致而不能取得很好的效果。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种静态行人图像的运动动态化方法、***、装置及介质。
本发明所采用的技术方案是:
一种静态行人图像的运动动态化方法,包括以下步骤:
获取两张行人图像,根据所述行人图像提取一对人体的2D姿态;
根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态;
根据一对所述3D姿态生成一组3D运动姿态序列,且所述3D运动姿态序列位于一对所述3D姿态之间;
将所述3D运动姿态序列进行2D投影,获得2D运动姿态序列;
根据一对所述2D姿态对所述2D运动姿态序列进行优化;
根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。
进一步,所述根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态,包括:
从预设的数据库中获取与所述2D姿态的动作相似度最大的预设2D姿态,获取与所述预设2D姿态对应的预设3D姿态;
根据一对所述2D姿态获得一对预设3D姿态,作为一对3D姿态。
进一步,所述动作相似度包括角度相似度、相对位置相似度或者关节点相似度中的至少之一;
所述角度相似度用于衡量两个2D姿态之间肢体弯曲角度的相似程度;其中,肢体弯曲角度包括:左上臂与左下臂之间的角度、右上臂与右下臂之间的角度、左大腿与左小腿之间的角度、右大腿与右小腿之间的角度、左大腿与腰之间的角度、右大腿与腰之间的角度;
所述相对位置相似度用于衡量两个2D姿态之间关键关节点对的相对位置的相似程度;其中,关键关节点对的相对位置包括:左肩与右肩的相对位置、左膝与右膝的相对位置、左脚与右脚的相对位置;
所述关节点相似度用于衡量两个2D姿态之间关节点坐标的相似程度;其中,关节点包括左手、右手、左膝、右膝、左脚和右脚。
进一步,所述角度相似度的计算公式为:
Figure BDA0002963783540000021
其中,Ai与Ai′分别表示两个2D姿态P2D,P2D′中第i个肢体角度;
所述相对位置相似度的计算公式为:
Figure BDA0002963783540000022
其中,Ri与Ri′分别表示两个2D姿态P2D,P2D′中第i对关键关节点的相对位置;
所述关节点相似度的计算公式为:
Figure BDA0002963783540000023
其中,
Figure BDA0002963783540000024
Figure BDA0002963783540000025
分别表示两个2D姿态P2D,P2D′中第i个关键关节点的2D坐标。
进一步,还包括构建数据库的步骤,包括:
获取多个3D人体动作序列,将所述3D人体动作序列中所有预设3D姿态的根关节调整至原点坐标;
采用虚拟相机从多个角度对每一个所述预设3D姿态进行拍摄,获得并保存多个预设2D姿态,形成数据库;
其中,所述虚拟相机位于以原点坐标为圆心的圆上。
进一步,所述根据一对所述2D姿态对所述2D运动姿态序列进行优化,包括:
将一对所述2D姿态和所述2D运动姿态序列输入预设的优化模型;
对所述2D姿态进行特征提取,将提取到的特征输入所述优化模型的双向LSTM网络,生成以所述提取到的特征为首尾的2D姿态特征序列;
利用所述优化模型的线性层将所述2D姿态特征序列映射到姿态空间,获得优化后的2D运动姿态序列。
进一步,所述优化模型包括损失函数,所述损失函数包括:输出的序列首尾两个2D姿态与输入的两个2D姿态之间的均方误差、2D姿态序列的动作相似损失函数、2D姿态序列的连续性损失函数。
本发明所采用的另一技术方案是:
一种静态行人图像的运动动态化***,包括:
2D姿态模块,用于获取两张行人图像,根据所述行人图像提取一对人体的2D姿态;
映射模块,用于根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态;
运动姿态模块,用于根据一对所述3D姿态生成一组3D运动姿态序列,且所述3D运动姿态序列位于一对所述3D姿态之间;
投影模块,用于将所述3D运动姿态序列进行2D投影,获得2D运动姿态序列;
优化模块,用于根据一对所述2D姿态对所述2D运动姿态序列进行优化;
图像转换模块,用于根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。
本发明所采用的另一技术方案是:
一种静态行人图像的运动动态化装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是:
一种存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是:本发明通过设计动作相似度对人体姿态进行2D和3D之间的映射,得到符合运动特征的2D姿态序列,再生成行人运动图像序列,能够避免数据标注的人力和时间耗费,还能够部分解决数据不一致的问题,使得人体姿态的生成更加灵活。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种静态行人图像的运动动态化方法的步骤流程图;
图2是本发明实施例中一种静态行人图像的运动动态化方法的步骤示意图;
图3是本发明实施例中一种基于姿态的从静态行人图像生成行人运动图像序列的方法的流程示意图;
图4是本发明实施例中2D姿态到3D姿态的映射过程示意图;
图5是本发明实施例中3D姿态到2D的投影过程示意图;
图6是本发明实施例中动作相似度指标示意图;
图7是本发明实施例中2D姿态序列再优化模型示意图;
图8是本发明实施例中动作相似损失函数和连续性损失函数示意图;
图9是本发明实施例中第一例从静态行人图像生成行人运动图像序列的效果图;
图10是本发明实施例中第二例从静态行人图像生成行人运动图像序列的效果图;
图11是本发明实施例中第三例从静态行人图像生成行人运动图像序列的效果图;
图12是本发明实施例中第四例从静态行人图像生成行人运动图像序列的效果图;
图13是本发明实施例中第五例从静态行人图像生成行人运动图像序列的效果图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1和图2所示,本实施例提供一种静态行人图像的运动动态化方法,包括以下步骤:
S1、获取两张行人图像,根据行人图像提取一对人体的2D姿态;
S2、根据动作相似度将一对2D姿态映射到3D空间,生成一对3D姿态;
S3、根据一对3D姿态生成一组3D运动姿态序列,且3D运动姿态序列位于一对3D姿态之间;
S4、将3D运动姿态序列进行2D投影,获得2D运动姿态序列;
S5、根据一对2D姿态对2D运动姿态序列进行优化;
S6、根据行人图像和优化后的2D运动姿态序列生成行人运动图像序列。
其中,步骤S2中具体包括以下步骤S21-S24:
S21、从现有3D人体动作数据集获得大量3D人体动作序列,并将所有序列中的所有3D姿态的根关节都统一到3D空间的原点坐标[0,0,0],同时保持3D姿态中其他节点与根关节的相对位置不变。其中,该根关节指的是3D人体骨架的中心点,即腹部。
S22、进行3D到2D空间的投影,具体为:对于一个3D姿态,采用一个虚拟相机,从多个角度对其进行拍摄,投影得到多个不同的2D姿态。虚拟相机摆放在以3D姿态根关节为中心的圆上,该圆与y轴垂直,圆的半径设置为R。在该圆上均匀采样20个点,即每隔18°采样一个点,共得到20个投影角度。每个点放置一次虚拟相机,虚拟相机始终朝向3D姿态进行拍摄。虚拟相机的焦距设置为1。在每个相机位置下,将3D姿态投影到2D,获得20个2D姿态,同时保存每个2D姿态对应的3D姿态与投影角度θ。对所有的3D姿态进行上述投影,获得大量2D姿态,形成2D姿态数据库。
S23、设计一种动作相似度指标,指标由角度相似度、相对位置相似度以及关节点相似度三部分相加后取负得到。动作相似度的值越大,表示两个2D姿态的动作越相似。
角度相似度衡量两个2D姿态之间肢体弯曲角度的相似程度。其中,肢体弯曲角度包括有:左上臂与左下臂之间的角度、右上臂与右下臂之间的角度、左大腿与左小腿之间的角度、右大腿与右小腿之间的角度、左大腿与腰之间的角度、右大腿与腰之间的角度,共6个。两个肢体之间的弯曲角度用表示肢体的向量之间的夹角表示。两个2D姿态P2D,P2D′之间的角度相似度由两个姿态各肢体弯曲角度计算平均绝对误差所得,即
Figure BDA0002963783540000051
Figure BDA0002963783540000061
其中,Ai与Ai′分别表示P2D,P2D′中第i个肢体角度,通过内积公式计算可得。
相对位置相似度计算两个2D姿态之间关键关节点对的相对位置的差异。其中,关键关节点的相对位置包括:左肩与右肩的相对位置、左膝与右膝的相对位置、左脚与右脚的相对位置,共3个。关节点的相对位置用2D坐标系中两个关节点的相对坐标位置表示。两个2D姿态P2D,P2D′之间的相对位置相似度由两个姿态中上述三个关键关节点对的相对位置计算平均绝对误差所得,即
Figure BDA0002963783540000062
其中Ri与Ri′分别表示P2D,P2D′中第i对关键关节点的相对位置。
关节点相似度:关节点包括:左手、右手、左膝、右膝、左脚、右脚,共6个。关节点相似度由两个2D姿态P2D,P2D′之间上述6个关节点坐标的平均绝对误差计算所得,即
Figure BDA0002963783540000063
其中
Figure BDA0002963783540000064
Figure BDA0002963783540000065
分别表示P2D,P2D′中第i个关键关节点的2D坐标。
S24、利用动作相似度,对于行人2D姿态,在步骤S22得到的2D姿态数据库中寻找到动作相似度最大的2D姿态,进而得到其对应的3D姿态。对于每一对行人2D姿态中的单个姿态,都进行上述操作,最终每一对行人2D姿态都找到与之动作相似一对3D姿态,从而实现将行人2D姿态映射到了3D空间。
在步骤S5中,对2D运动姿态序列再优化,具体地,设计2D运动姿态序列再优化模型:模型包括2D运动姿态序列再优化网络和损失函数两部分。该网络以步骤S1中得到的两个2D姿态为输入,输出以它们为首尾的一个完整2D姿态序列。利用步骤S4得到的2D姿态序列对该网络进行监督训练。
所述网络包括利用线性层对输入的两个2D姿态进行特征提取、将提取的特征输入双向LSTM(Long-shortTermMemory)网络生成以它们为首尾的完整2D姿态特征序列、最后利用线性层将2D姿态序列的特征映射到姿态空间,得到2D姿态序列。
损失函数包括三部分:输出的序列首尾两个2D姿态与输入的两个2D姿态之间的均方误差、2D姿态序列的动作相似损失函数、2D姿态序列的连续性损失函数。
动作相似损失函数由网络生成的2D姿态序列
Figure BDA0002963783540000066
与步骤S4所得的2D姿态序列
Figure BDA0002963783540000067
计算。2D姿态序列的动作相似损失函数包括方向损失和相对位置损失。其中“方向”是指人体各肢体在2D坐标系中的单位向量,共14个;“相对位置”是指人体关键关节点在2D坐标系中的相对位置,包括两肩之间的相对位置、两膝之间的相对位置、两脚之间的相对位置,共3个。
两个2D姿态序列
Figure BDA0002963783540000068
之间的方向损失为两个序列每个姿态中的对应肢体的方向计算平均绝对误差,即
Figure BDA0002963783540000071
其中n为2D姿态序列的长度,Dk,i表示序列
Figure BDA0002963783540000072
中第k个姿态中第i个肢体的单位向量,即
Figure BDA0002963783540000073
其中
Figure BDA0002963783540000074
Figure BDA0002963783540000075
表示
Figure BDA0002963783540000076
中第k个姿态中构成第i个肢体两个关节点m,n的2D坐标,同理
Figure BDA0002963783540000077
两个2D姿态序列
Figure BDA0002963783540000078
之间的相对位置误差为两个序列每个姿态中的对应关键关节点的相对位置计算平均绝对误差,即
Figure BDA0002963783540000079
其中n为2D姿态序列的长度,Rk,i表示序列
Figure BDA00029637835400000710
中第k个姿态中第i对关键关节点的相对位置,
Figure BDA00029637835400000711
其中
Figure BDA00029637835400000712
Figure BDA00029637835400000713
表示
Figure BDA00029637835400000714
中第k个姿态的第i对关键关节点包括的两个关节点m,n的2D坐标,同理
Figure BDA00029637835400000715
所述连续性损失函数由生成的2D姿态序列
Figure BDA00029637835400000716
自身计算所得。具体为各2D姿态各关节点的高度(即y坐标)在同一个序列中应保持基本不变,故
Figure BDA00029637835400000717
其中n表示序列长度,Yk,i表示序列中第k个姿态的第i个关节点的y坐标。
以下结合附图及具体实施例对上述方法进行详细解释说明。
如图3所示,一种基于姿态的从静态行人图像生成行人运动图像序列的方法,包括以下步骤:
S100、获取行人静态图像,包括步骤S101-S102。
S101、从Market-1501数据集获得静态行人图像,按照行人ID进行配对,使同一个人的不同动作的静态图像组成一对数据I1,In,分别表示即将合成序列的第1帧图像和最后一帧图像(序列长度为n)。
S102、用方法OpenPose对步骤S101得到的行人图像I1,In进行姿态估计,只保留关键的14个关节点,即去掉左右眼和左右耳,得到行人静态图像对的2D姿态P1,Pn
S200、进行2D行人姿态到3D空间的映射,如图4所示,包括步骤S201-S204:
S201、从3D人体动作数据集获得3D动作姿态序列,得到大量3D姿态的3D全局坐标P3D
S202、将步骤S201的3D姿态P3D投影到2D得到P2D。具体为:将所有3D姿态的根节点统一到3D空间的原点[0,0,0],同时移动其他关节点,使其他关节点与根节点的相对位置保持不变。
进行3D到2D的投影,如图5所示。具体为:对于一个3D姿态,采用一个虚拟相机,从多个角度对其进行拍摄,投影得到多个不同的2D姿态。虚拟相机摆放在以3D姿态根关节为中心的圆上,该圆与y轴垂直,圆的半径设置为R。在该圆上均匀采样20个点,即每隔18°采样一个点,共得到20个投影角度。每个点放置一次虚拟相机,虚拟相机始终朝向3D姿态进行拍摄。虚拟相机的焦距设置为1。在每个相机位置下,将3D姿态投影到2D,获得20个2D姿态,同时保存每个2D姿态对应的3D姿态与投影角度θ。对所有的3D姿态进行上述投影,获得大量2D姿态,形成2D姿态数据库。图5中,虚线表示相机绕3D姿态旋转的轨迹,实线表示相机与3D姿态根关节之间的距离,也即虚线构成的圆的半径,为R。
S203、利用动作相似度,在步骤S202得到的2D姿态数据库中寻找与步骤S102中行人动作P1,Pn相似的姿态,动作相似度由角度相似度、相对位置相似度以及关节点相似度三部分构成,如图6所示,第一个图以双箭头虚线表示计算角度相似所用的肢体角度,共6个,第二个图以双箭头虚线表示计算相对位置所用的关节点对,共3对第三个图以空心圆点表示关键关节点,共6个。即Similarity(P,P2D)=-(SimAngle(P,P2D)+SimRelative(P,P2D)+SimPosition(P,P2D))。Similarity(P,P2D)越大表示P与P2D动作越相似,从而得到与P1,Pn相似的2D姿态
Figure BDA0002963783540000081
图6中,从左到右分别表示,关键肢体的角度、关键关节点的相对位置(以双箭头虚线表示)以及关键关节点(图中用空心点表示)的位置。
角度相似度衡量两个2D姿态之间肢体弯曲角度的相似程度。两个肢体之间的弯曲角度用表示肢体的向量之间的夹角表示。两个2D姿态P2D,P2D′之间的角度相似度由两个姿态各肢体弯曲角度计算平均绝对误差所得,即
Figure BDA0002963783540000082
其中,Ai与Ai′分别表示P2D,P2D′中第i个肢体角度,通过内积公式计算可得。
相对位置相似度计算两个2D姿态之间关键关节点对的相对位置的差异。关节点的相对位置用2D坐标系中两个关节点的相对坐标位置表示。两个2D姿态P2D,P2D′之间的相对位置相似度由两个姿态中上述三个关键关节点对的相对位置计算平均绝对误差所得,即
Figure BDA0002963783540000083
其中Ri与Ri′分别表示P2D,P2D′中第i对关键关节点的相对位置,
Figure BDA0002963783540000084
其中
Figure BDA0002963783540000085
Figure BDA0002963783540000086
表示P2D中第i对关键关节点包括的两个关节点m,n的2D坐标,同理,
Figure BDA0002963783540000087
关节点相似度由两个2D姿态P2D,P2D′之间上述6个关节点坐标的平均绝对误差计算所得,即
Figure BDA0002963783540000088
其中
Figure BDA0002963783540000089
Figure BDA00029637835400000810
分别表示P2D,P2D′中第i个关键关节点的2D坐标。
S204、由3D姿态P3D与2D姿态P2D之间的对应关系,进一步找到与P1,Pn相似的对应的3D姿态
Figure BDA0002963783540000091
以及3D姿态投影到2D姿态的角度θ1和θn
S300、由两个3D姿态
Figure BDA0002963783540000092
生成3D姿态序列
Figure BDA0002963783540000093
包括步骤S301-S302:
S301、现有3D序列生成模型的输入是3D空间的一条曲线,生成沿这条曲线运动的3D姿态序列。在此现有模型的基础上,规划输入的曲线,使曲线两端的切线方向分别与
Figure BDA0002963783540000094
的姿态方向一致,同时输入序列首尾的姿态
Figure BDA0002963783540000095
得到首尾两帧与输入的
Figure BDA0002963783540000096
一致的3D姿态序列
Figure BDA0002963783540000097
S302、再将3D姿态序列投影到2D,得到
Figure BDA0002963783540000098
其中投影得到
Figure BDA0002963783540000099
Figure BDA00029637835400000910
时,采用的投影角度是步骤S204中得到的θ1和θn。中间姿态投影时采用的角度是θ1和θn插值而来。即对θ1和θn进行周期为0到360度的线性插值,得到整个序列的相机旋转角度θ12,…,θn,再分别按照每个姿态的旋转角度和步骤S202中的其他固定参数,将序列中每帧3D姿态投影到2D,得到2D姿态序列
Figure BDA00029637835400000911
S400、进行2D姿态序列再优化。包括步骤S401-S402:
S401、搭建2D姿态序列再优化模型。如图7所示,模型由线性层和双向LSTM构成,给定的两帧2D姿态通过线性模块后,将其特征输入到双向LSTM网络得到一个特征序列,最后再通过线性模块得到2D姿态序列。每个线性模块由两个线性层和一个ReLU层构成。
S402、训练2D姿态序列再优化模型。模型的输入为给定的两帧2D姿态P1,Pn,输出为优化后的2D姿态序列
Figure BDA00029637835400000912
用(S32)得到的2D姿态序列
Figure BDA00029637835400000913
进行监督。其损失函数
Figure BDA00029637835400000914
Figure BDA00029637835400000915
其中,
Figure BDA00029637835400000916
即(S32)得到的序列
Figure BDA00029637835400000917
为再优化模型输出的2D姿态序列
Figure BDA00029637835400000918
损失函数由输出序列的首尾两帧姿态的均方误差、肢体方向损失、相对位置损失以及连续性损失四部分组成,如图8所示,第一张图以单箭头虚线表示用来计算方向的肢体,共14个,第二张图以双箭头虚线表示用来计算相对位置的关节点对,共3对,第三张图以空心圆点表示用来计算连续性的关节点,共14个。图8中,从左到右分别表示,以单位向量表示的各肢体方向、关键关节点的相对位置以及所有关节点的y坐标(即高度)。
首尾两帧的均方误差为
Figure BDA00029637835400000919
Figure BDA00029637835400000920
其中L1,i表示姿态P1中第i个关节点的坐标,Ln,i表示姿态Pn中第i个关节点的坐标,L1,i′表示姿态
Figure BDA0002963783540000101
中第i个关节点的坐标,Ln,i′表示姿态
Figure BDA0002963783540000102
中第i个关节点的坐标。
肢体方向损失
Figure BDA0002963783540000103
其中n为2D姿态序列的长度,Dk,i表示序列
Figure BDA0002963783540000104
中第k个姿态中第i个肢体的单位向量,
Figure BDA0002963783540000105
其中
Figure BDA0002963783540000106
Figure BDA0002963783540000107
表示
Figure BDA0002963783540000108
中第k个姿态中构成第i个肢体两个关节点m,n的2D坐标,同理
Figure BDA0002963783540000109
相对位置损失
Figure BDA00029637835400001010
其中n为2D姿态序列的长度,Rk,i表示序列
Figure BDA00029637835400001011
中第k个姿态中第i对关键关节点的相对位置,
Figure BDA00029637835400001012
其中
Figure BDA00029637835400001013
Figure BDA00029637835400001014
表示
Figure BDA00029637835400001015
中第k个姿态的第i对关键关节点包括的两个关节点m,n的2D坐标,同理
Figure BDA00029637835400001016
连续性损失
Figure BDA00029637835400001017
其中n表示序列长度,Yk,i′表示序列中第k个姿态的第i个关节点的y坐标。
训练过程的批数据大小为64,学习率为5e-5,共训练5500个epoch。
2D姿态序列再优化模型训练完成后,输入首尾两帧2D行人静态姿态,可以得到行人的2D姿态序列。
S500、生成行人图像序列。
现有图像姿态转换模型PATN能够输入一张图像和一个2D姿态,生成图像中的人在此2D姿态下的图像。故训练一个PATN模型,输入一张行人静态图像以及一个2D姿态,输出此行人在此2D姿态下的静态图像。训练完成后保存权重文件。后续即可通过一张行人静态图像和一个2D姿态序列,得到行人图像序列。
图9-图13展示了本实施例从静态行人图像生成行人运动图像序列的效果图。图9-图13中共5个例子,每例中第一行为两帧行人静态图像,第二行为用姿态估计方法估计出的2D姿态,第三行为通过2D姿态序列再优化模型得到的2D姿态序列,第四行为生成的行人图像序列。
由上可知,本实施例方法通过2D姿态与3D姿态之间的映射,使2D姿态序列符合运动特征。进一步通过2D姿态再优化模型,使2D姿态序列符合输入的两帧2D姿态的骨骼长度等特征,克服大规模数据难获取和标注,以及即使标注后但模型泛化性能较弱导致无法应用于实际任务的问题。
本实施例还提供一种静态行人图像的运动动态化***,包括:
2D姿态模块,用于获取两张行人图像,根据所述行人图像提取一对人体的2D姿态;
映射模块,用于根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态;
运动姿态模块,用于根据一对所述3D姿态生成一组3D运动姿态序列,且所述3D运动姿态序列位于一对所述3D姿态之间;
投影模块,用于将所述3D运动姿态序列进行2D投影,获得2D运动姿态序列;
优化模块,用于根据一对所述2D姿态对所述2D运动姿态序列进行优化;
图像转换模块,用于根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。
本实施例的一种静态行人图像的运动动态化***,可执行本发明方法实施例所提供的一种静态行人图像的运动动态化方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本实施例还提供一种静态行人图像的运动动态化装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本实施例的一种静态行人图像的运动动态化装置,可执行本发明方法实施例所提供的一种静态行人图像的运动动态化方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质,存储有可执行本发明方法实施例所提供的一种静态行人图像的运动动态化方法的指令或程序,当运行该指令或程序时,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种静态行人图像的运动动态化方法,其特征在于,包括以下步骤:
获取两张行人图像,根据所述行人图像提取一对人体的2D姿态;
根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态;
根据一对所述3D姿态生成一组3D运动姿态序列,且所述3D运动姿态序列位于一对所述3D姿态之间;
将所述3D运动姿态序列进行2D投影,获得2D运动姿态序列;
根据一对所述2D姿态对所述2D运动姿态序列进行优化;
根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。
2.根据权利要求1所述的一种静态行人图像的运动动态化方法,其特征在于,所述根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态,包括:
从预设的数据库中获取与所述2D姿态的动作相似度最大的预设2D姿态,获取与所述预设2D姿态对应的预设3D姿态;
根据一对所述2D姿态获得一对预设3D姿态,作为一对3D姿态。
3.根据权利要求2所述的一种静态行人图像的运动动态化方法,其特征在于,所述动作相似度包括角度相似度、相对位置相似度或者关节点相似度中的至少之一;
所述角度相似度用于衡量两个2D姿态之间肢体弯曲角度的相似程度;其中,肢体弯曲角度包括:左上臂与左下臂之间的角度、右上臂与右下臂之间的角度、左大腿与左小腿之间的角度、右大腿与右小腿之间的角度、左大腿与腰之间的角度、右大腿与腰之间的角度;
所述相对位置相似度用于衡量两个2D姿态之间关键关节点对的相对位置的相似程度;其中,关键关节点对的相对位置包括:左肩与右肩的相对位置、左膝与右膝的相对位置、左脚与右脚的相对位置;
所述关节点相似度用于衡量两个2D姿态之间关节点坐标的相似程度;其中,关节点包括左手、右手、左膝、右膝、左脚和右脚。
4.根据权利要求3所述的一种静态行人图像的运动动态化方法,其特征在于,所述角度相似度的计算公式为:
Figure FDA0002963783530000011
其中,Ai与Ai′分别表示两个2D姿态P2D,P2D′中第i个肢体角度;
所述相对位置相似度的计算公式为:
Figure FDA0002963783530000021
其中,Ri与Ri′分别表示两个2D姿态P2D,P2D′中第i对关键关节点的相对位置;
所述关节点相似度的计算公式为:
Figure FDA0002963783530000022
其中,
Figure FDA0002963783530000023
Figure FDA0002963783530000024
分别表示两个2D姿态P2D,P2D′中第i个关键关节点的2D坐标。
5.根据权利要求2所述的一种静态行人图像的运动动态化方法,其特征在于,还包括构建数据库的步骤,包括:
获取多个3D人体动作序列,将所述3D人体动作序列中所有预设3D姿态的根关节调整至原点坐标;
采用虚拟相机从多个角度对每一个所述预设3D姿态进行拍摄,获得并保存多个预设2D姿态,形成数据库;
其中,所述虚拟相机位于以原点坐标为圆心的圆上。
6.根据权利要求1所述的一种静态行人图像的运动动态化方法,其特征在于,所述根据一对所述2D姿态对所述2D运动姿态序列进行优化,包括:
将一对所述2D姿态和所述2D运动姿态序列输入预设的优化模型;
对所述2D姿态进行特征提取,将提取到的特征输入所述优化模型的双向LSTM网络,生成以所述提取到的特征为首尾的2D姿态特征序列;
利用所述优化模型的线性层将所述2D姿态特征序列映射到姿态空间,获得优化后的2D运动姿态序列。
7.根据权利要求6所述的一种静态行人图像的运动动态化方法,其特征在于,所述优化模型包括损失函数,所述损失函数包括:输出的序列首尾两个2D姿态与输入的两个2D姿态之间的均方误差、2D姿态序列的动作相似损失函数、2D姿态序列的连续性损失函数。
8.一种静态行人图像的运动动态化***,其特征在于,包括:
2D姿态模块,用于获取两张行人图像,根据所述行人图像提取一对人体的2D姿态;
映射模块,用于根据动作相似度将一对所述2D姿态映射到3D空间,生成一对3D姿态;运动姿态模块,用于根据一对所述3D姿态生成一组3D运动姿态序列,且所述3D运动姿态序列位于一对所述3D姿态之间;
投影模块,用于将所述3D运动姿态序列进行2D投影,获得2D运动姿态序列;
优化模块,用于根据一对所述2D姿态对所述2D运动姿态序列进行优化;
图像转换模块,用于根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。
9.一种静态行人图像的运动动态化装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
CN202110245019.2A 2021-03-05 2021-03-05 静态行人图像的运动动态化方法、***、装置及介质 Pending CN113012268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245019.2A CN113012268A (zh) 2021-03-05 2021-03-05 静态行人图像的运动动态化方法、***、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245019.2A CN113012268A (zh) 2021-03-05 2021-03-05 静态行人图像的运动动态化方法、***、装置及介质

Publications (1)

Publication Number Publication Date
CN113012268A true CN113012268A (zh) 2021-06-22

Family

ID=76406737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245019.2A Pending CN113012268A (zh) 2021-03-05 2021-03-05 静态行人图像的运动动态化方法、***、装置及介质

Country Status (1)

Country Link
CN (1) CN113012268A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693557A (zh) * 2022-03-31 2022-07-01 华南理工大学 基于姿态引导的行人视频修复方法、***、设备和介质
CN116033139A (zh) * 2022-12-16 2023-04-28 江苏奥格视特信息科技有限公司 一种数字虚拟人裸眼3d显示方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140292769A1 (en) * 2011-11-29 2014-10-02 Nokia Corporation Method, Apparatus and Computer Program Product for Generating Animated Images
CN111462328A (zh) * 2020-03-23 2020-07-28 华南理工大学 一种基于渐进插值细分曲面的多个三维网格模型插值方法
CN112183316A (zh) * 2020-09-27 2021-01-05 中山大学 一种运动员人体姿态测量方法
CN112258555A (zh) * 2020-10-15 2021-01-22 佛山科学技术学院 实时姿态估计运动分析方法、***、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140292769A1 (en) * 2011-11-29 2014-10-02 Nokia Corporation Method, Apparatus and Computer Program Product for Generating Animated Images
CN111462328A (zh) * 2020-03-23 2020-07-28 华南理工大学 一种基于渐进插值细分曲面的多个三维网格模型插值方法
CN112183316A (zh) * 2020-09-27 2021-01-05 中山大学 一种运动员人体姿态测量方法
CN112258555A (zh) * 2020-10-15 2021-01-22 佛山科学技术学院 实时姿态估计运动分析方法、***、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUAYUN HE等: "Data-driven 3D Human Head Reconstruction", 《COMPUTERS & GRAPHICS》, 31 December 2019 (2019-12-31), pages 1 - 19 *
陈芙蓉;唐棣;王露晨;王玉龙;韩丽;: "基于动态路径优化的人体姿态识别", 计算机工程与设计, no. 10, 31 October 2016 (2016-10-31), pages 2759 - 2763 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693557A (zh) * 2022-03-31 2022-07-01 华南理工大学 基于姿态引导的行人视频修复方法、***、设备和介质
CN114693557B (zh) * 2022-03-31 2024-05-28 华南理工大学 基于姿态引导的行人视频修复方法、***、设备和介质
CN116033139A (zh) * 2022-12-16 2023-04-28 江苏奥格视特信息科技有限公司 一种数字虚拟人裸眼3d显示方法及***
CN116033139B (zh) * 2022-12-16 2023-12-12 江苏奥格视特信息科技有限公司 一种数字虚拟人裸眼3d显示方法及***

Similar Documents

Publication Publication Date Title
CN111402290B (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN108876815B (zh) 骨骼姿态计算方法、人物虚拟模型驱动方法及存储介质
CN110827383B (zh) 三维模型的姿态模拟方法、装置、存储介质和电子设备
JP2021103564A (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
CN113967911B (zh) 基于末端工作空间的仿人机械臂的跟随控制方法及***
CN113012268A (zh) 静态行人图像的运动动态化方法、***、装置及介质
WO2023185703A1 (zh) 虚拟角色的动作控制方法、装置、设备和存储介质
CN114571452A (zh) 工业机器人轨迹规划方法、电子设备及可读存储介质
CN111899317A (zh) 一种基于神经网络的运动数据重定向方法
CN115330979A (zh) 表情迁移的方法、装置、电子设备及存储介质
Zeng et al. PE-DLS: A novel method for performing real-time full-body motion reconstruction in VR based on Vive trackers
CN110415322A (zh) 虚拟对象模型的动作指令的生成方法和装置
CN109531578B (zh) 仿人机械手臂体感控制方法及装置
CN111310641A (zh) 一种基于球面非线性插值的运动合成方法
US20230104702A1 (en) Transformer-based shape models
JP6315542B2 (ja) 画像生成装置及び画像生成方法
CN112381952A (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
CN110059660A (zh) 移动端平台3d人脸注册方法及装置
Li et al. Pose synthesis using the inverse of jacobian matrix learned from examples
CN113103239B (zh) 一种机器人姿态轨迹生成方法、装置及存储介质
Aristidou Tracking and modelling motion for biomechanical analysis
CN117523206B (zh) 一种基于跨源点云与多模态信息的自动化装配方法
CN116206026B (zh) 轨迹信息处理方法、装置、计算机设备和可读存储介质
JP5991730B2 (ja) 計測装置、計測方法及びプログラム
Zhang et al. Unified Cross-Structural Motion Retargeting for Humanoid Characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination