CN116935492A - 一种基于图关系交互学习的人体动作预测方法及装置 - Google Patents

一种基于图关系交互学习的人体动作预测方法及装置 Download PDF

Info

Publication number
CN116935492A
CN116935492A CN202310987468.3A CN202310987468A CN116935492A CN 116935492 A CN116935492 A CN 116935492A CN 202310987468 A CN202310987468 A CN 202310987468A CN 116935492 A CN116935492 A CN 116935492A
Authority
CN
China
Prior art keywords
interaction
graph
branch
joint
interactive learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310987468.3A
Other languages
English (en)
Inventor
唐进
顾宝轩
尹建芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310987468.3A priority Critical patent/CN116935492A/zh
Publication of CN116935492A publication Critical patent/CN116935492A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；获取待预测数据，将待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。本发明实现了更精确的人体动作预测。

Description

一种基于图关系交互学习的人体动作预测方法及装置
技术领域
本发明属于图像处理领域。
背景技术
人体运动预测(HMP)研究旨在赋予机器预测能力，使它们能够在与人类互动时提前调整自己的行为。因此，它在人机交互、自动驾驶和虚拟现实等各个领域都发挥着至关重要的作用。
人体运动预测是机器人领域和计算机视觉领域的热门经典话题，是基于过去的视频画面输入信息或人体关节点姿态序列，生成人物虚拟姿态序列或预测未来一段时间内的动作姿态序列。该任务输入输出的人体姿态序列的表征方式多种多样，例如2D图像姿态、3D空间坐标点以及点云等等。
基于GCN的身体关节关系建模方法最近在HMP中显示出巨大的前景。人体姿态序列本质上是时间序列，但每一帧姿态还包含个体关节的空间位置信息。从可用的姿态序列中提取有效且有用的结构和运动信息已成为研究人员的重点，因为它对于预测的成功至关重要。
为了处理这两种关系，许多工作采用双支路结构来分别处理空间和时间信息。这些支路通常被称为空间支路和时间支路，它们使用维度转置等操作分别处理空间和时间特征，然后在网络的末端直接融合这两组特征。然而，由于双支路特征的不匹配，这种方法通常会导致最终融合结果不理想。此外，空间和时间特征的解耦策略可能无法充分发挥其潜力。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于图关系交互学习的人体动作预测方法，用于实现了更精确的人体动作预测。
为达上述目的，本发明第一方面实施例提出了一种基于图关系交互学习的人体动作预测方法，包括：
获取训练数据集，所述训练数据集包括人体动作序列；
构建图关系交互学习网络，其中，所述图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
通过所述训练数据集对所述图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
获取待预测数据，将所述待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
另外，根据本发明上述实施例的一种基于图关系交互学习的人体动作预测方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述双支路对称残差图卷积网络GCN，包括：
n个堆叠图卷积块GCB，其中，所述GCB公式为：
Hl+1＝σ(AlHlWl)
其中，所述GCB公式表示输入为的第l个GCB的输出，Al为邻接矩阵，Wl为权重矩阵，σ(·)是激活函数。
进一步地，在本发明的一个实施例中，所述双支路对称残差图卷积网络GCN结构的第一支路和第二支路分别用于处理原始位姿序列和速度序列；
其中，所述双支路对称残差图卷积网络GCN结构的第一支路采用人体动作序列作为输入，Pt表示第t帧中的原始关节位置；
其中，所述双支路对称残差图卷积网络GCN结构的第二支路采用所述人体动作序列的关节速度表示作为输入，其中中第t帧的速度信息Vt表示为：
Vt＝Pt+1-Pt，
其中，Pt表示第t帧中的原始关节位置，Pt+1表示第t+1帧关节位置。
进一步地，在本发明的一个实施例中，还包括：
通过线性层将人体动作序列的关节位置和所述人体动作序列的关节速度/>映射到相同的隐藏维度RB×K×H，其中B是批量大分别对位置-速度特征进行建模小；
通过所述第一支路和所述第二支路分别对所述关节位置和所述关节速度进行特征建模，在所述第二支路中引入位置表征，将所述关节速度的特征恢复到位置空间；
通过连接模块将所述关节位置的特征和所述关节速度的特征进行拼接，拼接后的特征的大小为RB×K×2H，将RB×K×2H通过线性层映射到需要的输出维度
进一步地，在本发明的一个实施例中，所述参数流包括层内交互模块和跨层交互模块；
其中所述层内交互模块表示为，
Interaction-P-AM＝(1-α)·P-AM+α·V-AM，
Interaction-V-AM＝(1-β)·V-AM+β·P-AM，
Interaction-P-AM和Interaction-V-AM是交互的邻接矩阵，α和β是交互用于控制参数交互程度的权重，P-AM表示来自第一支路的邻接矩阵组，V-AM来自第二支路的邻接矩阵组；
所述跨层交互模块表示为，
Interaction-P-AM′＝(1-α′)·Interaction-P-AM+α′·Interaction-V-AM
Interaction-V-AM′＝(1-β′)·Interaction-V-AM+β′·Interaction-P-AM
Interaction-P-AM′和Interaction-V-AM′是交互邻接矩阵，α′和β′是一组新的交互权重。
进一步地，在本发明的一个实施例中，所述平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数，表示为：
其中，平均每关节位置误差损失表示为，
其中，Tout是预测姿态序列中的帧数，N是训练中使用的关节数，pij表示第j个关节的3D坐标第i帧的真值，表示预测坐标，||·||2表示l2范数；
其中，vij是第i帧的真值序列中第j个关节的速度信息。
为达上述目的，本发明第二方面实施例提出了一种基于图关系交互学习的人体动作预测装置，包括以下模块：
获取模块，用于获取训练数据集，所述训练数据集包括人体动作序列；
构建模块，用于构建图关系交互学习网络，其中，所述图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
训练模块，用于通过所述训练数据集对所述图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
预测模块，用于获取待预测数据，将所述待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种基于图关系交互学习的人体动作预测方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种基于图关系交互学习的人体动作预测方法。
本发明实施例提出的基于图关系交互学习的人体动作预测方法的优点如下：
使用邻接矩阵交互来紧密耦合双支路GCN的关节位置和速度相关性，以学习更具表现力的嵌入特征；
针对HMP提出了图关系交互学习网络，可以有效地整合两个一致性特征来学习复杂的关系。通过利用两条支路之间的交互学习，我们获得了更加协调和准确的预测结果。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于图关系交互学习的人体动作预测方法的流程示意图。
图2为本发明实施例所提供的一种图关系交互学习网络架构示意图。
图3为本发明实施例所提供的一种SRG架构示意图。
图4为本发明实施例所提供的一种基于图关系交互学习的人体动作预测装置的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于图关系交互学习的人体动作预测方法。
图1为本发明实施例所提供的一种基于图关系交互学习的人体动作预测方法的流程示意图。
如图1所示，该基于图关系交互学习的人体动作预测方法包括以下步骤：
S101：获取训练数据集，训练数据集包括人体动作序列；
S102：构建图关系交互学习网络，其中，图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
S103：通过训练数据集对图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
S104：获取待预测数据，将待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
给定观察到的人体姿态序列其中Pi是第i帧序列中人体姿态数据的个数，并且给定预测人体姿态序列作为真值序列。预测网络将观察序列的Tin帧作为输入，将预测序列的Tout帧作为输出。网络输出的预测结果表示为
图2展示了图关系交互学习网络架构图，图2的a部分描述了整体框架，其中双支路GCN分别处理原始位姿序列和速度序列。模块之间的连接有两种类型：数据流和参数流。数据流表示训练数据的方向，参数流表示模块间参数的交互操作。同时，参数流包括两种类型的交互：层内交互模块和跨层交互模块。在图2的b部分所示的层内交互模块中，对于双路对称残差GCN(SRG)，SRGO的每个图卷积块(GCB)，使用α和β的权重融合和交换邻接矩阵，这种交互学习发生在不同迭代之间。在图2的c部分所示的跨层交互模块中，利用α′和β′的权重对SRGO的参数进行第二次融合，然后冻结参数作为邻接矩阵SRG1的参数。此参数交互发生在同一迭代内但不同SRG之间。每个GCB和SRG模块具有相同的结构。
进一步地，在本发明的一个实施例中，双支路对称残差图卷积网络GCN，包括：
n个堆叠图卷积块GCB，其中，GCB公式为：
Hl+1＝σ(AlHlWl)，
其中，GCB公式表示输入为的第l个GCB的输出，Al为邻接矩阵，Wl为权重矩阵，σ(·)是激活函数。
为了增加GCN网络的深度，本发明采用对称残差连接GCN(SRG)，如图3所示。在SRG中，不同尺度的SRG中的密集残差连接允许保留和重用GCB浅层中人体关节之间的明确关系。在本发明的方法中，每个SRG模块包含n个GCB，其中n是GCB层的数量，并且是奇数。因此，剩余连接数为以SRG作为本发明的基本特征提取器，根据输入的不同，可以分为位置SRG(P-SRG)和速度SRG(V-SRG)。
进一步地，在本发明的一个实施例中，双支路对称残差图卷积网络GCN结构的第一支路和第二支路分别用于处理原始位姿序列和速度序列；
其中，双支路对称残差图卷积网络GCN结构的第一支路采用人体动作序列作为输入，Pt表示第t帧中的原始关节位置；
其中，双支路对称残差图卷积网络GCN结构的第二支路采用人体动作序列的关节速度表示作为输入，其中中第t帧的速度信息Vt表示为：
Vt＝Pt+1-Pt，
其中，Pt表示第t帧中的原始关节位置，Pt+1表示第t+1帧关节位置。
这样做是为了从位置和速度的角度对人体姿态序列的特征进行编码。通过使用速度信息作为V-SRG模块的输入，可以过滤掉绝对关节位置对时间特征的影响。此外，这种输入选择允许V-SRG模块以与P-SRG模块相同的方式对关节投掷邻接矩阵之间的关系进行建模，以便在P-SRG和V-SRG之间进行参数交互。
进一步地，在本发明的一个实施例中，还包括：
通过线性层将人体动作序列的关节位置和人体动作序列的关节速度/>映射到相同的隐藏维度RB×K×H，其中B是批量大分别对位置-速度特征进行建模；
通过第一支路和第二支路分别对关节位置和关节速度进行特征建模，在第二支路中引入位置表征，将关节速度的特征恢复到位置空间；
通过连接模块将关节位置的特征和关节速度的特征进行拼接，拼接后的特征的大小为RB×K×2H，将RB×K×2H通过线性层映射到需要的输出维度
为了利用位置-速度相关性来增强HMP，本发明提出了一种参数交互学习方法，学习两条支路的GCN邻接矩阵，充分利用物理连接和运动幅度之间的邻接关系，有效地整合复杂运动关系的位置和速度相关性。为了实现这个目标，本发明分别设计了层内交互模块和跨层交互模块。
进一步地，在本发明的一个实施例中，参数流包括层内交互模块和跨层交互模块；
其中层内交互模块表示为，
Interaction-P-AM＝(1-a)·P-AM+α·V-AM，
Interaction-V-AM＝(1-β)·V-AM+β·P-AM，
Interaction-P-AM和Interaction-V-AM是交互的邻接矩阵，α和β是交互用于控制参数交互程度的权重，P-AM表示来自第一支路的邻接矩阵组，V-AM来自第二支路的邻接矩阵组；
跨层交互模块表示为，
Interaction-P-AM′＝(1-α′)·Interaction-P-AM+α′·Interaction-V-AM
Interaction-V-AM′＝(1-β′)·Interaction-V-AM+β′·Interaction-P-AM，
Interaction-P-AM′和Interaction-V-AM′是交互邻接矩阵，α′和β′是一组新的交互权重。
上述新的交互权重目的是让模型进一步理解和利用交互邻接矩阵，让高效全面的交互邻接矩阵成为V-SRG1和P-SRG1建模人体姿态序列特征的“向导”。为了减少计算和时间成本，在跨层交互模块中，交互邻接矩阵被冻结，P-SRG1和V-SRG1在训练过程中只更新它们的权重矩阵而不改变邻接矩阵参数。
进一步地，在本发明的一个实施例中，平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数，表示为：
其中，平均每关节位置误差损失表示为，
其中，Tout是预测姿态序列中的帧数，N是训练中使用的关节数，pij表示第j个关节的3D坐标第i帧的真值，表示预测坐标，||·||2表示l2范数；
其中，vij是第i帧的真值序列中第j个关节的速度信息。
本发明实施例提出的基于图关系交互学习的人体动作预测方法的优点如下：
使用邻接矩阵交互来紧密耦合双支路GCN的关节位置和速度相关性，以学习更具表现力的嵌入特征；
针对HMP提出了图关系交互学习网络，可以有效地整合两个一致性特征来学习复杂的关系。通过利用两条支路之间的交互学习，我们获得了更加协调和准确的预测结果。
为了实现上述实施例，本发明还提出基于图关系交互学习的人体动作预测装置。
图4为本发明实施例提供的一种基于图关系交互学习的人体动作预测装置的结构示意图。
如图4所示，该基于图关系交互学习的人体动作预测装置包括：获取模块100，构建模块200，训练模块300，预测模块400，其中，
获取模块，用于获取训练数据集，训练数据集包括人体动作序列；
构建模块，用于构建图关系交互学习网络，其中，图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
训练模块，用于通过训练数据集对图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
预测模块，用于获取待预测数据，将待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于图关系交互学习的人体动作预测方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于图关系交互学习的人体动作预测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于图关系交互学习的人体动作预测方法，其特征在于，包括以下步骤：
获取训练数据集，所述训练数据集包括人体动作序列；
构建图关系交互学习网络，其中，所述图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
通过所述训练数据集对所述图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
获取待预测数据，将所述待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
2.根据权利要求1所述的方法，其特征在于，所述双支路对称残差图卷积网络GCN，包括：
n个堆叠图卷积块GCB，其中，所述GCB公式为：
Hl+1＝σ(AlHlWl)，
其中，所述GCB公式表示输入为的第l个GCB的输出，Al为邻接矩阵，Wl为权重矩阵,σ(·)是激活函数。
3.根据权利要求1所述的方法，其特征在于，所述双支路对称残差图卷积网络GCN结构的第一支路和第二支路分别用于处理原始位姿序列和速度序列；
其中，所述双支路对称残差图卷积网络GCN结构的第一支路采用人体动作序列作为输入，Pt表示第t帧中的原始关节位置；
其中，所述双支路对称残差图卷积网络GCN结构的第二支路采用所述人体动作序列的关节速度表示作为输入，其中中第t帧的速度信息Vt表示为：
Vt＝Pt+1-Pt，
其中，Pt表示第t帧中的原始关节位置，Pt+1表示第t+1帧关节位置。
4.根据权利要求3所述的方法，其特征在于，还包括：
通过线性层将人体动作序列的关节位置和所述人体动作序列的关节速度/>映射到相同的隐藏维度RB×K×H，其中B是批量大分别对位置-速度特征进行建模小；
通过所述第一支路和所述第二支路分别对所述关节位置和所述关节速度进行特征建模，在所述第二支路中引入位置表征，将所述关节速度的特征恢复到位置空间；
通过连接模块将所述关节位置的特征和所述关节速度的特征进行拼接，拼接后的特征的大小为RB×K×2H，将RB×K×2H通过线性层映射到需要的输出维度
5.根据权利要求1所述的方法，其特征在于，所述参数流包括层内交互模块和跨层交互模块；
其中所述层内交互模块表示为，
Interaction-P-AM＝(1-α)·P-AM+α·V-AM，
Interaction-V-AM＝(1-β)·V-AM+β·P-AM，
Interaction-P-AM和Interaction-V-AM是交互的邻接矩阵，α和β是交互用于控制参数交互程度的权重，P-AM表示来自第一支路的邻接矩阵组，V-AM来自第二支路的邻接矩阵组；
所述跨层交互模块表示为，
Interaction-P-AM′＝(1-α′)·Interaction-P-AM+α′·Interaction-V-AM
Interaction-V-AM′＝(1-β′)·Interaction-V-AM+β′·Interaction-P-AM，
Interaction-P-AM′和Interaction-V-AM′是交互邻接矩阵，α′和β′是一组新的交互权重。
6.根据权利要求1所述的方法，其特征在于，所述平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数，表示为：
其中，平均每关节位置误差损失表示为，
其中，Tout是预测姿态序列中的帧数，N是训练中使用的关节数，pij表示第j个关节的3D坐标第i帧的真值，表示预测坐标，||·||2表示l2范数；
其中，υij是第i帧的真值序列中第j个关节的速度信息。
7.一种基于图关系交互学习的人体动作预测装置，其特征在于，包括以下模块：
获取模块，用于获取训练数据集，所述训练数据集包括人体动作序列；
构建模块，用于构建图关系交互学习网络，其中，所述图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
训练模块，用于通过所述训练数据集对所述图关系交互学***均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
预测模块，用于获取待预测数据，将所述待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一所述的基于图关系交互学习的人体动作预测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的基于图关系交互学习的人体动作预测方法。
CN202310987468.3A 2023-08-07 2023-08-07 一种基于图关系交互学习的人体动作预测方法及装置 Pending CN116935492A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310987468.3A CN116935492A (zh) 2023-08-07 2023-08-07 一种基于图关系交互学习的人体动作预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310987468.3A CN116935492A (zh) 2023-08-07 2023-08-07 一种基于图关系交互学习的人体动作预测方法及装置

Publications (1)

Publication Number Publication Date
CN116935492A true CN116935492A (zh) 2023-10-24

Family

ID=88392386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310987468.3A Pending CN116935492A (zh) 2023-08-07 2023-08-07 一种基于图关系交互学习的人体动作预测方法及装置

Country Status (1)

Country Link
CN (1) CN116935492A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100574A (zh) * 2022-07-19 2022-09-23 电子科技大学长三角研究院(衢州) 基于融合图卷积网络与Transformer网络的动作识别方法及***
CN115346275A (zh) * 2022-08-23 2022-11-15 深圳市赛为智能股份有限公司 基于光流及图的双分支人体行为预测方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100574A (zh) * 2022-07-19 2022-09-23 电子科技大学长三角研究院(衢州) 基于融合图卷积网络与Transformer网络的动作识别方法及***
CN115346275A (zh) * 2022-08-23 2022-11-15 深圳市赛为智能股份有限公司 基于光流及图的双分支人体行为预测方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MANSOUR TCHENEGNON ET AL.: "A New Spatio-Temporal Loss Function for 3D Motion Reconstruction and Extended Temporal Metrics for Motion Evaluation", 《HTTPS://ARXIV.ORG/PDF/2210.08562》, 16 October 2022 (2022-10-16), pages 4 - 5 *
张晋 等: "面向人体动作预测的对称残差网络", 《机器人》, vol. 44, no. 3, 31 May 2022 (2022-05-31) *
高信凯: "基于图卷积网络的人体行为识别和预测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2022 (2022-01-15) *

Similar Documents

Publication Publication Date Title
AU2018236433B2 (en) Room layout estimation methods and techniques
Sharma et al. Third-person visual imitation learning via decoupled hierarchical controller
CN111061277B (zh) 一种无人车全局路径规划方法和装置
CN109964237A (zh) 图像深度预测神经网络
CN111983922A (zh) 一种基于元模仿学习的机器人演示示教方法
CN110796166B (zh) 一种基于注意力机制的多任务图像处理方法
Kelchtermans et al. How hard is it to cross the room?--Training (Recurrent) Neural Networks to steer a UAV
CN104899921B (zh) 基于多模态自编码模型的单视角视频人体姿态恢复方法
EP3847619B1 (en) Unsupervised depth prediction neural networks
WO2019060632A1 (en) OPTIMIZING POLICY CONTROL DEVICES FOR ROBOTIC AGENTS USING IMAGE INTEGRATIONS
CN111833400B (zh) 一种相机位姿定位方法
CN110378250A (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN115533905A (zh) 机器人操作技能的虚实迁移学习方法、装置及存储介质
Zakaria et al. Robotic control of the deformation of soft linear objects using deep reinforcement learning
CN109764876B (zh) 无人平台的多模态融合定位方法
CN114943182A (zh) 基于图神经网络的机器人线缆形状控制方法及设备
Ishihara et al. Empirical study of future image prediction for image-based mobile robot navigation
CN117037216A (zh) 一种面向人体骨架的羽毛球运动预测方法和装置
Ejaz et al. Autonomous visual navigation using deep reinforcement learning: An overview
CN116935492A (zh) 一种基于图关系交互学习的人体动作预测方法及装置
Luo et al. Transformer-based vision-language alignment for robot navigation and question answering
Dang et al. Imitation learning-based algorithm for drone cinematography system
WO2022127603A1 (zh) 一种模型处理方法及相关装置
CN115565104A (zh) 一种动作预测方法及其相关设备
CN114758205A (zh) 用于3d人体姿态估计的多视角特征融合方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination