CN111598995B - 一种基于原型分析的自监督多目三维人体姿态估计方法 - Google Patents

一种基于原型分析的自监督多目三维人体姿态估计方法 Download PDF

Info

Publication number
CN111598995B
CN111598995B CN202010326837.0A CN202010326837A CN111598995B CN 111598995 B CN111598995 B CN 111598995B CN 202010326837 A CN202010326837 A CN 202010326837A CN 111598995 B CN111598995 B CN 111598995B
Authority
CN
China
Prior art keywords
dimensional
prototype
pose
gesture
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010326837.0A
Other languages
English (en)
Other versions
CN111598995A (zh
Inventor
邢帅
***
贾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202010326837.0A priority Critical patent/CN111598995B/zh
Publication of CN111598995A publication Critical patent/CN111598995A/zh
Application granted granted Critical
Publication of CN111598995B publication Critical patent/CN111598995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于原型分析的自监督多目三维人体姿态估计方法，包括以下步骤：标定相机参数并对多目图像进行预处理；构建Two‑Stage的深度网络；构建3D‑Pose‑Refine模块。上述技术方案通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。

Description

一种基于原型分析的自监督多目三维人体姿态估计方法
技术领域
本发明涉及三维人体姿态估计领域，尤其涉及一种基于原型分析的自监督多目三维人体姿态估计方法。
背景技术
三维人体姿态估计是计算机视觉中较为热门的一个研究领域，其应用也是十分广泛，诸如动作识别，安防，人机交互等场景都有该技术的直接或间接应用。三维姿态估计仍然面临诸多挑战，相较于二维姿态估计而言，其主要有两点不同：首先，三维坐标系下，其拥有更大的姿态空间，具有歧义性；其次，对于数据驱动的算法，三维标注信息的获取是比较困难的，这就使得基于监督学习的方法不适用于野外场景。
有资料显示，近年来，深度卷积网络在视觉中发挥着越来越重要的作用，加之出现了大量的二维姿态数据集，二维人体姿态估计取得了较快的发展，已经达到了较高的准确性。而面对三维姿态数据集稀缺的问题，一部分研究开始转向基于弱监督和自监督技术的算法构建，其中主要包括基于二维投影一致性约束算法和基于多目几何约束的自监督算法。
原型分析法是一种无监督学习方法。类似于聚类学习中找寻数据样本与类别中心点的关联，原型分析法找寻一组数据样本的原型表示，同时满足数据样本为原型的凸线性组合。有研究表明，三维姿态空间中语义性较强的的姿态存在边界特性，因此利用原型分析方法构造三维姿态数据集的一组原型，以原型的凸组合表征和修正姿态是一个有效可行的方案。
中国专利文献CN104952105B公开了一种“三维人体姿态估计方法和装置”。方法包括：获得人体不同角度的多幅人体图像，该多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的人体的多幅图像；对每幅人体图像分别进行二维人体姿态估计，确定每幅人体图像中的该人体的目标二维人体姿态；依据预先构建的二维人体姿态与三维人体姿态的映射库，确定目标二维人体姿态对应的目标三维人体姿态，以恢复出人体在多个不同角度的多个目标三维人体姿态；将多个目标三维人体姿态组合为一个三维人体，构建出该人体的三维姿态。上述技术方案面对三维姿态数据集稀缺的问题，如野外场景下，无法有效构建人体的三维姿态。
发明内容
本发明主要解决原有的三维姿态估计数据集稀缺，监督学习在野外场景下不适用技术问题，提供一种基于原型分析的自监督多目三维人体姿态估计方法，通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤
(1)标定相机参数并对多目图像进行预处理；
(2)构建Two-Stage的深度网络；
(3)构建3D-Pose-Refine模块。
作为优选，所述的步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数，预处理包括利用人体检测器获得的包围盒裁剪图像。
作为优选，所述的步骤2中构建Two-Stage的深度网络包括：
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图；
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块。
作为优选，所述的步骤2.1包括以下步骤：
(2.11)初始化2D-Pose-ResNet模块；
(2.12)通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果；其中，2D-Pose-ResNet模块是以ResNet深度卷积网络为主干的全卷积二维人体姿态估计模块。
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调。
作为优选，所述的步骤2.2中的3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。
作为优选，所述的步骤2.2包括以下步骤：
(2.21)初始化可学习的Joints-Confidence子模块；
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络；
(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计。
作为优选，所述的步骤2.22中预训练Joints-Confidence网络包括以下步骤：
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标；
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习；
(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态；结合方式如下：
Figure BDA0002463525260000041
其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积；
(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。
作为优选，所述的步骤3中构建3D-Pose-Refine模块包括：
(3.1)初始化三维姿态表示原型；
(3.2)利用三维姿态表示原型对预测的姿态进行修正；
(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstruction模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为
Figure BDA0002463525260000042
其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，
Figure BDA0002463525260000043
为预测的三维姿态的节点位置。
作为优选，所述的步骤3.1中初始化三维姿态表示原型包括以下步骤：
(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；
(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：
Figure BDA0002463525260000051
Figure BDA0002463525260000052
其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数；K为原型数量,每个原型对应着一个高维向量,其值为:
Figure BDA0002463525260000053
作为优选，所述的步骤3.2中姿态修正方法包括：
(3.21)将预测的三维姿态标准化并以距离矩阵表示；
(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0；求解能量函数如下：
Figure BDA0002463525260000054
Figure BDA0002463525260000055
其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，s为原型与d的距离；
(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。
本发明的有益效果是：通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。
具体实施方式
下面通过实施例，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种基于原型分析的自监督多目三维人体姿态估计方法，包括以下步骤：
(1)利用人体检测器获得的包围盒对多目图像进行裁剪预处理，根据裁剪和缩放参数调整对应的相机投影参数。输入数据为是带有人体姿态的多相机图像。
(2)构建Two-Stage的深度网络包括：
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图，具体包括以下步骤：
(2.11)初始化2D-Pose-ResNet模块。
(2.12)2D-Pose-ResNet模块是以ResNet深度卷积网络为主干的全卷积二维人体姿态估计模块，通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果。
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调。
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块，其中3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。具体构建步骤包括：
(2.21)初始化可学习的Joints-Confidence子模块。
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络，预训练步骤为：
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标。
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习。
(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态，结合方式如下：
Figure BDA0002463525260000071
其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积。
(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。
(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计。
(3)构建3D-Pose-Refine模块包含以下步骤：
(3.1)初始化三维姿态表示原型，具体步骤包括：
(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；
(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：
Figure BDA0002463525260000081
Figure BDA0002463525260000082
其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数；K为原型数量,每个原型对应着一个高维向量,其值为:
Figure BDA0002463525260000083
(3.2)利用三维姿态表示原型对预测的姿态进行修正，姿态修正方法包括：
(3.21)将预测的三维姿态标准化并以距离矩阵表示；
(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0；求解能量函数如下：
Figure BDA0002463525260000084
Figure BDA0002463525260000085
其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，s为原型与d的距离；
(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。
(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstruction模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为
Figure BDA0002463525260000091
其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，
Figure BDA0002463525260000092
为预测的三维姿态的节点位置。

Claims (6)

1.一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，包括以下步骤：
(1)标定相机参数并对多目图像进行预处理；
(2)构建Two-Stage的深度网络包括：
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图，包括以下步骤：
(2.11)初始化2D-Pose-ResNet模块；
(2.12)通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果；
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调；
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块，包括以下步骤：
(2.21)初始化可学习的Joints-Confidence子模块；
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络；
(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计；
(3)构建3D-Pose-Refine模块包括：
(3.1)初始化三维姿态表示原型；
(3.2)利用三维姿态表示原型对预测的姿态进行修正；
(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstructio n模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为
Figure FDA0004078951730000021
其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，
Figure FDA0004078951730000022
为预测的三维姿态的节点位置。
2.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数，预处理包括利用人体检测器获得的包围盒裁剪图像。
3.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.2中的3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。
4.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.22中预训练Joints-Confidence网络包括以下步骤：
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标；
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习；
(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态；结合方式如下：
Figure FDA0004078951730000023
其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积；
(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。
5.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3.1中初始化三维姿态表示原型包括以下步骤：
(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；
(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：
Figure FDA0004078951730000031
Figure FDA0004078951730000032
其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数，K为原型数量,每个原型对应着一个高维向量,其值为：
Figure FDA0004078951730000033
6.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3.2中姿态修正方法包括：
(3.21)将预测的三维姿态标准化并以距离矩阵表示；
(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0，求解能量函数如下：
Figure FDA0004078951730000034
Figure FDA0004078951730000035
其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，α为样本被原型表示时的凸组合系数，s为原型与d的距离；
(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。
CN202010326837.0A 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法 Active CN111598995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326837.0A CN111598995B (zh) 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326837.0A CN111598995B (zh) 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN111598995A CN111598995A (zh) 2020-08-28
CN111598995B true CN111598995B (zh) 2023-04-28

Family

ID=72190333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326837.0A Active CN111598995B (zh) 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN111598995B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200157A (zh) * 2020-11-30 2021-01-08 成都市谛视科技有限公司 一种降低图像背景干扰的人体3d姿态识别方法及其***
CN112733761B (zh) * 2021-01-15 2024-03-19 浙江工业大学 一种基于机器学习的人体状态匹配方法
CN113449420B (zh) * 2021-06-28 2022-10-21 浙江图盛输变电工程有限公司温州科技分公司 一种影像实景管控平台三维测量数据分析方法
CN114627490A (zh) * 2021-12-15 2022-06-14 浙江工商大学 一种基于惯性传感器与多功能相机的多人姿态估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087329A (zh) * 2018-07-27 2018-12-25 中山大学 基于深度网络的人体三维关节点估计框架及其定位方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110427877A (zh) * 2019-08-01 2019-11-08 大连海事大学 一种基于结构信息的人体三维姿态估算的方法
CN111046733A (zh) * 2019-11-12 2020-04-21 宁波大学 一种基于稀疏和深度的3d人体姿态估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087329A (zh) * 2018-07-27 2018-12-25 中山大学 基于深度网络的人体三维关节点估计框架及其定位方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110427877A (zh) * 2019-08-01 2019-11-08 大连海事大学 一种基于结构信息的人体三维姿态估算的方法
CN111046733A (zh) * 2019-11-12 2020-04-21 宁波大学 一种基于稀疏和深度的3d人体姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chi-Yi Tsai et al.Simultaneous 3D Object Recognition and Pose Estimation Based on RGB-D Images.《IEEE》.2018,第28859–28869页. *
王伟楠 ; 张荣 ; 郭立君 ; .结合稀疏表示和深度学习的视频中3D人体姿态估计.中国图象图形学报.2020,(03),第42-53页. *

Also Published As

Publication number Publication date
CN111598995A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598995B (zh) 一种基于原型分析的自监督多目三维人体姿态估计方法
Han et al. Space-time representation of people based on 3D skeletal data: A review
Zhou et al. Monocap: Monocular human motion capture using a cnn coupled with a geometric prior
Zhou et al. Sparse representation for 3D shape estimation: A convex relaxation approach
Ghezelghieh et al. Learning camera viewpoint using CNN to improve 3D body pose estimation
Chen et al. The sparse manifold transform
CN104933755B (zh) 一种静态物体重建方法和***
KR20240069802A (ko) 3차원 객체 재구성
US9747668B2 (en) Reconstruction of articulated objects from a moving camera
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
Chen et al. Learning a deep network with spherical part model for 3D hand pose estimation
Rahman et al. Recognising human actions by analysing negative spaces
CN112560648B (zh) 一种基于rgb-d图像的slam方法
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN113283525A (zh) 一种基于深度学习的图像匹配方法
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
CN114036969A (zh) 一种多视角情况下的3d人体动作识别算法
CN111476089A (zh) 一种图像中多模态信息融合的行人检测方法、***及终端
CN115063526A (zh) 二维图像的三维重建方法、***、终端设备及存储介质
Chan et al. A 3D-point-cloud feature for human-pose estimation
CN111783497A (zh) 视频中目标的特征确定方法、装置和计算机可读存储介质
Lu et al. Parametric 3D visualization modeling of the human body based on 2D photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant