CN108830150B - 一种基于三维人体姿态估计方法及装置 - Google Patents

一种基于三维人体姿态估计方法及装置 Download PDF

Info

Publication number
CN108830150B
CN108830150B CN201810426144.1A CN201810426144A CN108830150B CN 108830150 B CN108830150 B CN 108830150B CN 201810426144 A CN201810426144 A CN 201810426144A CN 108830150 B CN108830150 B CN 108830150B
Authority
CN
China
Prior art keywords
image
human body
key point
depth image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810426144.1A
Other languages
English (en)
Other versions
CN108830150A (zh
Inventor
吕蕾
张凯
张桂娟
刘弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Micro-Chain Daoi Technology Co.,Ltd.
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201810426144.1A priority Critical patent/CN108830150B/zh
Publication of CN108830150A publication Critical patent/CN108830150A/zh
Application granted granted Critical
Publication of CN108830150B publication Critical patent/CN108830150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维人体姿态估计方法及装置，其中，该方法包括S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；S3：构造手部关节节点2D‑3D映射网络；S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。

Description

一种基于三维人体姿态估计方法及装置
技术领域
本发明属于计算机视觉、图像处理、计算机图形学及深度学习应用领域，尤其涉及一种基于三维人体姿态估计方法及装置。
背景技术
所谓人体姿态估计是指将抽象层次特征与人体模型进行匹配，从而得到不同时刻目标所处的姿态。人体姿态估计是人体运动捕捉的核心问题。人体的姿态表达包括两个方面，一是整个人体在世界坐标的位置和方向；二是身体各部分关节的角度及受关节角影响的皮肤变形。人体运动姿态估计的主要应用领域可以分为三大方向：监控、控制和分析：
(1)在监控应用方面，一些传统的应用包括在机场或地铁中自动检测并定位行人、人数统计或人群流动、拥塞分析等。随着安全意识的提高，近年来出现了一些新型的应用——个人或人群的行为和动作的分析。比如在排队和购物中，检测不正常的行为或进行身份识别等。
(2)在控制应用方面，人们利用运动估计结果或姿态参数来对目标进行控制。这在人机交互方面的应用最多。在娱乐产业如电影和游戏动画等，应用也越来越广。人们可以利用捕捉到的人的形状、外表和动作，来制作3D电影或重建游戏中的人的三维模型。
(3)在分析应用方面，包括对外科病人的自动诊断、对运动员动作的分析和改进等。在视觉媒体方面，有基于内容的视频检索、视频压缩等应用。此外，在汽车产业方面也得到了相关的应用，比如安全气囊的自动控制、睡眠检测和行人检测等。
目前市场上比较成熟的人体运动捕捉***有基于电动机械的，电磁的和特殊光学标志等类型。磁性或者光学的标记被附在人的肢体上，它们的三维轨迹被用来描述目标运动，这些***是自动的，但是其存在的缺点是：设备非常笨重，且价格昂贵，无法得到广泛的应用。
因此，基于计算机视觉人体运动捕捉技术已经成为研究热点。它利用计算机视觉的基本原理，从视频中直接提取三维人体运动序列。这种方法不需要在人体关节上附加任何传感器，保证了人体运动不受限制，而且造价低，效率高。当前流行的方法大多采用基于人体模型的匹配技术。这种方法的目标是在状态空间中找到一组姿态参数，使得对应这个参数的人体姿态与从观测图像中提取的底层特征最为符合。
在基于计算机视觉的运动跟踪这一领域，一般采用的研究方法是：
在跟踪的开始，确定图像序列中首帧的人***置，后续序列中人体目标的确定依赖于人体运动的连续性和运动学约束条件。其中，确定首帧人***置有两种方法：
一是人为规定目标的首个姿态或者将人体模型设定为首帧的近似姿态，这不利于人体跟踪的自动化。
二是去除人体以外的背景后，使用部位检测方法确定身体的各个部位，这种方法可部分实现自动化，但需要人景分割的严格保证。
在后续人体跟踪和三维姿态估计中，有基于模型和无模型的方法。其中：
(1)基于模型的一般方法是事先建立人体的3D模型，将模型与运动序列的首帧匹配，在后续跟踪中，利用运动参数限制等条件，采用梯度下降或随机采样等优化方法进一步估计每一帧的模型参数，从而得出模型运动序列。这种方法的缺点是：后续帧的跟踪存在累积误差，长时间跟踪容易出错。
(2)无模型方法不需要建立人体模型，而是根据人体运动呈现的几何、纹理、色彩等信息，采用学习或基于样本的方法来估计人体运动姿态。这种方法的缺点在于：人体运动姿态难以用有限个状态描述，依赖于先验知识，且只能跟踪特定的动作集。
基于模型和无模型的这两种跟踪方法都可采用单目摄像机或多目摄像机实现。由于不具有深度信息的普通图像在重建中存在从三维到二维映射的歧义性，且对于复杂运动姿态估计非常困难，因此在过去十多年的研究中，大多数人体运动跟踪技术的都是基于多目摄像机条件下实现的，以此获得深度信息。但是，使用多目摄像机的条件是：需要定标且不方便在普通家庭中布置，不利于运动捕捉技术的应用普及到千家万户中。
综上所述，针对现有技术中多目摄像机使用条件的限制以及为了快速便捷地识别出深度图像，亟需一种有效的解决方案。
发明内容
为了解决现有技术的不足，本发明的第一目的是提供一种基于三维人体姿态估计方法，其能够精确地识别出深度图像中的三维人体姿态。
本发明的一种基于三维人体姿态估计方法的技术方案为：
一种基于三维人体姿态估计方法，包括：
S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；
S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；
S3：基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络；
S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；
S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；
S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。
在所述步骤1中，单目相机可以采用Kinect相机来实现。
Kinect比一般的摄像头更为智能。首先，它能够发射红外线，从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，配合着Xbox 360上的一些高端软件，便可以对人体的48个部位进行实时追踪。
需要说明的是，单目相机除了Kinect相机之外，也可以采用其他现有单目相机来实现。
进一步的，所述步骤S2中基于RGB彩色图像构造出人体骨骼关键点检测神经网络，具体包括：
标注RGB彩色图像中的人体骨骼关键点，构建出数据集；
将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；
利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。
在所述步骤S2中，通过对获取的RGB彩色图像标注人体骨骼关键点形成训练人体骨骼关键点检测神经网络的数据集，这样能够快速准确地得到预设要求的人体骨骼关键点检测神经网络。其中，预设要求为人体骨骼关键点检测神经网络输出的人体骨骼关键点的精度在预先设定精度范围内。
其中，人体骨骼关键点检测神经网络可以由VGG-19网络后接有T(T为大于或等于1的正整数)个阶段，每个阶段有2个全卷积网络的结构构成。
其中，VGG(Visual Geometry Group)属于牛津大学科学工程系,其发布了一些列以VGG开头的卷积网络模型。
需要说明的是，人体骨骼关键点检测神经网络也可以为其他现有的神经网络模型。
进一步的，在所述步骤S3中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。
上述手部关节节点2D-3D映射网络的损失函数采用softmax和交叉熵损失函数。
在本发明中，将2D手部检测问题转化为分割问题消除不同人手的大小尺寸不同对网络精确性影响。
需要说明的是，手部关节节点2D-3D映射网络除了上述结构之外，还可以采用其他现有神经网络结构来实现。
进一步的，在所述步骤S4中，得到着色深度图像的步骤具体包括：
利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；
匹配人体相同角度的关键点标注图像与深度图像；
调整匹配后的深度图像大小并进行三维着色点云。
本发明利用棋盘法来标定人体相同角度的深度图像与关键点标注图像，能够准确获取图像中关键点的坐标信息。
进一步的，在所述步骤S5中，预设学习网络为U型强化学习网络。
其中，U型强化学习网络是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习***在某种意义下的评价(或整个***的运行性能)为最佳。
U型强化学习网络的结构为：对输入进行预设次数的卷积操作和预设次数的池化操作(max pool下采样)，每次卷积后接一层ReLU激活层,重复若干次，下采样后的卷积过滤器数量增加相应倍数；
对下采样后得到的结果进行预设次数的卷积操作和预设次数的预设步长的去卷积操作(上采样)，每次卷积后接一个ReLU激活层,重复若干次，上采样时过滤器数量减少相应倍数；得到的结果和对应左侧部分卷积结果进行连接后再进行卷积；
最后输出相应结果。
需要说明的是，预设学习网络也可以为Q型强化学习网络。
发明的第二目的是提供一种基于三维人体姿态估计装置，其能够精确地识别出深度图像中的三维人体姿态。
本发明的一种基于三维人体姿态估计装置的技术方案为：
一种基于三维人体姿态估计装置，包括：
图像采集单元，其运用单目相机采集人体不同角度的深度图像和RGB彩色图像；
关键点标注单元，其用于基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；
手部识别单元，其用于基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络；
深度图像着色单元，其用于标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；
深度图像关键点预测单元，其用于基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；
三维人体姿态估计单元，其用于合并手部识别单元和深度图像关键点预测单元的输出，实现对三维人体姿态估计的精细化估计。
其中，单目相机可以采用Kinect相机来实现。
Kinect比一般的摄像头更为智能。首先，它能够发射红外线，从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，配合着Xbox 360上的一些高端软件，便可以对人体的48个部位进行实时追踪。
需要说明的是，单目相机除了Kinect相机之外，也可以采用其他现有单目相机来实现。
进一步的，所述关键点标注单元，包括：
数据集构建子单元，其用于标注RGB彩色图像中的人体骨骼关键点，构建出数据集；
神经网络训练子单元，其用于将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；
神经网络检测子单元，其用于利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。
在所述关键点标注单元中，通过对获取的RGB彩色图像标注人体骨骼关键点形成训练人体骨骼关键点检测神经网络的数据集，这样能够快速准确地得到预设要求的人体骨骼关键点检测神经网络。其中，预设要求为人体骨骼关键点检测神经网络输出的人体骨骼关键点的精度在预先设定精度范围内。
其中，人体骨骼关键点检测神经网络可以由VGG-19网络后接有T(T为大于或等于1的正整数)个阶段，每个阶段有2个全卷积网络的结构构成。
其中，VGG(Visual Geometry Group)属于牛津大学科学工程系,其发布了一些列以VGG开头的卷积网络模型。
需要说明的是，人体骨骼关键点检测神经网络也可以为其他现有的神经网络模型。
进一步的，在所述手部识别单元中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。
上述手部关节节点2D-3D映射网络的损失函数采用softmax和交叉熵损失函数。
在本发明中，将2D手部检测问题转化为分割问题消除不同人手的大小尺寸不同对网络精确性影响。
需要说明的是，手部关节节点2D-3D映射网络除了上述结构之外，还可以采用其他现有神经网络结构来实现。
进一步的，所述深度图像着色单元，包括：
标定子单元，其用于利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；
匹配子单元，其用于匹配人体相同角度的关键点标注图像与深度图像；
三维着色点云子单元，其用于调整匹配后的深度图像大小并进行三维着色点云。
本发明利用棋盘法来标定人体相同角度的深度图像与关键点标注图像，能够准确获取图像中关键点的坐标信息。
进一步的，在所述深度图像关键点预测单元中，预设学习网络为U型强化学习网络。
其中，U型强化学习网络是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习***在某种意义下的评价(或整个***的运行性能)为最佳。
U型强化学习网络的结构为：对输入进行预设次数的卷积操作和预设次数的池化操作(max pool下采样)，每次卷积后接一层ReLU激活层,重复若干次，下采样后的卷积过滤器数量增加相应倍数；
对下采样后得到的结果进行预设次数的卷积操作和预设次数的预设步长的去卷积操作(上采样)，每次卷积后接一个ReLU激活层,重复若干次，上采样时过滤器数量减少相应倍数；得到的结果和对应左侧部分卷积结果进行连接后再进行卷积；
最后输出相应结果。
需要说明的是，预设学习网络也可以为Q型强化学习网络。
与现有技术相比，本发明的有益效果是：
(1)本发明运用单目相机采集人体不同角度的深度图像和RGB彩色图像，解决了在人体姿态估计领域中采用多目相机的条件限制，该方法更容易实现，而且能够精确地识别出深度图像中的三维人体姿态。
(2)本发明能够通过对神经网络训练后达到对三维人体姿态实时识别。
(3)本发明可以将训练好的神经网络模型存储于小型终端设备中，方便集成到智能家居、智能交互式设备中。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本发明的基于三维人体姿态估计方法流程图；
图2是本发明的基于三维人体姿态估计方法的一个实施例示意图；
图3是本发明的人体骨骼关键点检测神经网络的一个实施例示意图；
图4是本发明的手部关节节点2D-3D映射的神经网络一个实施例示意图；
图5是本发明的一种U型强化学习神经网络一个实施例示意图；
图6是本发明的基于三维人体姿态估计装置结构示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本发明的基于三维人体姿态估计方法，包括步骤S1～步骤S6。
具体地，下面结合基于三维人体姿态估计方法的一个实施例来具体说明本发明的技术方案，如图2所示：
本发明的基于三维人体姿态估计方法，包括：
S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像。
在所述步骤1中，单目相机可以采用Kinect相机来实现。
Kinect比一般的摄像头更为智能。首先，它能够发射红外线，从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，配合着Xbox 360上的一些高端软件，便可以对人体的48个部位进行实时追踪。
需要说明的是，单目相机除了Kinect相机之外，也可以采用其他现有单目相机来实现。
S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像。
其中，所述步骤S2中基于RGB彩色图像构造出人体骨骼关键点检测神经网络，具体包括：
步骤S21：标注RGB彩色图像中的人体骨骼关键点，构建出数据集；
具体地，构建数据集的步骤为：
步骤S211：使用12台kinect深度相机，放在一个房间内不同的三个位置，每个位置放置4台kinect深度相机，在每个位置形成四个不同的视角，对多名男性和女性分别拍摄不同人体姿势的图像，将采集到的图片整理成一个图片库。
步骤S212：使用多台深度相机建立手势数据集；此数据集是采集20个人39个不同的手势动作的图像，将数据集划分为一个训练集和一个测试集，然后对图像中的光照强度，背景图像进行随机渲染扩大数据多样性。
步骤S213：将步骤S211和步骤S212所得到的图片库进行骨骼关键点标注，将关键点坐标信息(x，y，d)作为图像的标签，利用shell编写脚本，将图像和图像标签转存为lmdb或hdf5格式文件。其中：x、y为关键点在深度图像中的横纵坐标，d为深度坐标。
步骤S22：将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；
步骤S23：利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。
在所述步骤S2中，通过对获取的RGB彩色图像标注人体骨骼关键点形成训练人体骨骼关键点检测神经网络的数据集，这样能够快速准确地得到预设要求的人体骨骼关键点检测神经网络。其中，预设要求为人体骨骼关键点检测神经网络输出的人体骨骼关键点的精度在预先设定精度范围内。
其中，如图3所示，人体骨骼关键点检测神经网络可以由VGG-19网络后接有T(T为大于或等于1的正整数)个阶段，每个阶段有2个全卷积网络的结构构成。
其中，VGG(Visual Geometry Group)属于牛津大学科学工程系，其发布了一些列以VGG开头的卷积网络模型。
具体地，本例中人体骨骼关键点检测神经网络的处理过程如下：
S222：首先将由kinect得到的w*h的2D-RGB图像作为输入，经由VGG-19的前10层获得特征图F，作为模型第一个阶段每个分支的输入。
S223：在模型第一阶段，阶段中的每个分支分别产生一系列检测置信图S1＝ρ1(F)和一组局部关系域L1＝φ1(F)；其中ρ1(F)和Φ1(F)分别是是阶段一中两分支卷积神经网络的推论。
S224：全卷积网络分支1的具体设计如下：
(a)因在本发明中可以同时对多人进行三维姿态识别，首先对RGB图像中的每个人生成独立的置信图
(b)用xj，k∈R2表示图像中第k个人第j个身体部位的真实位置。其中，j和k均为大于0的正整数；
(c)利用高斯分布使被检测的身体部位关键点高亮：
(d)在每幅置信图中取高斯值最大的关键点：
其中，p为像素点坐标。
S225：全卷积网络分支2用于检测关键点连线的位置和方向信息，具体设计如下：
(a)：构造监督用真实局部关联域其中c为第k个人身体上第c个两关键点连接线段。构造过程如下：
(b)：令和分别图像中第k个人身体上第c个两关键点连线的关键点。
(c)：利用以下公式求出在第c个连线上身体肢体的局部关联向量：
其中如果p在肢体c上等式(3)为v，否则等式(3)为0
(d)：在c连线上的两个关键点做线性差值，近似的求出像素点p位于k个人在连线c上的像素坐标：
pu＝(1-u)xj1-uxj2，0≤u≤1 (5)
(e)：利用公式(5)求出图像中在c连线上有重叠关系所有人的关系域：
其中nc(p)是在点p的非零向量个数。
(f)：对预测的局部关系域进行采样，用Lc沿着线段c去测量k个人重叠部分的置信度：
S223：两个分支每阶段都由3个3×3和2个2×2的卷积层组成；
S224：将第一阶段全卷积网络的输出与原始特征图F合并作为第二阶段的输入，以此迭代到阶段T；
S225：两个分支模型用T个阶段不断对各分支目标进行精炼，为了有效避免梯度消失每个阶段都加入L2损失函数，作为监督功能。将个分支损失函数定义如下：
其中S*是建数据库时已标注的真实置信图的值，代表预测的置信图值，t代表分支模型阶段，t∈[1，2，…，T]，m代表图中关键点位置坐标，j代表第j个关键点，用W(p)为二进制标志，如果关键点标注数据缺失时W(p)＝0，否则为1，避免在网络训练中惩罚真实的位置预测。
S226：在阶段T结束后对两分支得到的人体部位位置置信图和关节点关系利用贪心算法，得到人的2D关键点图像。公式(10)是整个关键点检测网络的模型公式：
需要说明的是，人体骨骼关键点检测神经网络也可以为其他现有的神经网络模型。
S3：基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络。
其中，在所述步骤S3中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。
上述手部关节节点2D-3D映射网络的损失函数采用softmax和交叉熵损失函数。
在本发明中，将2D手部检测问题转化为分割问题消除不同人手的大小尺寸不同对网络精确性影响。
其中，构造手部关节节点2D-3D映射网络的具体过程，如图4所示：
S31：将原始2DRGB图像调整大小为256*256*3作为手部图像分割网络的输入，网络采用(卷积层+ReLu激活层)+最大池化层+双线性上采样的结构，损失函数采用softmax和交叉熵损失函数，输出256*256*3的手部分割图像。
S32：采用一个与S31同样结构的神经网络，将S31的输出作为输入，该神经网络对手部21个关节生成边界框，并在边界框中心加入均值为0，方差为10的高斯噪声，网络将分别生成21个32×32×1关节点热图。
S33：求21个2D关节点热图到3D的估计值，具体方法如下；
S34：首先定义一个三维手部关节点坐标集合wi＝(xi，yi，zi)，i∈[1，J]，J＝21。
S35：利用S12获得的手部3维数据库训练一个全卷积神经网络，使用L2损失函数。网络采用(卷积层+ReLu激活层)+全连接层的结构。
S36：利用S35训练的全卷积神经网络获得的先验知识，对2D手部图像各关键点建立正则化坐标集合，公式如下：
s＝||wk+1-wk|| (12)
其中k∈[1，20]。
S37：建立相对坐标系，消除因手部大小不同等原因造成的个关节点位置相对失真。本例中将食指第一关节作为根节点，即s＝1，此外将利用公式(13)求出其余个节点相对于食指第一关节点的相对位置。
r为食指第一节点。
需要说明的是，手部关节节点2D-3D映射网络除了上述结构之外，还可以采用其他现有神经网络结构来实现。
S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；
其中，在所述步骤S4中，得到着色深度图像的步骤具体包括：
利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；
匹配人体相同角度的关键点标注图像与深度图像；
调整匹配后的深度图像大小并进行三维着色点云。
本发明利用棋盘法来标定人体相同角度的深度图像与关键点标注图像，能够准确获取图像中关键点的坐标信息
S41：利用棋盘法对kinect的RGB摄像头进行标定，利用Matlab CameraCalibration Toolbox计算RGB内参。
S42：利用棋盘法对kinect的深度摄像头进行标定，利用Matlab CameraCalibration Toolbox计算RGB内参。
S43：对2D-RGB摄像头和3D深度摄像头进行配准，具体步骤如下：
S44：利用公式(14)建立深度图像空间坐标系：
Pir＝HirPir (14)
其中Pir为深度摄像头坐标下某点的空间坐标，pir为该点在平面上的投影坐标(x、y单位为像素，z为深度值，单位为毫米)，Hir为深度摄像头的内参矩阵。
S45：利用公式(15)、(16)为RGB摄像头建立空间坐标：
Prgb＝RPir+T (15)
prgb＝HrgbPrgb (16)
其中Prgb为在RGB摄像头坐标下同一点的空间坐标，prgb为该点在RGB像平面上的投影坐标，Hrgb为RGB摄像头的内参矩阵，R为旋转矩阵，T为平移向量。
S46：利用摄像头外参矩阵，将全局坐标系中的点变换到摄像头矩阵，变换公式如公式(17)：
其中旋转矩阵Rir(Rrgb)和平移向量Tir(Trgb)是深度摄像头(RGB摄像头)的外参矩阵
S47：将配准后的图像调整大小为64×64×64的三维着色点云矩阵。
S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；
其中，在所述步骤S5中，预设学习网络为U型强化学习网络。
其中，U型强化学习网络是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习***在某种意义下的评价(或整个***的运行性能)为最佳。
U型强化学习网络的结构为：对输入进行预设次数的卷积操作和预设次数的池化操作(max pool下采样)，每次卷积后接一层ReLU激活层,重复若干次，下采样后的卷积过滤器数量增加相应倍数；
对下采样后得到的结果进行预设次数的卷积操作和预设次数的预设步长的去卷积操作(上采样)，每次卷积后接一个ReLU激活层,重复若干次，上采样时过滤器数量减少相应倍数；得到的结果和对应左侧部分卷积结果进行连接后再进行卷积；
最后输出相应结果。
需要说明的是，预设学习网络也可以为Q型强化学习网络。
具体地，U型强化学习网络结构，如图5所示：
S52:对S2、S4的输入进行2次3×3×3卷积操作和1次2×2×2池化操作(max pool下采样)，每次卷积后接一层ReLU激活层,重复4次，下采样后的卷积过滤器数量增加2倍。
S53:对下采样后得到的结果进行2次3×3卷积操作和1次步长为2×2的去卷积操作(上采样)，每次卷积后接一个ReLU激活层,重复4次，上采样时过滤器数量减少2倍，得到的结果和对应左侧部分卷积结果进行连接后再进行卷积，这时卷积过滤器数量减少2倍。
S54:输出点云中关键点置信图。
S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。
本发明的基于三维人体姿态估计方法，运用单目相机采集人体不同角度的深度图像和RGB彩色图像，解决了在人体姿态估计领域中采用多目相机的条件限制，该方法更容易实现，而且能够精确地识别出深度图像中的三维人体姿态。
如图6所示，本发明的一种基于三维人体姿态估计装置的技术方案为：
一种基于三维人体姿态估计装置，包括：
(1)图像采集单元，其运用单目相机采集人体不同角度的深度图像和RGB彩色图像；
其中，单目相机可以采用Kinect相机来实现。
Kinect比一般的摄像头更为智能。首先，它能够发射红外线，从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，配合着Xbox 360上的一些高端软件，便可以对人体的48个部位进行实时追踪。
需要说明的是，单目相机除了Kinect相机之外，也可以采用其他现有单目相机来实现。
(2)关键点标注单元，其用于基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；
其中，所述关键点标注单元，包括：
数据集构建子单元，其用于标注RGB彩色图像中的人体骨骼关键点，构建出数据集；
神经网络训练子单元，其用于将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；
神经网络检测子单元，其用于利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。
在所述关键点标注单元中，通过对获取的RGB彩色图像标注人体骨骼关键点形成训练人体骨骼关键点检测神经网络的数据集，这样能够快速准确地得到预设要求的人体骨骼关键点检测神经网络。其中，预设要求为人体骨骼关键点检测神经网络输出的人体骨骼关键点的精度在预先设定精度范围内。
其中，人体骨骼关键点检测神经网络可以由VGG-19网络后接有T(T为大于或等于1的正整数)个阶段，每个阶段有2个全卷积网络的结构构成。
其中，VGG(Visual Geometry Group)属于牛津大学科学工程系,其发布了一些列以VGG开头的卷积网络模型。
需要说明的是，人体骨骼关键点检测神经网络也可以为其他现有的神经网络模型。
(3)手部识别单元，其用于基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络；
在所述手部识别单元中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。
上述手部关节节点2D-3D映射网络的损失函数采用softmax和交叉熵损失函数。
在本发明中，将2D手部检测问题转化为分割问题消除不同人手的大小尺寸不同对网络精确性影响。
需要说明的是，手部关节节点2D-3D映射网络除了上述结构之外，还可以采用其他现有神经网络结构来实现。
(4)深度图像着色单元，其用于标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；
其中，所述深度图像着色单元，包括：
标定子单元，其用于利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；
匹配子单元，其用于匹配人体相同角度的关键点标注图像与深度图像；
三维着色点云子单元，其用于调整匹配后的深度图像大小并进行三维着色点云。
本发明利用棋盘法来标定人体相同角度的深度图像与关键点标注图像，能够准确获取图像中关键点的坐标信息。
(5)深度图像关键点预测单元，其用于基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；
其中，在所述深度图像关键点预测单元中，预设学习网络为U型强化学习网络。
其中，U型强化学习网络是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习***在某种意义下的评价(或整个***的运行性能)为最佳。
U型强化学习网络的结构为：对输入进行预设次数的卷积操作和预设次数的池化操作(max pool下采样)，每次卷积后接一层ReLU激活层,重复若干次，下采样后的卷积过滤器数量增加相应倍数；
对下采样后得到的结果进行预设次数的卷积操作和预设次数的预设步长的去卷积操作(上采样)，每次卷积后接一个ReLU激活层,重复若干次，上采样时过滤器数量减少相应倍数；得到的结果和对应左侧部分卷积结果进行连接后再进行卷积；
最后输出相应结果。
需要说明的是，预设学习网络也可以为Q型强化学习网络。
(6)三维人体姿态估计单元，其用于合并手部识别单元和深度图像关键点预测单元的输出，实现对三维人体姿态估计的精细化估计。
本发明的基于三维人体姿态估计装置，运用单目相机采集人体不同角度的深度图像和RGB彩色图像，解决了在人体姿态估计领域中采用多目相机的条件限制，该方法更容易实现，而且能够精确地识别出深度图像中的三维人体姿态。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、装置或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于三维人体姿态估计方法，其特征在于，包括：
S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；
S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；
S3：基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络；
S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；
S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；
S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。
2.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，所述步骤S2中基于RGB彩色图像构造出人体骨骼关键点检测神经网络，具体包括：
标注RGB彩色图像中的人体骨骼关键点，构建出数据集；
将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；
利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。
3.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，在所述步骤S3中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。
4.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，在所述步骤S4中，得到着色深度图像的步骤具体包括：
利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；
匹配人体相同角度的关键点标注图像与深度图像；
调整匹配后的深度图像大小并进行三维着色点云。
5.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，在所述步骤S5中，预设学习网络为U型强化学习网络。
6.一种基于三维人体姿态估计装置，其特征在于，包括：
图像采集单元，其运用单目相机采集人体不同角度的深度图像和RGB彩色图像；
关键点标注单元，其用于基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；
手部识别单元，其用于基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络；
深度图像着色单元，其用于标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；
深度图像关键点预测单元，其用于基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；
三维人体姿态估计单元，其用于合并手部识别单元和深度图像关键点预测单元的输出，实现对三维人体姿态估计的精细化估计。
7.如权利要求6所述的一种基于三维人体姿态估计装置，其特征在于，所述关键点标注单元，包括：
数据集构建子单元，其用于标注RGB彩色图像中的人体骨骼关键点，构建出数据集；
神经网络训练子单元，其用于将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；
神经网络检测子单元，其用于利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。
8.如权利要求6所述的一种基于三维人体姿态估计装置，其特征在于，在所述手部识别单元中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。
9.如权利要求6所述的一种基于三维人体姿态估计装置，其特征在于，所述深度图像着色单元，包括：
标定子单元，其用于利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；
匹配子单元，其用于匹配人体相同角度的关键点标注图像与深度图像；
三维着色点云子单元，其用于调整匹配后的深度图像大小并进行三维着色点云。
10.如权利要求6所述的一种基于三维人体姿态估计装置，其特征在于，在所述深度图像关键点预测单元中，预设学习网络为U型强化学习网络。
CN201810426144.1A 2018-05-07 2018-05-07 一种基于三维人体姿态估计方法及装置 Active CN108830150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810426144.1A CN108830150B (zh) 2018-05-07 2018-05-07 一种基于三维人体姿态估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810426144.1A CN108830150B (zh) 2018-05-07 2018-05-07 一种基于三维人体姿态估计方法及装置

Publications (2)

Publication Number Publication Date
CN108830150A CN108830150A (zh) 2018-11-16
CN108830150B true CN108830150B (zh) 2019-05-28

Family

ID=64147503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810426144.1A Active CN108830150B (zh) 2018-05-07 2018-05-07 一种基于三维人体姿态估计方法及装置

Country Status (1)

Country Link
CN (1) CN108830150B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809616B1 (en) 2022-06-23 2023-11-07 Qing Zhang Twin pose detection method and system based on interactive indirect inference

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222379A (zh) * 2018-11-27 2020-06-02 株式会社日立制作所 一种手部检测方法及装置
CN109684943B (zh) * 2018-12-07 2021-03-16 北京首钢自动化信息技术有限公司 一种运动员辅助训练数据获取方法、装置及电子设备
CN109815813B (zh) * 2018-12-21 2021-03-05 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN109871123B (zh) * 2019-01-21 2022-08-16 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
CN109886986B (zh) * 2019-01-23 2020-09-08 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN109920208A (zh) * 2019-01-31 2019-06-21 深圳绿米联创科技有限公司 跌倒预测方法、装置、电子设备及***
CN109934111B (zh) * 2019-02-12 2020-11-24 清华大学深圳研究生院 一种基于关键点的健身姿态估计方法及***
CN109949368B (zh) * 2019-03-14 2020-11-06 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN110032992B (zh) * 2019-04-25 2023-05-23 沈阳图为科技有限公司 一种基于姿态的***检测方法
CN110175528B (zh) * 2019-04-29 2021-10-26 北京百度网讯科技有限公司 人体跟踪方法及装置、计算机设备及可读介质
CN111914595B (zh) * 2019-05-09 2022-11-15 中国科学院软件研究所 一种基于彩色图像的人手三维姿态估计方法和装置
CN110188633B (zh) * 2019-05-14 2023-04-07 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN110119148B (zh) * 2019-05-14 2022-04-29 深圳大学 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN110135375B (zh) * 2019-05-20 2021-06-01 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110176016B (zh) * 2019-05-28 2021-04-30 招远市国有资产经营有限公司 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN110197156B (zh) * 2019-05-30 2021-08-17 清华大学 基于深度学习的单图像的人手动作与形状重建方法及装置
CN112102223B (zh) * 2019-06-18 2024-05-14 通用电气精准医疗有限责任公司 用于自动设置扫描范围的方法和***
CN110298916B (zh) * 2019-06-21 2022-07-01 湖南大学 一种基于合成深度数据的三维人体重建方法
CN110472476B (zh) * 2019-06-24 2024-06-28 平安科技（深圳）有限公司 姿态匹配度获取方法、装置、计算机及存储介质
CN110472481B (zh) * 2019-07-01 2024-01-05 华南师范大学 一种睡姿检测方法、装置及设备
CN110495889B (zh) * 2019-07-04 2022-05-27 平安科技（深圳）有限公司 体态评估方法、电子装置、计算机设备及存储介质
CN110428493B (zh) * 2019-07-12 2021-11-02 清华大学 基于网格形变的单图像人体三维重建方法及***
CN110348524B (zh) * 2019-07-15 2022-03-04 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
CN110427917B (zh) * 2019-08-14 2022-03-22 北京百度网讯科技有限公司 用于检测关键点的方法和装置
CN110555412B (zh) * 2019-09-05 2023-05-16 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
CN110728739B (zh) * 2019-09-30 2023-04-14 杭州师范大学 一种基于视频流的虚拟人控制与交互方法
CN111079523B (zh) * 2019-11-05 2024-05-14 北京迈格威科技有限公司 物体检测方法、装置、计算机设备和存储介质
CN111027407B (zh) * 2019-11-19 2023-04-07 东南大学 针对遮挡情况的彩色图像手部姿态估计方法
CN111062326B (zh) * 2019-12-02 2023-07-25 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN111028283B (zh) * 2019-12-11 2024-01-12 北京迈格威科技有限公司 图像检测方法、装置、设备及可读存储介质
CN113012091A (zh) * 2019-12-20 2021-06-22 中国科学院沈阳计算技术研究所有限公司 一种基于多维单目深度估计的叶轮质量检测方法及装置
CN111160375B (zh) * 2019-12-31 2024-01-23 北京奇艺世纪科技有限公司 三维关键点预测及深度学习模型训练方法、装置及设备
CN111179419B (zh) * 2019-12-31 2023-09-05 北京奇艺世纪科技有限公司 三维关键点预测及深度学习模型训练方法、装置及设备
CN111429499B (zh) * 2020-02-24 2023-03-10 中山大学 一种基于单个深度相机的手部骨架高精度三维重建方法
CN113382154A (zh) * 2020-02-25 2021-09-10 荣耀终端有限公司 基于深度的人体图像美化方法及电子设备
CN111046858B (zh) * 2020-03-18 2020-09-08 成都大熊猫繁育研究基地 一种基于图像的动物物种细分类方法、***及介质
CN113449565A (zh) * 2020-03-27 2021-09-28 海信集团有限公司 三维姿态估计方法、智能设备及存储介质
CN111582204A (zh) * 2020-05-13 2020-08-25 北京市商汤科技开发有限公司 姿态检测方法、装置、计算机设备及存储介质
CN111753669A (zh) * 2020-05-29 2020-10-09 广州幻境科技有限公司 基于图卷积网络的手部数据识别方法、***和存储介质
CN111753747B (zh) * 2020-06-28 2023-11-24 高新兴科技集团股份有限公司 基于单目摄像头和三维姿态估计的剧烈运动检测方法
CN111753801A (zh) * 2020-07-02 2020-10-09 上海万面智能科技有限公司 人体姿态跟踪与动画生成方法及装置
CN111968235B (zh) * 2020-07-08 2024-04-12 杭州易现先进科技有限公司 一种物体姿态估计方法、装置、***和计算机设备
CN112076073A (zh) * 2020-07-27 2020-12-15 深圳瀚维智能医疗科技有限公司 按摩区域自动分割方法、装置、按摩机器人及存储介质
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置
CN112107318B (zh) * 2020-09-24 2024-02-27 自达康(北京)科技有限公司 一种身体活动能力评估***
CN112287866B (zh) * 2020-11-10 2024-05-31 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112116653B (zh) * 2020-11-23 2021-03-30 华南理工大学 一种多张rgb图片的物体姿态估计方法
CN112836594B (zh) * 2021-01-15 2023-08-08 西北大学 一种基于神经网络的三维手部姿态估计方法
CN112766153B (zh) * 2021-01-19 2022-03-11 合肥工业大学 一种基于深度学习的三维人体姿态估计方法及***
CN112836824B (zh) * 2021-03-04 2023-04-18 上海交通大学 单目三维人***姿无监督学习方法、***及介质
CN113112583B (zh) * 2021-03-22 2023-06-20 成都理工大学 基于红外热成像的3d人体重构方法
CN113158910A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 一种人体骨架识别方法、装置、计算机设备及存储介质
CN113362452B (zh) * 2021-06-07 2022-11-15 中南大学 一种手部姿态三维重建方法、装置及存储介质
CN113762177A (zh) * 2021-09-13 2021-12-07 成都市谛视科技有限公司 实时人体3d姿态估计方法、装置、计算机设备和存储介质
CN113689503B (zh) * 2021-10-25 2022-02-25 北京市商汤科技开发有限公司 目标对象的姿态检测方法、装置、设备及存储介质
CN114821819B (zh) * 2022-06-30 2022-09-23 南通同兴健身器材有限公司 一种健身动作实时监控方法及人工智能识别***
CN116797625B (zh) * 2023-07-20 2024-04-19 无锡埃姆维工业控制设备有限公司 一种单目三维工件位姿估计方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855470A (zh) * 2012-07-31 2013-01-02 中国科学院自动化研究所 基于深度图像的人体姿态估计方法
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的***
CN104715493A (zh) * 2015-03-23 2015-06-17 北京工业大学 一种运动人体姿态估计的方法
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN106570903A (zh) * 2016-10-13 2017-04-19 华南理工大学 一种基于rgb‑d摄像头的视觉识别与定位方法
CN107066935A (zh) * 2017-01-25 2017-08-18 网易（杭州）网络有限公司 基于深度学习的手部姿态估计方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的***
CN102855470A (zh) * 2012-07-31 2013-01-02 中国科学院自动化研究所 基于深度图像的人体姿态估计方法
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN104715493A (zh) * 2015-03-23 2015-06-17 北京工业大学 一种运动人体姿态估计的方法
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN106570903A (zh) * 2016-10-13 2017-04-19 华南理工大学 一种基于rgb‑d摄像头的视觉识别与定位方法
CN107066935A (zh) * 2017-01-25 2017-08-18 网易（杭州）网络有限公司 基于深度学习的手部姿态估计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect骨架信息的人体动作识别;刘飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615(第06期);I138-955

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809616B1 (en) 2022-06-23 2023-11-07 Qing Zhang Twin pose detection method and system based on interactive indirect inference

Also Published As

Publication number Publication date
CN108830150A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830150B (zh) 一种基于三维人体姿态估计方法及装置
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN105787439B (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN104715493B (zh) 一种运动人体姿态估计的方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN104978580B (zh) 一种用于无人机巡检输电线路的绝缘子识别方法
CN105631861B (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
CN102855470B (zh) 基于深度图像的人体姿态估计方法
CN100543775C (zh) 基于多目相机的三维人体运动跟踪的方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN107767419A (zh) 一种人体骨骼关键点检测方法及装置
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN107545582A (zh) 基于模糊逻辑的视频多目标跟踪方法及装置
CN106997605A (zh) 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法
CN108363973A (zh) 一种无约束的3d表情迁移方法
Nguyen et al. Static hand gesture recognition using artificial neural network
CN101520902A (zh) 低成本动作捕捉与演示***及方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN106023211A (zh) 基于深度学习的机器人图像定位方法及***
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN109087245A (zh) 基于相邻关系模型的无人机遥感图像拼接***
CN109000655A (zh) 机器人仿生室内定位导航方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN114036969A (zh) 一种多视角情况下的3d人体动作识别算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210415

Address after: 102300 No.1 Qiaoyuan Road, Mentougou District, Beijing

Patentee after: Beijing Micro-Chain Daoi Technology Co.,Ltd.

Address before: 250014 No. 88, Wenhua East Road, Lixia District, Shandong, Ji'nan

Patentee before: SHANDONG NORMAL University

TR01 Transfer of patent right