CN111539288A - 一种双手姿势的实时检测方法 - Google Patents

一种双手姿势的实时检测方法 Download PDF

Info

Publication number
CN111539288A
CN111539288A CN202010301111.1A CN202010301111A CN111539288A CN 111539288 A CN111539288 A CN 111539288A CN 202010301111 A CN202010301111 A CN 202010301111A CN 111539288 A CN111539288 A CN 111539288A
Authority
CN
China
Prior art keywords
hand
joint point
real
joint
time detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010301111.1A
Other languages
English (en)
Other versions
CN111539288B (zh
Inventor
高成英
李文盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010301111.1A priority Critical patent/CN111539288B/zh
Publication of CN111539288A publication Critical patent/CN111539288A/zh
Application granted granted Critical
Publication of CN111539288B publication Critical patent/CN111539288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双手姿势的实时检测方法，通过采用2d关节点位置和3d关节点位置进行双手姿势重建，能够重建出两只手的骨架模型，即使是复杂交互的双手姿势也能够清楚地构建，解决了现有技术存在的无法对复杂交互的双手姿势进行检测的问题，同时，通过采用2d关节点位置和3d关节点位置进行拟合的方式，能够降低重建两只手骨架模型的运算难度，提升重建双手骨架模型的速度，从而保证了检测双手姿势的实时性，从而解决了现有技术存在的难以实现实时性的问题。

Description

一种双手姿势的实时检测方法
技术领域
本发明涉及姿势检测技术领域，特别涉及一种双手姿势的实时检测方法。
背景技术
手部在人类日常生活中有着非常关键的作用，手部姿势中包含着大量的非语言交流信息，对于手部姿势的跟踪与重建工作变得越来越重要，预测3d手部姿势是计算机视觉中的一个长期研究方向，在虚拟/增强现实(VR/AR)、人机交互、人体动作追踪与控制等领域中有着大量的应用，在这些应用中都要求对手部姿势进行实时、准确的检测，现有对于手部姿势进行检测的方法大多是依赖于RGB图像、深度图或者是RGB-D图像进行姿势重建。
但是，现有对手部姿势进行检测的方法存在以下缺点：1、仅仅能够对具有简单姿势的双手进行检测，并不能对有复杂交互的双手姿势进行检测；2、重建手部姿势的网格时，需要很大的计算量和较多的硬件资源，很难满足实时性。
发明内容
本发明的目的在于提供一种双手姿势的实时检测方法，解决了现有技术存在的无法对复杂交互的双手姿势进行检测和难以实现实时性的问题。
本发明通过以下技术方案实现的：
一种双手姿势的实时检测方法，所述方法基于单目摄像机，具体包括以下步骤：
步骤S1，通过单目摄像机捕捉到双手的单帧图像，将所述单帧图像输入到图像分割网络进行分割，分割出包括左手、右手和背景三种类别的分割结果；
步骤S2，依据分割结果提取出包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图；
步骤S3，依据包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图，计算出左手3d关节点位置和右手3d关节点位置；
步骤S4，将左手2d关节点位置和左手3d关节点位置与左手骨架模型进行拟合，并将右手2d关节点位置和右手3d关节点位置与右手骨架模型进行拟合，得到左右手骨架模型的参数，从而得到双手的姿势。
作为所述双手姿势的实时检测方法的进一步可选方案，所述步骤S1包括以下步骤：
步骤S11，依据输入的双手单帧图像提取出图像特征；
步骤S12，将所述图像特征进行上采样操作，得到包括左手、右手和背景三种类别的概率图；
步骤S13，依据包括左手、右手和背景的概率图，得到包括左手、右手和背景三种类别的分割结果。
作为所述双手姿势的实时检测方法的进一步可选方案，所述图像分割网络包括第一卷积层、第二卷积层和转置卷积层。
作为所述双手姿势的实时检测方法的进一步可选方案，所述步骤S11包括以下步骤：
步骤S111，将双手单帧图像输入第一卷积层进行下采样处理；
步骤S112，将下采样处理后的图像输入第二卷积层进行图像特征提取。
作为所述双手姿势的实时检测方法的进一步可选方案，所述步骤S2包括以下步骤：
步骤S21，将包括左手、右手和背景三种类别的分割结果与原单帧图像进行叠加，叠加后输入到二维关节点提取网络进行下采样处理，得到姿势特征；
步骤S22，将姿势特征进行上采样处理，得到包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图。
作为所述双手姿势的实时检测方法的进一步可选方案，所述二维关节点提取网络包括Hourglass结构的网络和第三卷积层。
作为所述双手姿势的实时检测方法的进一步可选方案，所述步骤S3包括以下步骤：
步骤S31，依据左手热度图和右手热度图，提取出左手2d关节点的置信度和右手2d关节点的置信度；
步骤S32，将左手2d关节点位置和左手2d关节点的置信度，以及右手2d关节点位置和右手2d关节点的置信度输入三维关节点提取网络，得到左手3d关节点位置和右手3d关节点位置。
作为所述双手姿势的实时检测方法的进一步可选方案，所述三维关节点提取网络包括第一全连接层、二重线性模块和第二全连接层。
作为所述双手姿势的实时检测方法的进一步可选方案，所述二重线性模块包括第一二重线性模块和第二二重线性模块，所述第一二重线性模块和第二二重线性模块分别包括两个全连接层。
作为所述双手姿势的实时检测方法的进一步可选方案，所述步骤S4中的拟合是通过最小化能量方程进行拟合，所述最小化能量方程包括2d关节点约束项、3d关节点约束项、关节角约束项和时间约束项。
本发明的有益效果：
使用本发明方法，通过采用2d关节点位置和3d关节点位置进行双手姿势重建，能够重建出两只手的骨架模型，即使是复杂交互的双手姿势也能够清楚地构建，解决了现有技术存在的无法对复杂交互的双手姿势进行检测的问题，同时，通过采用2d关节点位置和3d关节点位置进行拟合的方式，能够降低重建两只手骨架模型的运算难度，提升重建双手骨架模型的速度，从而保证了检测双手姿势的实时性，从而解决了现有技术存在的难以实现实时性的问题。
附图说明
图1为本发明的一种双手姿势的实时检测方法的流程示意图；
图2为本发明的一种双手姿势的实时检测方法中的图像分割网络的组成示意图；
图3为本发明的一种双手姿势的实时检测方法中的二维关节点提取网络组成示意图；
图4为本发明的一种双手姿势的实时检测方法中的三维关节点提取网络组成示意图；
附图标记说明：1、第一卷积层；2、第二卷积层；3、转置卷积层；4、Hourglass结构的网络；5、第三卷积层；6、第一全连接层；7、第一二重线性模块；8、第二二重线性模块；9、第二全连接层。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意性实施例及说明用来解释本发明，但并不作为对本发明的限定。
如图1-4所示，一种双手姿势的实时检测方法，所述方法基于单目摄像机，具体包括以下步骤：
步骤S1，通过单目摄像机捕捉到双手的单帧图像，将所述单帧图像输入到图像分割网络进行分割，分割出包括左手、右手和背景三种类别的分割结果；
步骤S2，依据分割结果提取出包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图；
步骤S3，依据包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图，计算出左手3d关节点位置和右手3d关节点位置；
步骤S4，将左手2d关节点位置和左手3d关节点位置与左手骨架模型进行拟合，并将右手2d关节点位置和右手3d关节点位置与右手骨架模型进行拟合，得到左右手骨架模型的参数，从而得到双手的姿势。
在本实施例中，通过采用2d关节点位置和3d关节点位置进行双手姿势重建，能够重建出两只手的骨架模型，即使是复杂交互的双手姿势也能够清楚地构建，解决了现有技术存在的无法对复杂交互的双手姿势进行检测的问题，同时，通过采用2d关节点位置和3d关节点位置进行拟合的方式，能够降低重建两只手骨架模型的运算难度，提升重建双手骨架模型的速度，从而保证了检测双手姿势的实时性，从而解决了现有技术存在的难以实现实时性的问题。
需要说明的是，两只手的骨架模型，其中每个手包括21个2d关节点和21个3d关节点，其中手腕处的关节点作为根关节点，每个手指上有四个关节点，每个手的骨架有26个自由度，其中手腕处的根关节点处有6个自由度，每个手指有4个自由度。
优选的，所述步骤S1包括以下步骤：
步骤S11，依据输入的双手单帧图像提取出图像特征；
步骤S12，将所述图像特征进行上采样操作，得到包括左手、右手和背景三种类别的概率图；
步骤S13，依据包括左手、右手和背景的概率图，得到包括左手、右手和背景三种类别的分割结果。
在本实施例中，将捕捉到的单帧图像输入到图像分割网络中，得到一个包括左手、右手和背景三个类别的分割图；具体为：图像分割网络首先经过下采样提取出来图像特征，之后经过上采样还原到原图像素，在上采样的时候与下采样时像素相同的特征相加作为下一次上采样的输入，这样可以保证不丢失原图中的特征。
优选的，所述图像分割网络包括第一卷积层1、第二卷积层2和转置卷积层3。
在本实施例中，所述第一卷积层1为编码器，所述转置卷积层3为译码器，通过编码器进行降低图像的分辨率，通过译码器恢复图像的分辨率。
优选的，所述步骤S11包括以下步骤：
步骤S111，将双手单帧图像输入第一卷积层进行下采样处理；
步骤S112，将下采样处理后的图像输入第二卷积层进行图像特征提取。
在本实施例中，所述第一卷积层1包括五个卷积核大小为3步长为2的卷积层，能够将输入的图像分辨率降为原来的一半，在经过连续的五次降低维度后，将分辨率降为原图的三十二分之一，第二卷积层2的卷积核大小为3步长为1，能够提取图像特征，转置卷积层3包括五个卷积核大小为3步长为2的卷积层，能够将输入特征的分辨率提升为原来的两倍。
优选的，所述步骤S2包括以下步骤：
步骤S21，将包括左手、右手和背景三种类别的分割结果与原单帧图像进行叠加，叠加后输入到二维关节点提取网络进行下采样处理，得到姿势特征；
步骤S22，将姿势特征进行上采样处理，得到包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图。
在本实施例中，将原单帧图像与分割结果叠加到一起，叠加后输入到二维关节点提取网络，该网络首先下采样提取姿势特征，之后上采样得到42张H*W的概率图，其中，H为原图的高,W为原图的宽，每一张概率图表示一个关节点的位置，概率图中值最大的点对应的位置即是对应的二维关节点所在的位置，可以从中提取出对应的42个关节点，其中左手21个关节点，右手有21个关节点。
优选的，所述二维关节点提取网络包括Hourglass结构的网络4和第三卷积层5。
优选的，所述步骤S3包括以下步骤：
步骤S31，依据左手热度图和右手热度图，提取出左手2d关节点的置信度和右手2d关节点的置信度；
步骤S32，将左手2d关节点位置和左手2d关节点的置信度，以及右手2d关节点位置和右手2d关节点的置信度输入三维关节点提取网络，得到左手3d关节点位置和右手3d关节点位置。
在本实施例中，每张热度图中值最大的点的位置即是2d关节点的位置，这个值就是此2d关节点预测的置信度，所以通过热度图能够提取出左手2d关节点位置和左手2d关节点的置信度，以及右手2d关节点位置和右手2d关节点的置信度。
优选的，所述三维关节点提取网络包括第一全连接层6、二重线性模块和第二全连接层9。
优选的，所述二重线性模块包括第一二重线性模块7和第二二重线性模块8，所述第一二重线性模块7和第二二重线性模块8分别包括两个全连接层。
优选的，所述步骤S4中的拟合是通过最小化能量方程进行拟合，所述最小化能量方程包括2d关节点约束项、3d关节点约束项、关节角约束项和时间约束项。
实施例：
步骤S1，通过单目摄像机拍摄双手的单帧图像，将拍摄到的单帧图像输入到图像分割网络中，得到一个三类别的分割图，分别为：左手、右手、以及背景；具体为，图像分割网络首先经过下采样提取出来图像特征，之后经过上采样还原到原图像素，在上采样的时候与下采样时像素相同的特征相加作为下一次上采样的输入，这样可以保证不丢失原图中的特征，网络的输出是H*W*3的概率图，其中，H为原图的高,W为原图的宽，在H*W的结果中，每个点对应着三个通道的值作为三种类别的概率，从中提取出H*W*1的结果，在该结果中，背景部分的值为0，左手部分的值为1，右手部分的值为2；需要说明的是，此分割结果与原图像是一一对应的，分割结果中值为1的点所在的位置对应到原图就是左手所在的像素点，分割结果中值为2的点对应到原图中就是右手所在的像素点；在训练图像分割网络时，使用如下损失函数计算预测值与真实值的交叉熵：
Figure BDA0002454017040000081
其中，M表示三个类别，在本发明中取3，Si和
Figure BDA0002454017040000082
分别表示第i个类别分割结果的真实值和预测值。
步骤S2，将原单帧图像与分割结果叠加到一起，得到一个H*W*4的特征作为输入到二维关节点提取网络，该网络首先下采样提取特征，之后上采样得到42张H*W的概率图，其中每一张概率图表示一个关节点的位置，概率图中值最大的点对应的位置即是对应的二维关节点所在的位置，可以从中提取出对应的42个关节点，其中左手21个关节点，右手有21个关节点。
步骤S3，采用热度图来表示每个关节点的位置，从热度图中提取出值最大的点的位置即是预测得到的2d关节点的位置，第i张热度图中的最大值ci∈[0，1]为预测得到的第i个关节点的置信度，在每一层后都需要进行批量归一化操作和sigmoid激活操作，此步骤训练采用如下损失函数:
Figure BDA0002454017040000091
其中，N为2d关节点的数目，在本发明中取42，ui和
Figure BDA0002454017040000092
分别表示第i个关键点的真实值和预测值；
将左手2d关节点位置和左手2d关节点的置信度进行合并，并将右手2d关节点位置和右手2d关节点的置信度进行合并，将合并结果输入三维关节点提取网络，得到左手3d关节点位置和右手3d关节点位置，具体为，首先经过一个全连接层将输入向量展开到1024维，随后经过两个二重线性模块，最后通过一个全连接层将其变换到42*3，得到42个左右手关节点的全局位置；
需要说明的是，采用以下损失函数进行训练：
Figure BDA0002454017040000093
其中，Ji为关节点位置的真实值，
Figure BDA0002454017040000101
为关节点位置的预测值，N为关节点的数目。
步骤S4，使用一个运动的骨架模型拟合于预测得到的2d/3d关节点。每只手的骨架模型包括26个自由度，t∈R3和R∈SO(3)分别表示根关节点的全局位置以及旋转角度，θ∈R20表示手指的关节角。记Θ＝{t，R，θ}作为骨架模型的参数，通过变换M(Θ)∈R21×3得到手部关节点的全局位置，记左右手骨架参数分别为ΘL和ΘR，ΘH＝{ΘL,ΘR}表示双手的骨架参数，通过最小化下式使得骨架模型拟合于3d关节点，其中Ji表示第i个3d关节点的全局位置：
Figure BDA0002454017040000102
除此之外，还使用2d关节点作为额外的约束以使得预测得到的结果能够更加拟合于原图中手部的特征。通过最小化下式使得骨架拟合于2d关节点，其中ui表示第i个2d关节点的位置，л用于将3d关节点投影到2d平面：
Figure BDA0002454017040000103
为了使得手部骨架模型的姿势保持正常，需要保证手部关节不要有大角度的弯曲，因此需要对关节角添加限制。在此处我们仅对第一帧预测得到的参数进行约束，设
Figure BDA0002454017040000104
和
Figure BDA0002454017040000105
分别为第i个关节角的上限与下限，通过下式对关节角进行监督：
Figure BDA0002454017040000106
为了避免相邻帧之间重建得到的手部姿势幅度过大的变化，需要对相邻两帧预测得到的参数的变化率进行约束，如下式所示：
Figure BDA0002454017040000111
通过上述四式对骨架拟合过程进行约束，通过最小化下面的能量方程拟合得到ΘH,其中w为各项所占的比重，在预测第一帧的参数时w3不为0，在后续的预测中，w3为0：
E＝ω1E3D+ω2E2D+ω3E
在训练的时候，首先对左右手分割、2d关节点预测以及3d关节点预测任务分别进行预训练，随后对2d/3d关节点的预测进行端到端的训练。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种双手姿势的实时检测方法，所述方法基于单目摄像机，其特征在于：所述方法具体包括以下步骤：
步骤S1，通过单目摄像机捕捉到双手单帧图像，将所述单帧图像输入到图像分割网络进行分割，分割出包括左手、右手和背景三种类别的分割结果；
步骤S2，依据分割结果提取出包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图；
步骤S3，依据包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图，计算出左手3d关节点位置和右手3d关节点位置；
步骤S4，将左手2d关节点位置和左手3d关节点位置与左手骨架模型进行拟合，并将右手2d关节点位置和右手3d关节点位置与右手骨架模型进行拟合，得到左右手骨架模型的参数，从而得到双手的姿势。
2.根据权利要求1所述的一种双手姿势的实时检测方法，其特征在于：所述步骤S1包括以下步骤：
步骤S11，依据输入的双手单帧图像提取出图像特征；
步骤S12，将所述图像特征进行上采样操作，得到包括左手、右手和背景三种类别的概率图；
步骤S13，依据包括左手、右手和背景的概率图，得到包括左手、右手和背景三种类别的分割结果。
3.根据权利要求2所述的一种双手姿势的实时检测方法，其特征在于：所述图像分割网络包括第一卷积层、第二卷积层和转置卷积层。
4.根据权利要求3所述的一种双手姿势的实时检测方法，其特征在于：所述步骤S11包括以下步骤：
步骤S111，将双手单帧图像输入第一卷积层进行下采样处理；
步骤S112，将下采样处理后的图像输入第二卷积层进行图像特征提取。
5.根据权利要求1或4所述的一种双手姿势的实时检测方法，其特征在于：所述步骤S2包括以下步骤：
步骤S21，将包括左手、右手和背景三种类别的分割结果与原单帧图像进行叠加，叠加后输入到二维关节点提取网络进行下采样处理，得到姿势特征；
步骤S22，将姿势特征进行上采样处理，得到包括左手2d关节点位置的左手热度图和包括右手2d关节点位置的右手热度图。
6.根据权利要求5所述的一种双手姿势的实时检测方法，其特征在于：所述二维关节点提取网络包括Hourglass结构的网络和第三卷积层。
7.根据权利要求6所述的一种双手姿势的实时检测方法，其特征在于：所述步骤S3包括以下步骤：
步骤S31，依据左手热度图和右手热度图，提取出左手2d关节点的置信度和右手2d关节点的置信度；
步骤S32，将左手2d关节点位置和左手2d关节点的置信度，以及右手2d关节点位置和右手2d关节点的置信度输入三维关节点提取网络，得到左手3d关节点位置和右手3d关节点位置。
8.根据权利要求7所述的一种双手姿势的实时检测方法，其特征在于：所述三维关节点提取网络包括第一全连接层、二重线性模块和第二全连接层。
9.根据权利要求8所述的一种双手姿势的实时检测方法，其特征在于：所述二重线性模块包括第一二重线性模块和第二二重线性模块，所述第一二重线性模块和第二二重线性模块分别包括两个全连接层。
10.根据权利要求9所述的一种双手姿势的实时检测方法，其特征在于：所述步骤S4中的拟合是通过最小化能量方程进行拟合，所述最小化能量方程包括2d关节点约束项、3d关节点约束项、关节角约束项和时间约束项。
CN202010301111.1A 2020-04-16 2020-04-16 一种双手姿势的实时检测方法 Active CN111539288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301111.1A CN111539288B (zh) 2020-04-16 2020-04-16 一种双手姿势的实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301111.1A CN111539288B (zh) 2020-04-16 2020-04-16 一种双手姿势的实时检测方法

Publications (2)

Publication Number Publication Date
CN111539288A true CN111539288A (zh) 2020-08-14
CN111539288B CN111539288B (zh) 2023-04-07

Family

ID=71976803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301111.1A Active CN111539288B (zh) 2020-04-16 2020-04-16 一种双手姿势的实时检测方法

Country Status (1)

Country Link
CN (1) CN111539288B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233222A (zh) * 2020-09-29 2021-01-15 深圳市易尚展示股份有限公司 基于神经网络关节点估计的人体参数化三维模型变形方法
CN113158774A (zh) * 2021-03-05 2021-07-23 北京华捷艾米科技有限公司 一种手部分割方法、装置、存储介质和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992858A (zh) * 2017-12-25 2018-05-04 深圳市唯特视科技有限公司 一种基于单一rgb帧的实时三维手势估计方法
CN109635630A (zh) * 2018-10-23 2019-04-16 百度在线网络技术（北京）有限公司 手部关节点检测方法、装置及存储介质
CN109800676A (zh) * 2018-12-29 2019-05-24 上海易维视科技股份有限公司 基于深度信息的手势识别方法及***
CN110287844A (zh) * 2019-06-19 2019-09-27 北京工业大学 基于卷积姿势机和长短时记忆网络的交警手势识别方法
CN110741385A (zh) * 2019-06-26 2020-01-31 Oppo广东移动通信有限公司 手势识别的方法和设备、定位追踪的方法和设备
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992858A (zh) * 2017-12-25 2018-05-04 深圳市唯特视科技有限公司 一种基于单一rgb帧的实时三维手势估计方法
CN109635630A (zh) * 2018-10-23 2019-04-16 百度在线网络技术（北京）有限公司 手部关节点检测方法、装置及存储介质
CN109800676A (zh) * 2018-12-29 2019-05-24 上海易维视科技股份有限公司 基于深度信息的手势识别方法及***
CN110287844A (zh) * 2019-06-19 2019-09-27 北京工业大学 基于卷积姿势机和长短时记忆网络的交警手势识别方法
CN110741385A (zh) * 2019-06-26 2020-01-31 Oppo广东移动通信有限公司 手势识别的方法和设备、定位追踪的方法和设备
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233222A (zh) * 2020-09-29 2021-01-15 深圳市易尚展示股份有限公司 基于神经网络关节点估计的人体参数化三维模型变形方法
CN113158774A (zh) * 2021-03-05 2021-07-23 北京华捷艾米科技有限公司 一种手部分割方法、装置、存储介质和设备
CN113158774B (zh) * 2021-03-05 2023-12-29 北京华捷艾米科技有限公司 一种手部分割方法、装置、存储介质和设备

Also Published As

Publication number Publication date
CN111539288B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109377530B (zh) 一种基于深度神经网络的双目深度估计方法
CN111311729B (zh) 一种基于双向投影网络的自然场景三维人体姿态重建方法
CN111160164B (zh) 基于人体骨架和图像融合的动作识别方法
CN113160375B (zh) 一种基于多任务学习算法的三维重建及相机位姿估计方法
CN108537754B (zh) 基于形变引导图的人脸图像复原***
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN112329525A (zh) 一种基于时空图卷积神经网络的手势识别方法和装置
CN112330729A (zh) 图像深度预测方法、装置、终端设备及可读存储介质
CN112837215B (zh) 一种基于生成对抗网络的图像形状变换方法
CN111539288B (zh) 一种双手姿势的实时检测方法
CN113628348A (zh) 一种确定三维场景中视点路径的方法及设备
CN111950477A (zh) 一种基于视频监督的单图像三维人脸重建方法
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN113221726A (zh) 一种基于视觉与惯性信息融合的手部姿态估计方法及***
CN113283525A (zh) 一种基于深度学习的图像匹配方法
CN113554039A (zh) 基于多注意力机制的动态图像的光流图生成方法和***
CN112712019A (zh) 一种基于图卷积网络的三维人体姿态估计方法
CN115565039A (zh) 基于自注意力机制的单目输入动态场景新视图合成方法
CN116524121A (zh) 一种单目视频三维人体重建方法、***、设备及介质
CN115035456A (zh) 视频去噪方法、装置、电子设备和可读存储介质
Lin et al. Efficient and high-quality monocular depth estimation via gated multi-scale network
CN117612204A (zh) 一种三维手部姿态估计器构建方法及***
Al Ismaeil et al. Real-time enhancement of dynamic depth videos with non-rigid deformations
CN115909496A (zh) 基于多尺度特征融合网络的二维手部姿态估计方法及***
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant