CN109086683B - 一种基于点云语义增强的人手姿态回归方法和*** - Google Patents
一种基于点云语义增强的人手姿态回归方法和*** Download PDFInfo
- Publication number
- CN109086683B CN109086683B CN201810758545.7A CN201810758545A CN109086683B CN 109086683 B CN109086683 B CN 109086683B CN 201810758545 A CN201810758545 A CN 201810758545A CN 109086683 B CN109086683 B CN 109086683B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- hand
- point
- cloud data
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009466 transformation Effects 0.000 claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001627 detrimental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于点云语义增强的人手姿态回归方法和***，提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息，基于语义分割信息对手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果，利用网络学习来对输入数据和输出进行几何变换的方法，使得人手姿态估计方法对于输入数据的几何变换更加鲁棒，将输入点云逐点分类子网络的语义信息和姿态回归子网络进行有效融合，使得人手姿态估计的性能得到进一步提升。
Description
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种基于点云语义增强的人手姿态回归方法和***。
背景技术
在基于视觉的人机交互中，人手姿态估计是指准确预测人手的骨架节点的三维坐标位置，在虚拟现实、增强现实、人机交互等领域有着广阔的应用前景。人手姿态估计问题在过去十几年内都是计算机视觉领域一个热门的研究点。
基于视觉的人手姿态估计方法可以分为2类:一类是基于表观的方法；通过机器学习从二维图像特征空间到三维人手姿态空间建立映射来估计人手的状态，基于表观方法的优点在于易于实现实时跟踪，缺点是为保证精度必须具有稠密的学习样本并在庞大的图像数据库中建立起高效的学习和搜索算法；另一类是基于模型的方法，把人手三维模型投影到二维图像空间，通过特征比较和数据估算修正三维模型中估计的姿态参数，
基于模型方法的优点在于估计结果更加精确，但这种方法的性能依赖于所选的模型，通常将深度图像作为单通道图像输入到二维卷积神经网络(Convolutional NeuralNetwork，CNN)中，然后预测人手姿态。然而，从二维图像映射到三维节点坐标是一个高度非线性的问题，输入和输出空间的不一致使得网络学习非常困难。近年来也有基于三维卷积神经网络(3D CNN)的方法，这类方法首先把深度图像转换成体素表示然后利用3D CNN来回归姿态。然而，3D体素需要把连续的坐标信息进行量化表示，从而引入了量化误差，对精确的人手姿态估计不利。同时，3D CNN的方法对内存占用较大，尤其当3D体素分辨率较高时尤为明显；训练出来的网络对输入的几何变换不鲁棒，且精度受限，此外，现有的方法大多基于热度图预测或者直接回归，姿态回归的性能低。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于点云语义增强的人手姿态回归方法和***。
根据本发明的第一个方面，提供一种基于点云语义增强的人手姿态回归方法，包括：
提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
根据本发明的第二个方面，提供一种基于点云语义增强的人手姿态回归设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述基于点云语义增强的人手姿态回归方法。
根据本发明的第二个方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述基于点云语义增强的人手姿态回归方法。
本发明提出一种基于点云语义增强的人手姿态回归方法和***，提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息，基于语义分割信息对手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果，利用网络学习来对输入数据和输出进行几何变换的方法，使得人手姿态估计方法对于输入数据的几何变换更加鲁棒，将输入点云逐点分类子网络的语义信息和姿态回归子网络进行有效融合，使得人手姿态估计的性能得到进一步提升。
附图说明
图1为本发明实施例的基于点云语义增强的人手姿态回归方法示意图；
图2为根据本发明实施例的基于点云语义增强的人手姿态回归方法的网络***示意图；
图3为根据本发明实施例的点云逐点分类子网络结构图；
图4为根据本发明实施例的姿态回归子网络结构图；
图5为根据本发明实施例的变换学习子网络结构图；
图6为根据本发明实施例的基于点云语义增强的人手姿态回归设备结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
虚拟操作人机交互过程中采用计算机视觉获取人手信息在交互的自然性与成本上有很大优势,是未来发展的主要趋势。由于人手的信息不能直接被计算机获取，人手姿态参数估计成为一项基础性工作。只有获得准确的人手姿态参数才能驱动场景中的虚拟手，保证人机交互的虚实一致性。
现有的人手姿态估算方法需要把深度图像转换成体素表示然后利用3D CNN来回归姿态。然而，3D体素需要把连续的坐标信息进行量化表示，从而引入了量化误差，对精确的人手姿态估计不利。同时，3D CNN的方法对内存占用较大，尤其当3D体素分辨率较高时尤为明显。
为了解决上述问题，针对现有技术中较少考虑输入数据的空间变换，导致训练出来的网络对输入的几何变换不鲁棒，且精度受限，且由于基于热度图预测或者直接回归，没有考虑如何结合输入数据的语义分割信息来提高姿态回归的性能，本发明实施例基于点云来对人手姿态进行估计，提出了一种基于点云语义增强的人手姿态回归方法，如图1所示，包括：
提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
具体的，在本实施例中，通过点云逐点分类子网络，以手部点云数据为输入，利用PointNet++网络对点云进行点云特征的提取，最后进行逐点的分类，得到点云的语义分割信息。利用姿态回归子网络同样以手部点云数据作为输入，输出人手姿态估计的最终结果，根据本发明实施例的方法建立的网络***如图2所示。
在本实施例中，利用网络学习来对输入数据和输出进行几何变换的方法，使得人手姿态估计方法对于输入数据的几何变换更加鲁棒，将输入点云逐点分类的语义分割信息和姿态回归子网络进行有效融合，使得人手姿态估计的性能得到进一步提升。
具体的，在上述实施例的基础上，提取手部点云数据的点云特征，并进行逐点分类，具体包括：
基于多个点云抽象层、多个点特征传播层和多层感知器构建点云逐点分类子网络，所述点云抽象层对手部点云数据进行采样和分组，并通过PointNet层对分组后的手部点云数据进行点云特征提取，将点云特征传输入对应的点特征传播层；所述点特征传播层对输入的点云特征进行插值操作，并跟相应的底层逐点特征进行串接融合；所述多层感知器用于基于串接融合后的底层逐点特征生成逐点分类的标签。
在本实施例中，如图3所示，为点云逐点分类子网络的结构框图，该结构基于PointNet++网络，共包括三个点云抽象层和三个点特征传播层。点云抽象层包括点云的采样和分组操作，并且利用PointNet层对分组的点云进行点云特征提取。点特征传播层首先将输入点云特征进行插值操作，再跟相应的底层逐点特征进行串接融合。网络最后利用多层感知器生成点云逐点分类的标签。
点云的数据结构就是一些三维空间的点坐标构成的点集，点云本质上是一长串点(nx3矩阵，其中n是点数)。在几何上，点的顺序不影响它在空间中对整体形状的表示，例如，相同的点云可以由两个完全不同的矩阵表示。
在本实施例中，直接将三维手部点云数据抛入网络进行训练，数据量小，图2是本发明实施例的基于点云语义增强的人手姿态回归方法的网络结构示意图，输入是包含n个点的手部点云数据(nx3),原始数据通过一个3D空间变换学习子网络T-Net，估计出3x3的输入变换矩阵Tin并作用在原始手部点云数据上，实现数据的对齐。
图3是点云逐点分类子网络结构图。该结构基于PointNet++网络，主干网络包括三个点云抽象层和三个点特征传播层，点云抽象层包括点云的采样和分组操作，并且利用PointNet层对分组的点云进行特征提取。点特征传播层首先将输入特征进行插值操作，再跟相应的底层逐点特征进行串接融合。网络最后利用多层感知器生成点云逐点分类的标签。
图4是姿态回归子网络结构图。该结构基于PointNet++网络，主干网络包括三个点云抽象层，逐点分类网络得到的分类标签信息在输入和输出层都和姿态回归网络进行特征融合。
在上述各实施例的基础上，基于所述语义分割信息对所述手部点云数据进行语义增强，还包括：
基于变换学习子网络，以手部点云数据为输入，通过三个PointNet层来提取点云特征，并基于三个全连接层学习得到点云特征的输入变换矩阵和输出变换矩阵。
如图5所示，在本实施例中，首先利用一个变换学习子网络(T-Net)来从输入点云中学习一个3×3的输入变换矩阵Tin，另外一个变换学习子网络(T-Net)从输入点云中学习一个3×3的输出变换矩阵Tout。
T-Net是一个预测特征空间变换矩阵的子网络，它从输入数据中学习出与特征空间维度一致的变换矩阵，然后用这个变换矩阵与原始数据向乘，实现对输入特征空间的变换操作，使得后续的每一个点都与输入数据中的每一个点都有关系。通过这样的数据融合，实现对原始点云数据包含特征的逐级抽象。
在上述各实施例的基础上，基于所述语义分割信息对所述手部点云数据进行语义增强，具体包括：
将所述手部点云数据和所述输入变换矩阵相乘后得到变换后的手部点云数据，将变换后的手部点云数据与所述语义分割信息进行第一次串接融合；提取第一次串接融合后手部点云数据的点云特征，并将提取后的点云特征与语义分割信息进行第二次串接融合。
具体的，利用输入变换矩阵Tin，将Tin和手部点云数据进行矩阵相乘后得到变换后的手部点云数据，将变换后的手部点云数据与点云逐点分类子网络分类学习出来的语义分割信息进行第一次串接融合，然后提取第一次串接融合后的手部点云数据的点云特征；并将提取后的点云特征与语义分割信息进行第二次串接融合，得到出手姿态预测结果。
另一个变换学习子网络从输入点云中学习一个3×3的输出变换矩阵Tout，输出变换矩阵Tout对手姿态预测结果进行几何变换，得到最终的手姿态预测结果。
在上述各实施例的基础上，在本实施例中，还包括对所述点云逐点分类子网络和所述姿态回归子网络进行网络训练，在网络训练过程中，需要同时优化三个损失函数：逐点分类损失函数，姿态回归损失函数以及矩阵互逆性损失函数。其中，逐点分类损失函数为交叉熵损失函数，姿态回归损失函数利用的是smooth L1损失函数，矩阵互逆性损失函数定义如下：
Lim＝||TinTout-I||2
该损失函数用来限制输出变换矩阵Tout为输入变换矩阵Tin的逆矩阵，I为单位矩阵,这样就能够使得网络保持了输入数据和输出姿态的几何变换一致性，同时也使得网络对输入数据的几何变换不敏感，且降低了网络的学习难度。
本实施例中，基于上述各实施例的基于点云语义增强的人手姿态回归方法，提供了一种基于点云语义增强的人手姿态回归***，如图2所示，包括点云逐点分类子网络和姿态回归子网络；
所述点云逐点分类子网络用于提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
所述姿态回归子网络用于基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
具体的，在本实施例中，点云逐点分类子网络和姿态回归子网络。点云逐点分类子网络以手部的点云数据作为输入，利用PointNet++网络对点云进行特征的提取，最后进行逐点的分类，得到点云的语义分割信息。姿态回归子网络同样以点云作为输入，输出人手姿态估计的最终结果。首先利用一个变换学习子网络(T-Net)来从输入点云中学习一个3×3的输入变换矩阵Tin，Tin和数据点云进行矩阵相乘后得到变换后的点云。变换后的点云跟点云逐点分类子网络学习出来的语义信息进行串接融合，然后进行点云特征的提取。提取后的点云特征再次跟点云的语义分割信息进行串接融合，来预测出手的姿态结果。另外一个变换学习子网络(T-Net)从输入点云中学习一个3×3的输出变换矩阵Tout，Tout对手的姿态估计进行几何变换，得到最终的手姿态估计结果。
在本实施例中，如图3所示，为点云逐点分类子网络的结构框图，该结构基于PointNet++网络，共包括三个点云抽象层和三个点特征传播层。点云抽象层包括点云的采样和分组操作，并且利用PointNet层对分组的点云进行点云特征提取。点特征传播层首先将输入点云特征进行插值操作，再跟相应的底层逐点特征进行串接融合。网络最后利用多层感知器生成点云逐点分类的标签。
在本实施例中，图4是姿态回归子网络结构图。该结构基于PointNet++网络，主干网络包括三个点云抽象层，点云逐点分类子网络得到的分类标签信息在输入和输出层都和姿态回归网络进行特征融合。T-Net是一个预测特征空间变换矩阵的子网络，它从输入数据中学习出与特征空间维度一致的变换矩阵，然后用这个变换矩阵与原始数据向乘，实现对输入特征空间的变换操作，使得后续的每一个点都与输入数据中的每一个点都有关系。通过这样的数据融合，实现对原始点云数据包含特征的逐级抽象。
图6是示出本申请实施例的基于点云语义增强的人手姿态回归设备的结构框图。
参照图6，所述基于点云语义增强的人手姿态回归设备，包括：处理器(processor)810、存储器(memory)830、通信接口(CommunicationsInterface)820和总线840；
其中，
所述处理器810、存储器830、通信接口820通过所述总线840完成相互间的通信；
所述通信接口820用于该测试设备与显示装置的通信设备之间的信息传输；
所述处理器810用于调用所述存储器830中的程序指令，以执行上述各方法实施例所提供的基于点云语义增强的人手姿态回归方法，例如包括：
提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行如上述的基于点云语义增强的人手姿态回归方法，例如包括：
提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
本实施例中还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述的基于点云语义增强的人手姿态回归方法，例如包括：
提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
综上所述，本发明实施例提出一种基于点云语义增强的人手姿态回归方法和***，提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息，基于语义分割信息对手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果利用网络学习来对输入数据和输出进行几何变换的方法，使得人手姿态估计方法对于输入数据的几何变换更加鲁棒，将输入点云逐点分类子网络的语义信息和姿态回归子网络进行有效融合，使得人手姿态估计的性能得到进一步提升。
以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (9)
1.一种基于点云语义增强的人手姿态回归方法，其特征在于，包括：
提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果；
所述基于所述语义分割信息对所述手部点云数据进行语义增强，还包括：
基于变换学习子网络，以手部点云数据为输入，通过三个PointNet层来提取点云特征，并基于三个全连接层学习得到点云特征的输入变换矩阵和输出变换矩阵。
2.根据权利要求1所述的基于点云语义增强的人手姿态回归方法，其特征在于，提取手部点云数据的点云特征，并进行逐点分类，具体包括：
基于多个点云抽象层、多个点特征传播层和多层感知器构建点云逐点分类子网络，所述点云抽象层对手部点云数据进行采样和分组，并通过PointNet层对分组后的手部点云数据进行点云特征提取，将点云特征传输入对应的点特征传播层；所述点特征传播层对输入的点云特征进行插值操作，并跟相应的底层逐点特征进行串接融合；所述多层感知器用于基于串接融合后的底层逐点特征生成逐点分类的标签。
3.根据权利要求1所述的基于点云语义增强的人手姿态回归方法，其特征在于，基于所述语义分割信息对所述手部点云数据进行语义增强，具体包括：
将所述手部点云数据和所述输入变换矩阵相乘后得到变换后的手部点云数据，将变换后的手部点云数据与所述语义分割信息进行第一次串接融合；提取第一次串接融合后手部点云数据的点云特征，并将提取后的点云特征与语义分割信息进行第二次串接融合。
4.根据权利要求3所述的基于点云语义增强的人手姿态回归方法，其特征在于，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果具体包括：
基于所述输出变换矩阵，对所述手姿态预测结果进行几何变换，得到手姿态回归结果。
5.根据权利要求4所述的基于点云语义增强的人手姿态回归方法，其特征在于，基于三个全连接层学习得到点云特征的输出变换矩阵后还包括：
基于矩阵互逆性损失函数对所述输入变换矩阵和所述输出变换矩阵进行优化，使所述输出变换矩阵为所述输入变换矩阵的逆矩阵。
6.根据权利要求5所述的基于点云语义增强的人手姿态回归方法，其特征在于，所述矩阵互逆性损失函数为：
Lim＝||TinTout-I||2
式中，Tin为输入变换矩阵，Tout为输出变换矩阵，I为单位矩阵。
7.一种基于点云语义增强的人手姿态回归***，其特征在于，包括点云逐点分类子网络和姿态回归子网络；
所述点云逐点分类子网络用于提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；
所述姿态回归子网络用于基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果；所述基于所述语义分割信息对所述手部点云数据进行语义增强，还包括：基于变换学习子网络，以手部点云数据为输入，通过三个PointNet层来提取点云特征，并基于三个全连接层学习得到点云特征的输入变换矩阵和输出变换矩阵。
8.一种基于点云语义增强的人手姿态回归设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810758545.7A CN109086683B (zh) | 2018-07-11 | 2018-07-11 | 一种基于点云语义增强的人手姿态回归方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810758545.7A CN109086683B (zh) | 2018-07-11 | 2018-07-11 | 一种基于点云语义增强的人手姿态回归方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086683A CN109086683A (zh) | 2018-12-25 |
| CN109086683B true CN109086683B (zh) | 2020-09-15 |
Family
ID=64837459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810758545.7A Active CN109086683B (zh) | 2018-07-11 | 2018-07-11 | 一种基于点云语义增强的人手姿态回归方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086683B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3714290B1 (en) | 2019-01-30 | 2022-08-03 | Baidu.com Times Technology (Beijing) Co., Ltd. | Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles |
| US11308639B2 (en) * | 2019-03-12 | 2022-04-19 | Volvo Car Corporation | Tool and method for annotating a human pose in 3D point cloud data |
| CN110120047B (zh) * | 2019-04-04 | 2023-08-08 | 平安科技（深圳）有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
| CN110059608B (zh) * | 2019-04-11 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
| CN111832358A (zh) * | 2019-04-19 | 2020-10-27 | 北京京东叁佰陆拾度电子商务有限公司 | 一种点云语义解析方法和装置 |
| CN110262939B (zh) * | 2019-05-14 | 2023-07-21 | 苏宁金融服务(上海)有限公司 | 算法模型运行监控方法、装置、计算机设备和存储介质 |
| CN110135340A (zh) * | 2019-05-15 | 2019-08-16 | 中国科学技术大学 | 基于点云的3d手部姿态估计方法 |
| CN110210431B (zh) * | 2019-06-06 | 2021-05-11 | 上海黑塞智能科技有限公司 | 一种基于点云语义标注和优化的点云分类方法 |
| CN110555412B (zh) * | 2019-09-05 | 2023-05-16 | 深圳龙岗智能视听研究院 | 基于rgb和点云相结合的端到端人体姿态识别方法 |
| JP2022548532A (ja) | 2019-09-23 | 2022-11-21 | カヌー テクノロジーズ インク | 矩形断面を持つコイル要素を備えた分数スロット電気モータ |
| CN111161364B (zh) * | 2019-12-24 | 2022-11-18 | 东南大学 | 一种针对单视角深度图的实时形状补全和姿态估计方法 |
| CN111325757B (zh) * | 2020-02-18 | 2022-12-23 | 西北工业大学 | 一种基于贝叶斯神经网络的点云识别与分割方法 |
| CN111368733B (zh) * | 2020-03-04 | 2022-12-06 | 电子科技大学 | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 |
| CN111428619B (zh) * | 2020-03-20 | 2022-08-05 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
| CN112396655B (zh) * | 2020-11-18 | 2023-01-03 | 哈尔滨工程大学 | 一种基于点云数据的船舶目标6d位姿估计方法 |
| CN113095251B (zh) * | 2021-04-20 | 2022-05-27 | 清华大学深圳国际研究生院 | 一种人体姿态估计方法及*** |
| CN113205531B (zh) * | 2021-04-30 | 2024-03-08 | 北京云圣智能科技有限责任公司 | 三维点云分割方法、装置及服务器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060078172A1 (en) * | 2004-06-03 | 2006-04-13 | Arizona Board Of Regents, A Body Corporate Of The State Of Arizona | 3D face authentication and recognition based on bilateral symmetry analysis |
| US9934590B1 (en) * | 2015-06-25 | 2018-04-03 | The United States Of America As Represented By The Secretary Of The Air Force | Tchebichef moment shape descriptor for partial point cloud characterization |
| CN108171217A (zh) * | 2018-01-29 | 2018-06-15 | 深圳市唯特视科技有限公司 | 一种基于点融合网络的三维物体检测方法 |
| CN108268878A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车（北京）有限公司 | 三维全卷积网络实现设备 |
-
2018
- 2018-07-11 CN CN201810758545.7A patent/CN109086683B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060078172A1 (en) * | 2004-06-03 | 2006-04-13 | Arizona Board Of Regents, A Body Corporate Of The State Of Arizona | 3D face authentication and recognition based on bilateral symmetry analysis |
| US9934590B1 (en) * | 2015-06-25 | 2018-04-03 | The United States Of America As Represented By The Secretary Of The Air Force | Tchebichef moment shape descriptor for partial point cloud characterization |
| CN108268878A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车（北京）有限公司 | 三维全卷积网络实现设备 |
| CN108171217A (zh) * | 2018-01-29 | 2018-06-15 | 深圳市唯特视科技有限公司 | 一种基于点融合网络的三维物体检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Hand PointNet:3D Hand Pose Estimation using Point Sets;Liuhao Ge et al;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;8417-8426 * |
| Hand pose estimation through semi-supervised and weakly-supervised learning;Natalia Neverova et al;《Computer Vision and Image Understanding》;20171130;第164卷;56-67 * |
| PointNet:Deep Learning on Point Sets 3D Classification and Segmentation;Charles R.Qi et al;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20170726;77-85 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109086683A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086683B (zh) | 一种基于点云语义增强的人手姿态回归方法和*** | |
| JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
| JP7373554B2 (ja) | クロスドメイン画像変換 | |
| JP7412847B2 (ja) | 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN115841534A (zh) | 虚拟对象的运动控制方法以及装置 | |
| WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
| CN114758337A (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| KR20230132350A (ko) | 연합 감지 모델 트레이닝, 연합 감지 방법, 장치, 설비 및 매체 | |
| Su et al. | Monocular depth estimation using information exchange network | |
| Xu | [Retracted] Fast Modelling Algorithm for Realistic Three‐Dimensional Human Face for Film and Television Animation | |
| CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
| CN115953468A (zh) | 深度和自运动轨迹的估计方法、装置、设备及存储介质 | |
| CN117745944A (zh) | 预训练模型确定方法、装置、设备以及存储介质 | |
| CN116402914B (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN117094362A (zh) | 一种任务处理方法及相关装置 | |
| CN110197226B (zh) | 一种无监督图像翻译方法及*** | |
| CN113240780B (zh) | 生成动画的方法和装置 | |
| CN115775300A (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
| Bhattacharyya et al. | Efficient unsupervised monocular depth estimation using attention guided generative adversarial network | |
| CN112991501B (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| CN114913330A (zh) | 点云部件分割方法、装置、电子设备与存储介质 | |
| CN114821228A (zh) | 深度图像输出模型训练方法、深度图像获取方法及装置 | |
| Chang | DR‐Net: denoising and reconstruction network for 3D human pose estimation from monocular RGB videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |