CN113536892A - 姿态识别方法、装置、可读存储介质及电子设备 - Google Patents

姿态识别方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN113536892A
CN113536892A CN202110522590.4A CN202110522590A CN113536892A CN 113536892 A CN113536892 A CN 113536892A CN 202110522590 A CN202110522590 A CN 202110522590A CN 113536892 A CN113536892 A CN 113536892A
Authority
CN
China
Prior art keywords
point cloud
cloud data
target
human body
moments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110522590.4A
Other languages
English (en)
Other versions
CN113536892B (zh
Inventor
宋春龙
张欣慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Health Industry Investment Holdings Co ltd
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Health Industry Investment Holdings Co ltd
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Health Industry Investment Holdings Co ltd, Taikang Insurance Group Co Ltd filed Critical Taikang Health Industry Investment Holdings Co ltd
Priority to CN202110522590.4A priority Critical patent/CN113536892B/zh
Publication of CN113536892A publication Critical patent/CN113536892A/zh
Application granted granted Critical
Publication of CN113536892B publication Critical patent/CN113536892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种姿态识别方法、装置、可读存储介质及电子设备，方法包括：获得连续的n个时刻的待识别点云数据，将连续的n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以得到人体的人体姿态识别结果。由于本发明实施例的人体姿态识别结果是通过训练得到的识别精度较高的目标识别模型，并基于连续连续的n个时刻的人体点云数据进行人体姿态识别，输出人体姿态识别结果，从而提高了人体姿态识别结果的准确性。

Description

姿态识别方法、装置、可读存储介质及电子设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种姿态识别方法、装置、可读存储介质及电子设备。
背景技术
目前，部分人群由于各种原因导致腿脚不灵活，在日常生活中，随时有发生跌倒的风险，跌倒直接威胁该类人群的身体健康。因此，人体姿态识别已经成为一个极具意义的研究热点。
现有技术中，基于图像进行人体姿态识别，以识别人体的人体姿态，人体姿态包括站立、行走、坐姿、跌到等。然而，直接利用图像进行人体姿态识别的方法，得到的人体姿态识别结果准确率较低。
发明内容
本发明实施例的目的在于提供一种姿态识别方法、装置、可读存储介质及电子设备，以解决人体姿态识别结果准确率较低的问题。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种当前姿态识别方法，执行于区块链节点，包括：
获得连续的n个时刻的待识别点云数据，其中，所述待识别点云数据包括激光雷达采集的关于室内人体的点云数据；
将连续的所述n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到所述n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，其中，所述目标识别模型为基于连续的n个时刻的样本点云数据，对预先构建的识别模型训练得到的；
将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以得到所述人体的人体姿态识别结果；
其中，所述n个时刻包括第k时刻至第k+n-1个时刻，k为大于等于0的整数，n为大于等于1的整数，k≤t≤k+n-1。
在本发明实施的第二方面，还提供了一种姿态识别装置，包括：
第一获得模块，用于获得连续的n个时刻的待识别点云数据，其中，所述待识别点云数据包括激光雷达采集的关于室内人体的点云数据；
第二获得模块，用于将连续的所述n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到所述n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，其中，所述目标识别模型为基于连续的n个时刻的样本点云数据，对预先构建的识别模型训练得到的；
识别模块，用于将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以得到所述人体的人体姿态识别结果；
其中，所述n个时刻包括第k时刻至第k+n-1个时刻，k为大于等于0的整数，n为大于等于1的整数，k≤t≤k+n-1。
本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
本发明的第四方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的方法的步骤。
本实施例提供的当前姿态识别方法，通过获得连续的n个时刻的待识别点云数据，将连续的n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以得到人体的人体姿态识别结果。由于本发明实施例的人体姿态识别结果是通过训练得到的识别精度较高的目标识别模型，并基于连续连续的n个时刻的人体点云数据进行人体姿态识别，输出人体姿态识别结果，从而提高了人体姿态识别结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例中提供的一种姿态识别方法的步骤流程图；
图2是本发明实施例提供的一种某一时刻的待识别点云数据的数据结构示意图；
图3是本发明实施例提供的一种分组后形成的体素的结构示意图；
图4是本发明实施例提供的一种网络结构的示意图；
图5是本发明实施例提供的一种姿态识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
参照图1，图1是本发明实施例中提供的一种姿态识别方法的步骤流程图。该方法的执行主体可以为任意具有处理能力的电子设备，例如，计算机、笔记本电脑等执行。该方法包括如下步骤：
步骤101、获得连续的n个时刻的待识别点云数据，其中，待识别点云数据包括激光雷达采集的关于室内人体的点云数据。
本实施例中，连续的n个时刻的待识别点云数据例如为连续的n秒的待识别点云数据，例如，获取从第1秒至第10秒的待识别点云数据，n等于10，即获得连续的10秒的待识别点云数据，需要说明的是，每一秒对应一个待识别点云数据，一个待识别点云数据的数据结构例如如图2所示。图2是本发明实施例提供的一种某一时刻的待识别点云数据的数据结构示意图。待识别点云数据的数据结构中的每个点都包含反射率信息。
步骤102、将连续的n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵。
其中，目标识别模型为基于连续的n个时刻的样本点云数据，对预先构建的识别模型训练得到的。目标识别模型包括第一网络模型和第二网络模型，第一网络模型包括体素神经网络模型，第二网络模型包括循环神经网络模型。步骤102将连续的n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，可以通过如下步骤实现：
对第t时刻的待识别点云数据进行分组，得到N个第一体素；
从N个第一体素中第i个第一体素包括的点云数据中取出预设数目的点云数据，以得到第i个第二体素，其中，第i个第二体素包括从第i个体素随机取出的点云数据；
根据N个第二体素包括的点云数据，得到N个第二体素的特征向量；
根据N个第二体素的特征向量，得到第t时刻的待识别点云数据对应的目标三维张量矩阵；
其中，N为大于等于1的整数，1≤i≤N。
需要说明的是，体素(voxel)是体积元素(volumepixel)的简称，如图3所示，图3是本发明实施例提供的一种分组后形成的体素的结构示意图，将某个时刻的点云数据分组后，形成3维栅格化体素，图3中示出了1、2、3、4共4个体素。
本实施例中，例如k等于1，n等于10，则t等于1、2、3、……10。以对第第1秒的待识别点云数据进行分组为例，得到N个第一体素。如图3所示，例如得到4个第一体素，之后从4个第一体素中第1个第一体素包括的点云数据中取出预设数目的点云数据，以得到第1个第二体素。可以随机从第1个第一体素包括的点云数据中取出预设数目的点云数据，得到第1个第二体素；再随机从第2个第一体素包括的点云数据中取出预设数目的点云数据，得到第2个第二体素；依次类推，共得到4个第二体素。
本实施例中，根据N个第二体素包括的点云数据，得到N个第二体素的特征向量，可以通过如下步骤实现：
根据N个第二体素中第i个第二体素包括的点云数据，确定第二体素中第i个第二体素的质心的坐标；
根据第i个第二体素的质心的坐标，确定N个第二体素中第i个第二体素的特征向量。
需要说明的是，对于第i个第二体素来说，一般都包含以下信息(xi,yi,zi,ri)xi,yi,zi为第i个第二体素的空间坐标，ri为reflectance反射率(反射率有时也用intensity的缩写i表示)，通过每个第二体素内包括的所有点云数据，可以求得d第i个第二体素的质心的坐标为(vx,vy,vz)，则第i个第二体素的特征长度由4个变为7个，第i个第二体素的特征向量为[xi,yi,zi,ri,vx,vy,vz]。
其中，根据N个第二体素的特征向量，得到第t时刻的待识别点云数据对应的目标三维张量矩阵的步骤可以通过如下方式实现：
对N个第二体素的特征向量进行分批处理，得到M个分批结果；
对M个分批结果中第j个分批结果进行池化处理，得到第j个分批结果的局部聚合特征；
根据将M个局部聚合特征，得到第t时刻的待识别点云数据对应的目标三维张量矩阵；
其中，M为大于等于1的整数，1≤j≤M。
根据上述介绍可知，共有N个第二体素，每个第二体素对应一个特征向量，共得到N个特征向量，之后通过全连接层得到第t时刻的待识别点云数据对应的目标三维张量矩阵。全连接层例如包括线性层、批处理层、和ReLU层，线性整流函数(ReLU，Rectified LinearUnit)，又称修正线性单元，是一种人工神经网络中常用的激活函数(activationfunction)。可以先对N个特征向量进行分批处理，得到M个分批结果。例如可以通过激活函数计算后，再通过批处理层对N个特征向量进行分批处理。再对M个分批结果中第j个分批结果进行池化处理，得到第j个分批结果的局部聚合特征，例如可以通过最大池化层max-pool运算对第j个分批结果进行池化处理，得到第j个分批结果的局部聚合特征。共得到M个局部聚合特征，将M个局部聚合特征输入隐含层，以通过隐含层对M个局部聚合特征进行全连接计算，得到第t时刻的待识别点云数据对应的三维张量矩阵，可以将该三维张量矩阵作为第t时刻对应的目标三维张量矩阵。经过全连接计算后，即可以将连续的n个时刻的人体特征进行关联，从而实现基于连续n个时刻的人体的点云数据，得到人体姿态的识别结果。
可选的，根据将M个局部聚合特征，得到第t时刻的待识别点云数据对应的目标三维张量矩阵，可以通过如下步骤实现：
对M个局部聚合特征进行全连接计算，得到第t时刻对应的三维张量矩阵；
对第t时刻对应的三维张量矩阵进行卷积处理，以得到第t时刻对应的目标三维张量矩阵。
通过全连接计算，得到第t时刻的待识别点云数据对应的三维张量矩阵后，可以将该三维张量矩阵作为第t时刻对应的目标三维张量矩阵。或者在得到该三维张量矩阵后，再经过卷积层对第t时刻对应的三维张量矩阵进行卷积处理，将经过卷积层处理后的三维张量矩阵作为第t时刻对应的目标三维张量矩阵。
需要说明的是，将经过全连接计算得到的三维张量矩阵输入到卷积层进行卷积计算后，可以获取更多的关于人体姿态的描述特征。
定义卷积函数为ConvMD(cin,cout,cs,ck(k,s,p))，其中，cin表示输入的特征的长度、cout表示输出的特征长度，cs代表维度，ck(k,s,p)分别表示卷积核大小。可以共经过3层卷积计算。第一层卷积函数例如为：ConMD(128,64,3,(2,1,1))，起始cin是128维，是上一步计算出来的定义例，实际运用的时候可以进行修改。第二层卷积例如为：ConMD(64,64,3,(1,1,1))；第三层卷积函数例如为：ConMD(64,64,3,(2,1,1))。
步骤103、将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以得到人体的人体姿态识别结果。
其中，n个时刻包括第k时刻至第k+n-1个时刻，k为大于等于0的整数，n为大于等于1的整数，k≤t≤k+n-1。
本发明实施例提供的姿态识别方法，能够基于连续n个时刻的人体的点云数据，识别出人体姿态识别结果。人体姿态包括但不限于站姿、坐姿、跌倒、行走等等。
本发明实施例中，步骤103将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以得到人体的人体姿态识别结果可以通过如下步骤实现：
将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以通过第二网络模型提取n个目标三维张量矩阵的时间维度上的特征；
基于时间维度上的特征和n个目标三维张量矩阵，得到目标四维张量矩阵；
根据目标四维张量矩阵，得到人体的人体姿态识别结果。
其中，第二网络模型可以为10层的循环神经网络模型，用于提取n个目标三维张量矩阵的时间维度上的特征。
t-1、t、t+1表示时间序列，xt表示输入的第t时刻的样本，该样本指第t时刻对应的目标三维张量矩阵，st表示样本在时间t处的的记忆，st＝f(W×st-1+U×xt)，Ot表示第t时刻对应的输出，Ot用于表示第t时刻对应的人体姿态。W表示第t时刻的上一时刻的记忆的权重，U表示输入的第t时刻的样本的权重，V表示当前时刻的记忆的权重。t＝1时，可以参照如下公式(1)、(2)、(3)。
h1＝U×x1+W×s0 公式(1)
s1＝f(h1) 公式(2)
O1＝g(V×s1) 公式(3)
其中，f和g均为激活函数，其中f可以是tanh，relu，sigmoid等激活函数，g通常是softmax也可以是其他。
时间向后推进，此时的状态s1作为时刻t＝1的记忆状态参与到下一个时刻t＝2的预测活动，可以参照如下公式(4)、(5)、(6)，同时可以结合图4所示，图4是本发明实施例提供的一种网络结构的示意图。如图4中，W、st-1、U、xt作为t时刻的输入，得到t时刻的输出；W、st、U、xt+1作为t+1时刻的输入，得到t+1时刻的输出。
h2＝U×x2+W×s1 公式(4)
s2＝f(h2) 公式(5)
O2＝g(V×s2) 公式(6)
以此类推，可以得到最终的输出值为：
ht＝U×xt+W×st-1 公式(7)
st＝f(ht) 公式(8)
Ot＝g(V×st) 公式(9)
结合公式(7)、(8)、(9)，当前时刻的输出与当前时刻的上一时刻的记忆和当前时刻的样本有关，也即识别的当前时刻的人体姿态与当前时刻的上一时刻的记忆和当前时刻的样本有关，最终再结合10个时刻的人体姿态，确定最终得到的人体的人体姿态识别结果。
需要说明的是，基于连续n个时刻的记忆，可以得到n个目标三维张量矩阵的时间维度上的特征。
可选的，基于连续的n个时刻的样本点云数据，对预先构建的识别模型进行训练包括如下步骤：
获得连续的n个时刻的样本点云数据，其中，样本点云数据包括激光雷达采集的关于室内人体的点云数据；
将连续的n个时刻的样本点云数据输入预设识别模型中的体素神经网络模型，以得到n个时刻中第t时刻的样本点云数据的目标三维张量矩阵；
将n个时刻对应的n个目标三维张量矩阵输入预设识别模型中的神经网络模型，以得到人体的人体姿态识别结果；
根据人体姿态识别结果，调整预设识别模型的训练参数，以得到目标识别模型。
需要说明的是，训练参数例如包括上述的U、V和W。根据人体姿态识别结果，调整预设识别模型的训练参数，调整训练参数后，继续基于样本点云数据进行训练，直至基于得到的人体姿态识别结果和连续n个时刻的人体姿态的实际值，采用损失函数得到的数值小于或等于预设阈值的情况下，训练结束，得到目标识别模型。得到目标识别模型后，可以采用测试集对目标识别模型进行测试，判断识别结果的正确率是否大于等于预设正确率阈值，若没有达到预设真确率阈值，则可以再进行训练。该训练过程可以参见一般模型的训练过程，此处不再详述。
实际生活中，人体的重心因为各种原因会在某一高度合理停留，例如，蹲下捡起某个掉落在地上的物品，这个状态短暂停留后又恢复站姿或坐姿等正常姿态，这不能算是人体跌倒。因此，为了提高人体姿态例如跌倒的准确性，需要考虑连续时长内的数据，例如在连续10秒过程中，正常步速的走动中突然重心跌倒这样才是具有实践意义的，确定的人体跌倒才是真实可靠的。基于此，发明实施例中，通过第一网络模型和第二网络模型的结合，实现提取连续n个时刻的时间维度的样本点云数据相关性特征，然后通过连续n个时刻的样本点云数据完成深度学习，从而训练出具有较高的跌倒识别精度的目标识别模型。
在先技术中，基于图像的人体姿态识别方法，对图像的光照条件要求较高，若图像是摄像设备在光线条件较暗的环境中采集的图像，则会影响识别图像中的人体区域，进而影响人体姿态识别结果，导致人体姿态识别结果的准确性较低。并且图像中一般人体区域占比在20％左右，需先识别出图像中的人体区域，因此，导致额外的计算开销。并且，由于摄像设备无法穿透或绕过障碍物，例如，如果某个老人在桌子旁边跌倒，而桌子挡住了老人的身体，导致摄像设备无法采集到包括老人人体的图像，因此，基于图像的人体姿态识别还存在抗干扰能力差的问题。由于是基于图像检测，图像中会包含人体的着装、打扮等信息，从而可能会造成用户隐私泄漏的风险。而本发明实施例的人体姿态识别结果是通过训练处的识别精度较高的目标识别模型，输出人体姿态识别结果，从而提高了人体姿态识别结果的准确性。并且，由于本发明实施例基于连续的n个时刻的人体点云数据进行人体姿态识别，因此，不会受到光照条件的影响。并且，本实施例提供的方法也不需要识别人体图像区域，从而避免了额外的计算开销。而人体点云数据是由激光雷达获取的，激光雷达具有穿透障碍物的功能，因此，该方法的抗干扰性也较强。人体点云数据不包括人体图像，用户隐私数据也不会泄露。
本发明实施例提供的姿态识别方法，通过获得连续的n个时刻的待识别点云数据，将连续的n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以得到人体的人体姿态识别结果。由于本发明实施例的人体姿态识别结果是通过训练得到的识别精度较高的目标识别模型，并基于连续连续的n个时刻的人体点云数据进行人体姿态识别，输出人体姿态识别结果，从而提高了人体姿态识别结果的准确性。
参照图5，图5是本发明实施例提供的一种姿态识别装置的结构示意图，该装置500设置于电子设备，该装置500包括：
第一获得模块510，用于获得连续的n个时刻的待识别点云数据，其中，所述待识别点云数据包括激光雷达采集的关于室内人体的点云数据；
第二获得模块520，用于将连续的所述n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到所述n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，其中，所述目标识别模型为基于连续的n个时刻的样本点云数据，对预先构建的识别模型训练得到的；
识别模块530，用于将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以得到所述人体的人体姿态识别结果；
其中，所述n个时刻包括第k时刻至第k+n-1个时刻，k为大于等于0的整数，n为大于等于1的整数，k≤t≤k+n-1。
本发明实施例提供的姿态识别装置，通过获得连续的n个时刻的待识别点云数据，将连续的n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，将n个时刻对应的n个目标三维张量矩阵输入目标识别模型中的第二网络模型，以得到人体的人体姿态识别结果。由于本发明实施例的人体姿态识别结果是通过训练得到的识别精度较高的目标识别模型，并基于连续连续的n个时刻的人体点云数据进行人体姿态识别，输出人体姿态识别结果，从而提高了人体姿态识别结果的准确性。
可选的，所述第二获得模块520，包括：
分组单元，用于对所述第t时刻的待识别点云数据进行分组，得到N个第一体素；
第一获得单元，用于从N个所述第一体素中第i个第一体素包括的点云数据中取出预设数目的点云数据，以得到第i个第二体素，其中，所述第i个第二体素包括从所述第i个体素随机取出的点云数据；
第二获得单元，用于根据N个所述第二体素包括的点云数据，得到N个所述第二体素的特征向量；
第三获得单元，用于根据N个所述第二体素的特征向量，得到所述第t时刻的待识别点云数据对应的目标三维张量矩阵；
其中，N为大于等于1的整数，1≤i≤N。
可选的，所述第二获得单元，具体用于根据所述第i个第二体素的质心的坐标，确定N个所述第二体素中所述第i个第二体素的特征向量。
可选的，所述第三获得单元，包括：
第一获得子单元，用于对N个所述第二体素的特征向量进行分批处理，得到M个分批结果；
第二获得子单元，用于对M个所述分批结果中第j个分批结果进行池化处理，得到所述第j个分批结果的局部聚合特征；
第三获得子单元，用于根据M个局部聚合特征，得到所述第t时刻的待识别点云数据对应的目标三维张量矩阵；
其中，M为大于等于1的整数，1≤j≤M。
可选的，第三获得子单元，具体用于对所述M个局部聚合特征进行全连接计算，得到所述第t时刻对应的三维张量矩阵；
对所述第t时刻对应的三维张量矩阵进行卷积处理，以得到所述第t时刻对应的所述目标三维张量矩阵。
可选的，所述识别模块，具体用于将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以通过所述第二网络模型提取所述n个目标三维张量矩阵的时间维度上的特征；
基于所述时间维度上的特征和所述n个目标三维张量矩阵，得到目标四维张量矩阵；
根据所述目标四维张量矩阵，得到所述人体的人体姿态识别结果。
可选的，还包括，训练模块，用于获得连续的n个时刻的样本点云数据，其中，所述样本点云数据包括激光雷达采集的关于室内人体的点云数据；
将连续的所述n个时刻的样本点云数据输入预设识别模型中的体素神经网络模型，以得到所述n个时刻中第t时刻的样本点云数据的目标三维张量矩阵；
将所述n个时刻对应的n个目标三维张量矩阵输入所述预设识别模型中的神经网络模型，以得到所述人体的人体姿态识别结果；
根据所述人体姿态识别结果，调整所述预设识别模型的训练参数，以得到所述目标识别模型。
另外，本发明实施例还提供一种电子设备，该电子设备包括处理器，存储器，用于存储处理器的可执行指令，其中，处理器配置为经由执行可执行指令来执行上述实施例提供的姿态识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的姿态识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的姿态识别方法的相应步骤，并且用于实现根据本发明实施例的姿态识别装置中的相应模块。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的姿态识别方法不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的姿态识别方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种姿态识别方法，其特征在于，包括：
获得连续的n个时刻的待识别点云数据，其中，所述待识别点云数据包括激光雷达采集的关于室内人体的点云数据；
将连续的所述n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到所述n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，其中，所述目标识别模型为基于连续的n个时刻的样本点云数据，对预先构建的识别模型训练得到的；
将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以得到所述人体的人体姿态识别结果；
其中，所述n个时刻包括第k时刻至第k+n-1个时刻，k为大于等于0的整数，n为大于等于1的整数，k≤t≤k+n-1。
2.根据权利要求1所述的方法，其特征在于，所述将连续的所述n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到所述n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，包括：
对所述第t时刻的待识别点云数据进行分组，得到N个第一体素；
从N个所述第一体素中第i个第一体素包括的点云数据中取出预设数目的点云数据，以得到第i个第二体素，其中，所述第i个第二体素包括从所述第i个体素随机取出的点云数据；
根据N个所述第二体素包括的点云数据，得到N个所述第二体素的特征向量；
根据N个所述第二体素的特征向量，得到所述第t时刻的待识别点云数据对应的目标三维张量矩阵；
其中，N为大于等于1的整数，1≤i≤N。
3.根据权利要求2所述的方法，其特征在于，所述根据N个所述第二体素包括的点云数据，得到N个所述第二体素的特征向量，包括：
根据N个所述第二体素中所述第i个第二体素包括的点云数据，确定所述第二体素中第i个第二体素的质心的坐标；
根据所述第i个第二体素的质心的坐标，确定N个所述第二体素中所述第i个第二体素的特征向量。
4.根据权利要求2所述的方法，其特征在于，所述根据N个所述第二体素的特征向量，得到所述第t时刻的待识别点云数据对应的目标三维张量矩阵，包括：
对N个所述第二体素的特征向量进行分批处理，得到M个分批结果；
对M个所述分批结果中第j个分批结果进行池化处理，得到所述第j个分批结果的局部聚合特征；
根据M个局部聚合特征，得到所述第t时刻的待识别点云数据对应的目标三维张量矩阵；
其中，M为大于等于1的整数，1≤j≤M。
5.根据权利要求4所述的方法，其特征在于，所述根据将M个局部聚合特征，得到所述第t时刻的待识别点云数据对应的目标三维张量矩阵，包括：
对所述M个局部聚合特征进行全连接计算，得到所述第t时刻对应的三维张量矩阵；
对所述第t时刻对应的三维张量矩阵进行卷积处理，以得到所述第t时刻对应的所述目标三维张量矩阵。
6.根据权利要求1所述的方法，其特征在于，所述将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以得到所述人体的人体姿态识别结果，包括：
将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以通过所述第二网络模型提取所述n个目标三维张量矩阵的时间维度上的特征；
基于所述时间维度上的特征和所述n个目标三维张量矩阵，得到目标四维张量矩阵；
根据所述目标四维张量矩阵，得到所述人体的人体姿态识别结果。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于连续的n个时刻的样本点云数据，对预先构建的识别模型进行训练包括：
获得连续的n个时刻的样本点云数据，其中，所述样本点云数据包括激光雷达采集的关于室内人体的点云数据；
将连续的所述n个时刻的样本点云数据输入预设识别模型中的体素神经网络模型，以得到所述n个时刻中第t时刻的样本点云数据的目标三维张量矩阵；
将所述n个时刻对应的n个目标三维张量矩阵输入所述预设识别模型中的神经网络模型，以得到所述人体的人体姿态识别结果；
根据所述人体姿态识别结果，调整所述预设识别模型的训练参数，以得到所述目标识别模型。
8.一种姿态识别装置，其特征在于，包括：
第一获得模块，用于获得连续的n个时刻的待识别点云数据，其中，所述待识别点云数据包括激光雷达采集的关于室内人体的点云数据；
第二获得模块，用于将连续的所述n个时刻的待识别点云数据输入目标识别模型中的第一网络模型，以得到所述n个时刻中第t时刻的待识别点云数据的目标三维张量矩阵，其中，所述目标识别模型为基于连续的n个时刻的样本点云数据，对预先构建的识别模型训练得到的；
识别模块，用于将所述n个时刻对应的n个目标三维张量矩阵输入所述目标识别模型中的第二网络模型，以得到所述人体的人体姿态识别结果；
其中，所述n个时刻包括第k时刻至第k+n-1个时刻，k为大于等于0的整数，n为大于等于1的整数，k≤t≤k+n-1。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN202110522590.4A 2021-05-13 2021-05-13 姿态识别方法、装置、可读存储介质及电子设备 Active CN113536892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110522590.4A CN113536892B (zh) 2021-05-13 2021-05-13 姿态识别方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110522590.4A CN113536892B (zh) 2021-05-13 2021-05-13 姿态识别方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113536892A true CN113536892A (zh) 2021-10-22
CN113536892B CN113536892B (zh) 2023-11-21

Family

ID=78095381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522590.4A Active CN113536892B (zh) 2021-05-13 2021-05-13 姿态识别方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113536892B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937321A (zh) * 2022-09-27 2023-04-07 荣耀终端有限公司 一种电子设备的姿态检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN110168559A (zh) * 2017-12-11 2019-08-23 北京嘀嘀无限科技发展有限公司 用于识别和定位车辆周围物体的***和方法
CN110852182A (zh) * 2019-10-21 2020-02-28 华中科技大学 一种基于三维空间时序建模的深度视频人体行为识别方法
US20200167954A1 (en) * 2018-11-23 2020-05-28 Volvo Car Corporation Lidar-based multi-person pose estimation
CN112766120A (zh) * 2021-01-11 2021-05-07 中国科学院计算技术研究所 基于深度点云的三维人体姿态估计方法与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN110168559A (zh) * 2017-12-11 2019-08-23 北京嘀嘀无限科技发展有限公司 用于识别和定位车辆周围物体的***和方法
US20200167954A1 (en) * 2018-11-23 2020-05-28 Volvo Car Corporation Lidar-based multi-person pose estimation
CN110852182A (zh) * 2019-10-21 2020-02-28 华中科技大学 一种基于三维空间时序建模的深度视频人体行为识别方法
CN112766120A (zh) * 2021-01-11 2021-05-07 中国科学院计算技术研究所 基于深度点云的三维人体姿态估计方法与***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王亚威: "面向机器人操作的室内单个三维物体识别与姿态估计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
肖仕华 等: "基于深度学习的三维点云头部姿态估计", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937321A (zh) * 2022-09-27 2023-04-07 荣耀终端有限公司 一种电子设备的姿态检测方法和装置
CN115937321B (zh) * 2022-09-27 2023-09-22 荣耀终端有限公司 一种电子设备的姿态检测方法和装置

Also Published As

Publication number Publication date
CN113536892B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
US20200074165A1 (en) Image analysis using neural networks for pose and action identification
CN109919245B (zh) 深度学习模型训练方法及装置、训练设备及存储介质
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111401517B (zh) 一种感知网络结构搜索方法及其装置
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
EP3813661A1 (en) Human pose analysis system and method
Xiong et al. S3D-CNN: skeleton-based 3D consecutive-low-pooling neural network for fall detection
CN109902623B (zh) 一种基于感知压缩的步态识别方法
Yu et al. An object-based visual attention model for robotic applications
CN109670380A (zh) 动作识别、姿势估计的方法及装置
GB2584400A (en) Processing captured images
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN111008583A (zh) 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN112149602B (zh) 动作计数方法、装置、电子设备及存储介质
CN113536892B (zh) 姿态识别方法、装置、可读存储介质及电子设备
CN111275703A (zh) 图像检测方法、装置、计算机设备和存储介质
Ma et al. Human motion gesture recognition based on computer vision
WO2021109118A1 (en) Object re-identification using pose part based models
Sheikdavood et al. Polycystic ovary cyst segmentation using adaptive k-means with reptile search algorith
CN110490049A (zh) 基于多特征和svm区分人体平衡障碍的方法
Putro et al. Fast person detector with efficient multi-level contextual block for supporting assistive robot
CN113065637B (zh) 一种感知网络及数据处理方法
Castro-Vargas et al. 3DCNN performance in hand gesture recognition applied to robot arm interaction
Ren et al. Parallel deep learning ensembles for human pose estimation
Clauss et al. A statistical measure for evaluating regions-of-interest based attention algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant