CN111860267A - 一种基于人体骨骼关节点位的多通道健身运动识别方法 - Google Patents

一种基于人体骨骼关节点位的多通道健身运动识别方法 Download PDF

Info

Publication number
CN111860267A
CN111860267A CN202010667131.0A CN202010667131A CN111860267A CN 111860267 A CN111860267 A CN 111860267A CN 202010667131 A CN202010667131 A CN 202010667131A CN 111860267 A CN111860267 A CN 111860267A
Authority
CN
China
Prior art keywords
human body
joint point
above formula
data
bone joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010667131.0A
Other languages
English (en)
Other versions
CN111860267B (zh
Inventor
林型双
蔡建平
刘若愚
叶力
何喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou City University
Original Assignee
Hangzhou City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou City University filed Critical Hangzhou City University
Priority to CN202010667131.0A priority Critical patent/CN111860267B/zh
Publication of CN111860267A publication Critical patent/CN111860267A/zh
Application granted granted Critical
Publication of CN111860267B publication Critical patent/CN111860267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人体骨骼关节点位的多通道健身运动识别方法，包括：步骤1、采集人体运动深度图像时序数据；步骤2、建立用于第一通道的人体骨骼关节点位变化数据集。本发明的有益效果是：本发明通过基于LSTM的深度学习算法的双通道模型进行学习训练后，对运动姿态进行识别，骨骼关节点位数据相比于传统的图像数据更加精确，定位和检测人体运动更加准确；引入地面方程，能准确的判断人体关节点位和所在地面的空间关系，进而能更准确的识别人体的空间关系，增强识别方法对不同环境变化的适应性；先采用NTU RGB+D数据集中的骨架数据对模型进行训练，再使用自建的人体健身运动数据集进行迁移学习训练，提升模型识别的准确率。

Description

一种基于人体骨骼关节点位的多通道健身运动识别方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于人体骨骼关节点位的多通道健身运动识别方法。
背景技术
为加快推动从以治病为中心转变为以人民健康为中心，政府部门动员全社会落实预防为主方针，实施健康中国行动，提高全民健康水平。在政府部门支持下，公众对健身运动也比以往更加重视。而在进行健身运动时，不标准或不规范的健身动作往往会使运动效果适得其反，不利于社会公众健康素质的提升，还有可能带来运动损伤。选用更准确的健身运动识别方法对于社会公共健康具有重要意义。
在图像识别技术中，基于传统的RGB CV的识别方法虽具有丰富的图像信息，但在提取人体运动特征时候，往往会受到环境光照水平和技术本身的限制而影响其识别的速度和识别准确率；而近些年提出的基于深度图像关节点判断，虽能提取出骨骼关节点位进行了识别判断，但很难确定其运动者在运动时的人***置(如地面)和设备间的位置关系，在运动动作准确率方面同样受限。
相关文献如下：
邓小亚于2019年刊载在西南师范大学学报(自然科学版)上的《基于RGB颜色空间的视频运动目标检测》；
许艳、侯振杰、梁久祯、陈宸、贾靓和宋毅于2018年刊载在计算机辅助设计与图形学学报上的《权重融合深度图像与骨骼关键帧的行为识别》。
发明内容
本发明的目的是克服现有技术中的不足，提供一种基于人体骨骼关节点位的多通道健身运动识别方法。
这种基于人体骨骼关节点位的多通道健身运动识别方法，包括以下步骤：
步骤1、采集人体运动深度图像时序数据：招募各年龄段的志愿者若干名，在对志愿者进行专业健身运动培训后，让志愿者在标准时间内进行健身运动动作，使用AzureKinect DK 对志愿者运动过程的深度图像时间序列数据进行采集；
步骤2、建立用于第一通道的人体骨骼关节点位变化数据集：
步骤3、建立用于第二通道的人体骨骼关节点位与地面距离数据集；
步骤4、参照人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集的建立方法，对NTU RGB+D数据集中的数据进行处理，将NTU RGB+D数据集划分为基于NTURGB +D的人体骨骼关节点位变化数据集和基于NTU RGB+D的人体骨骼关节点位与地面距离数据集；
步骤5、建立基于LSTM的深度学习算法的双通道模型，使用基于LSTM的深度学习算法分别对运动时的人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集进行训练，并将第一通道和第二通道的结果融合后输出，得出分类结果；
步骤6、将Azure Kinect DK深度摄像头采集到的使用者运动数据经过步骤2、步骤3和步骤4的处理后，输入步骤5建立的基于LSTM的深度学习算法的双通道模型，进行健身运动识别。
作为优选，所述步骤2具体包括如下步骤：
步骤2.1、获取采集到的深度图像中的人体t个关节点位的骨骼关节点位数据，t∈[1,32] 每一帧数据为：
xj＝{a1,a2,…,ak,…,a32}
上式中，j为下标，ai为一组三维坐标，第k组三维坐标ak＝(akx,aky,akz)；akx、aky和akz分别为ak的x坐标、y坐标和z坐标；
一组序列数据为：
x＝{x1,x2,…,xj,…,xn}
上式中，n为一组数据的总帧数，j为下标；每组序列数据的标签为yi，将一组序列数组表示为(xi,yi)；
步骤2.2、将人体骨骼关节点位变化数据集划分为训练集和测试集。
作为优选，所述步骤3具体包括如下步骤：
步骤3.1、确定最低平面点集合：由于在实际视野中存在多个平面，因此，需要找出视野中最低的平面，通过Azure Kinect DK深度摄像头，选择沿着重力方向上垂直距离与深度相机最远的点的集合，由于三维点云图像中存在噪声，则规定高度差在设定距离μ厘米的点为一个平面，将点与单位化的重力向量相乘，得到相对于原点的高度H：
Figure RE-GDA0002650513970000031
上式中，P为点云中的一个点，G为重力向量,H为相对于原点的高度；
步骤3.2、获取视野中最低的一组点：
步骤3.2.1、在空间几何中，最低平面方程为：
Ax+By+Cz+D＝0
上式中，平面的法向量n＝[A,B,C]，其中A、B、C、D均为常数；删除一个组件，指定 C＝1，则有：
Ax+By+D＝-z
步骤3.2.2、将步骤4.1中Ax+By+D＝-z转化为矩阵形式：
Figure RE-GDA0002650513970000032
上式中n为这一组点的下标上限；A、B、D均为常数；
步骤3.2.3、将矩阵转置并执行最小二乘法：
Figure RE-GDA0002650513970000033
上式中，n为这一组点的下标上限；A、B、D均为常数；N为点集合中点的个数，转置并执行最小二乘法的结果为：
Figure RE-GDA0002650513970000034
上式中，N为点集合中点的个数，A、B、D均为常数；i为这一组点的下标上限；化简得：
Figure RE-GDA0002650513970000035
上式中，N为点集合中点的个数，A、B、D均为常数；i为这一组点的下标上限；
步骤3.2.4、对上式剔除一个维度：
Figure RE-GDA0002650513970000041
上式中，A、B均为常数；i为这一组点的下标上限；
步骤3.2.5、根据克拉默法则求解确定平面：
D＝∑xx∑yy-∑xy∑xy
a＝(∑yz∑xy-∑xz∑yy)/D
b＝(∑xy∑xz-xx∑yz)/D
n＝[A,B,1]
上式中，A、B、D均为常数；n为平面的法向量；
步骤3.3、确定平面后，对人体骨骼关节点位变化数据集中的数据进行处理，建立人体骨骼关节点位与地面距离数据集；
步骤3.3.1、读取序列数据中每一帧的信息
xj＝{a1,a2,…,ak,…,a32}
上式中，j为下标，ak为第k组三维坐标，ak＝(akx,aky,akz)；
步骤3.3.2、计算a1～a32的距离数据：
Figure RE-GDA0002650513970000042
上式中，dk为第k组三维坐标的距离数据，akx、aky和akz分别为ak的x坐标、y坐标和z坐标；A、B、C、D均为常数；
步骤3.3.3、将第二通道的帧数据更新为：
xj＝{d1,d2,…,dk,…,d32}
上式中，j、k均为下标；则一组序列数据为：
x＝{x1,x2,…,xj,…,xn}
上式中，n为一组数据的总帧数，j为下标；
步骤3.3.4、每组序列数据的标签为yi，将一组序列数组表示为(xi,yi)，i为下标；
步骤3.3.5、人体骨骼关节点位与地面距离数据集建立完成后，将人体骨骼关节点位与地面距离数据集划分为训练集和测试集。
作为优选，所述步骤5具体包括如下步骤：
步骤5.1、通过遗忘门决定要舍弃的信息：
ft＝σ(Wf·[ht-1,xt]+bf)
上式中，ft为遗忘门，σ为sigmod函数，Wf为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bf为偏置项；
步骤5.2、通过输入门决定要输入的信息：
it＝σ(Wi·[ht-1,xt]+bi)
上式中，it为输入门，σ为sigmod函数，Wi为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bi为偏置项；
步骤5.2.1、计算备选的更新内容C′t：
C′t＝tanh(WC·[ht-1,xt]+bC)
上式中，C′t为备选的更新内容，WC为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bC为偏置项；
步骤5.2.2、更新细胞状态Ct：
Ct＝ft*Ct-1+it*C′t
上式中，Ct为更新后的细胞状态，ft为遗忘门，Ct-1为更新前的细胞状态，it为输入门， C′t为备选的更新内容；
步骤5.3、通过输出门输出：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
上式中，ot为输出门，Wo为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bo为偏置项；
步骤5.4、采用交叉熵损失函数作为损失函数：
Figure RE-GDA0002650513970000051
上式中，i为下标，C为类别数；yi为指示变量，若预测结果与实际样本类别相同，则指示变量yi为1，反之指示变量yi为0；pi为预测该样本类别的概率；
步骤5.5、通过Softmax进行分类，对应的运动类别为最大值：
Figure RE-GDA0002650513970000061
上式中，zi表示神经网络输出时第i个结点的输出值，zj表示神经网络输出时第j个结点的输出值，i、j为下标，C为类别数；
步骤5.6、采用基于NTU RGB+D的人体骨骼关节点位变化数据集和基于NTU RGB+D的人体骨骼关节点位与地面距离数据集对基于LSTM的深度学习算法的双通道模型进行训练，让基于LSTM的深度学习算法对人体的日常姿态进行学习；
步骤5.7、进行迁移学习训练：将人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集输入基于LSTM的深度学习算法的双通道模型完成模型训练。
作为优选，所述步骤1中所述健身运动动作包括深蹲、后抬腿跑、平板支撑、卷腹、悬垂举腿、仰卧起坐和俯卧撑。
作为优选，所述步骤3.2.1中最低平面方程为超定的解空间。
作为优选，所述步骤3.1中规定高度差在设定距离为3厘米的点为一个平面。
本发明的有益效果是：本发明基于LSTM的深度学习算法的双通道模型对人体骨骼关节点位在运动中的时序数据进行学习训练后，对运动姿态进行识别，骨骼关节点位数据相比于传统的图像数据更加精确，定位和检测人体运动更加准确；本发明引入地面方程，能准确的判断人体关节点位和所在地面的空间关系，进而能更准确的识别人体的空间关系，增强识别方法对不同环境变化的适应性；本发明先采用NTU RGB+D数据集中的骨架数据对模型进行训练，让模型对人体日常中正常的活动动作进行学习，再使用自建的人体健身运动数据集进行迁移学习训练，提升模型识别的准确率。
附图说明
图1为Azure Kinect DK深度摄像头的示意图；
图2为基于LSTM的深度学习算法的双通道模型的处理流程图；
图3为健身运动识别流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
本发明提出一种基于人体骨骼关节点位的多通道健身运动识别方法，通过采集运动者在运动过程中人体骨骼关节点位的时序数据，并结合地面方程，从而可以准确判断人体关节点位和所在地面的空间关系，然后采用深度学习中的LSTM神经网络，建立双通道模型对运动动作进行识别，在模型的训练上，我们先采用了NTU RGB+D数据集中的骨架数据对模型进行训练，再使用自建的人体健身运动的数据集进行迁移学习训练，在运动识别率和识别速度方面得到明显改善。
作为一种实施例，如图3所示，一种基于人体骨骼关节点位的多通道健身运动识别方法，包括以下步骤：
步骤1、采集人体运动深度图像时序数据：招募各年龄段的志愿者若干名，在对志愿者进行专业健身运动培训后，让志愿者在标准时间内进行健身运动动作，使用如图1所示的 Azure Kinect DK对志愿者运动过程的深度图像时间序列数据进行采集；健身运动动作包括深蹲、后抬腿跑、平板支撑、卷腹、悬垂举腿、仰卧起坐和俯卧撑；
步骤2、建立用于第一通道的人体骨骼关节点位变化数据集：
步骤2.1、获取采集到的深度图像中的人体t个关节点位的骨骼关节点位数据，t∈[1,32] 每一帧数据为：
xj＝{a1,a2,…,ak,…,a32}
上式中，j为下标，ai为一组三维坐标，第k组三维坐标ak＝(akx,aky,akz)；akx、aky和akz分别为ak的x坐标、y坐标和z坐标；
一组序列数据为：
x＝{x1,x2,…,xj,…,xn}
上式中，n为一组数据的总帧数，j为下标；每组序列数据的标签为yi，将一组序列数组表示为(xi,yi)；
步骤2.2、将人体骨骼关节点位变化数据集划分为训练集和测试集；
步骤3、建立用于第二通道的人体骨骼关节点位与地面距离数据集；
步骤3.1、确定最低平面点集合：通过Azure Kinect DK深度摄像头，选择沿着重力方向上垂直距离与深度相机最远的点的集合，规定高度差在设定距离3厘米的点为一个平面，将点与单位化的重力向量相乘，得到相对于原点的高度H：
Figure RE-GDA0002650513970000071
上式中，P为点云中的一个点，G为重力向量,H为相对于原点的高度；
步骤3.2、获取视野中最低的一组点：
步骤3.2.1、在空间几何中，最低平面方程为：
Ax+By+Cz+D＝0
上式中，平面的法向量n＝[A,B,C]，其中A、B、C、D均为常数；最低平面方程为超定的解空间；删除一个组件，指定C＝1，则有：
Ax+By+D＝-z
步骤3.2.2、将步骤4.1中Ax+By+D＝-z转化为矩阵形式：
Figure RE-GDA0002650513970000081
上式中n为这一组点的下标上限；A、B、D均为常数；
步骤3.2.3、将矩阵转置并执行最小二乘法：
Figure RE-GDA0002650513970000082
上式中，n为这一组点的下标上限；A、B、D均为常数；N为点集合中点的个数，转置并执行最小二乘法的结果为：
Figure RE-GDA0002650513970000083
上式中，N为点集合中点的个数，A、B、D均为常数；i为这一组点的下标上限；化简得：
Figure RE-GDA0002650513970000084
上式中，N为点集合中点的个数，A、B、D均为常数；i为这一组点的下标上限；
步骤3.2.4、对上式剔除一个维度：
Figure RE-GDA0002650513970000091
上式中，A、B均为常数；i为这一组点的下标上限；
步骤3.2.5、根据克拉默法则求解确定平面：
D＝∑xx∑yy-∑xy∑xy
a＝(∑yz∑xy-∑xz∑yy)/D
b＝(∑xy∑xz-xx∑yz)/D
n＝[A,B,1]
上式中，A、B、D均为常数；n为平面的法向量；
步骤3.3、确定平面后，对人体骨骼关节点位变化数据集中的数据进行处理，建立人体骨骼关节点位与地面距离数据集；
步骤3.3.1、读取序列数据中每一帧的信息
xj＝{a1,a2,…,ak,…,a32}
上式中，j为下标，ak为第k组三维坐标，ak＝(akx,aky,akz)；
步骤3.3.2、计算a1～a32的距离数据：
Figure RE-GDA0002650513970000092
上式中，dk为第k组三维坐标的距离数据，akx、aky和akz分别为ak的x坐标、y坐标和z坐标；A、B、C、D均为常数；
步骤3.3.3、将第二通道的帧数据更新为：
xj＝{d1,d2,…,dk,…,d32}
上式中，j、k均为下标；则一组序列数据为：
x＝{x1,x2,…,xj,…,xn}
上式中，n为一组数据的总帧数，j为下标；
步骤3.3.4、每组序列数据的标签为yi，将一组序列数组表示为(xi,yi)，i为下标；
步骤3.3.5、人体骨骼关节点位与地面距离数据集建立完成后，将人体骨骼关节点位与地面距离数据集划分为训练集和测试集；
步骤4、参照人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集的建立方法，对NTU RGB+D数据集中的数据进行处理，将NTU RGB+D数据集划分为基于NTURGB +D的人体骨骼关节点位变化数据集和基于NTU RGB+D的人体骨骼关节点位与地面距离数据集；
步骤5、建立如图2所示的基于LSTM的深度学习算法的双通道模型，使用基于LSTM的深度学习算法分别对运动时的人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集进行训练，并将第一通道和第二通道的结果融合后输出，得出分类结果；
步骤5.1、通过遗忘门决定要舍弃的信息：
ft＝σ(Wf·[ht-1,xt]+bf)
上式中，ft为遗忘门，σ为sigmod函数，Wf为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bf为偏置项；
步骤5.2、通过输入门决定要输入的信息：
it＝σ(Wi·[ht-1,xt]+bi)
上式中，it为输入门，σ为sigmod函数，Wi为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bi为偏置项；
步骤5.2.1、计算备选的更新内容C′t：
C′t＝tanh(WC·[ht-1,xt]+bC)
上式中，C′t为备选的更新内容，WC为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bC为偏置项；
步骤5.2.2、更新细胞状态Ct：
Ct＝ft*Ct-1+it*C′t
上式中，Ct为更新后的细胞状态，ft为遗忘门，Ct-1为更新前的细胞状态，it为输入门， C′t为备选的更新内容；
步骤5.3、通过输出门输出：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
上式中，ot为输出门，Wo为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bo为偏置项；
步骤5.4、采用交叉熵损失函数作为损失函数：
Figure RE-GDA0002650513970000111
上式中，i为下标，C为类别数；yi为指示变量，若预测结果与实际样本类别相同，则指示变量yi为1，反之指示变量yi为0；pi为预测该样本类别的概率；
步骤5.5、通过Softmax进行分类，对应的运动类别为最大值：
Figure RE-GDA0002650513970000112
上式中，zi表示神经网络输出时第i个结点的输出值，zj表示神经网络输出时第j个结点的输出值，i、j为下标，C为类别数；
步骤5.6、采用基于NTU RGB+D的人体骨骼关节点位变化数据集和基于NTU RGB+D的人体骨骼关节点位与地面距离数据集对基于LSTM的深度学习算法的双通道模型进行训练，让基于LSTM的深度学习算法对人体的日常姿态进行学习；
步骤5.7、进行迁移学习训练：将人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集输入基于LSTM的深度学习算法的双通道模型完成模型训练。
步骤6、将Azure Kinect DK深度摄像头采集到的使用者运动数据经过步骤2、步骤3和步骤4的处理后，输入步骤5建立的基于LSTM的深度学习算法的双通道模型，进行健身运动识别。

Claims (7)

1.一种基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于，包括以下步骤：
步骤1、采集人体运动深度图像时序数据：招募各年龄段的志愿者若干名，在对志愿者进行专业健身运动培训后，让志愿者在标准时间内进行健身运动动作，使用Azure KinectDK对志愿者运动过程的深度图像时间序列数据进行采集；
步骤2、建立用于第一通道的人体骨骼关节点位变化数据集：
步骤3、建立用于第二通道的人体骨骼关节点位与地面距离数据集；
步骤4、参照人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集的建立方法，对NTU RGB+D数据集中的数据进行处理，将NTU RGB+D数据集划分为基于NTU RGB+D的人体骨骼关节点位变化数据集和基于NTU RGB+D的人体骨骼关节点位与地面距离数据集；
步骤5、建立基于LSTM的深度学习算法的双通道模型，使用基于LSTM的深度学习算法分别对运动时的人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集进行训练，并将第一通道和第二通道的结果融合后输出，得出分类结果；
步骤6、将Azure Kinect DK深度摄像头采集到的使用者运动数据经过步骤2、步骤3和步骤4的处理后，输入步骤5建立的基于LSTM的深度学习算法的双通道模型，进行健身运动识别。
2.根据权利要求1所述基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于，所述步骤2具体包括如下步骤：
步骤2.1、获取采集到的深度图像中的人体t个关节点位的骨骼关节点位数据，t∈[1,32]每一帧数据为：
xj＝{a1,a2,…,ak,…,a32}
上式中，j为下标，ai为一组三维坐标，第k组三维坐标ak＝(akx,aky,akz)；akx、aky和akz分别为ak的x坐标、y坐标和z坐标；
一组序列数据为：
x＝{x1,x2,…,xj,…,xn}
上式中，n为一组数据的总帧数，j为下标；每组序列数据的标签为yi，将一组序列数组表示为(xi,yi)；
步骤2.2、将人体骨骼关节点位变化数据集划分为训练集和测试集。
3.根据权利要求1所述基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于，所述步骤3具体包括如下步骤：
步骤3.1、确定最低平面点集合：通过Azure Kinect DK深度摄像头，选择沿着重力方向上垂直距离与深度相机最远的点的集合，规定高度差在设定距离μ厘米的点为一个平面，将点与单位化的重力向量相乘，得到相对于原点的高度H：
Figure FDA0002580895000000021
上式中，P为点云中的一个点，G为重力向量,H为相对于原点的高度；
步骤3.2、获取视野中最低的一组点：
步骤3.2.1、在空间几何中，最低平面方程为：
Ax+By+Cz+D＝0
上式中，平面的法向量n＝[A,B,C]，其中A、B、C、D均为常数；删除一个组件，指定C＝1，则有：
Ax+By+D＝-z
步骤3.2.2、将步骤4.1中Ax+By+D＝-z转化为矩阵形式：
Figure FDA0002580895000000022
上式中n为这一组点的下标上限；A、B、D均为常数；
步骤3.2.3、将矩阵转置并执行最小二乘法：
Figure FDA0002580895000000023
上式中，n为这一组点的下标上限；A、B、D均为常数；N为点集合中点的个数，转置并执行最小二乘法的结果为：
Figure FDA0002580895000000024
上式中，N为点集合中点的个数，A、B、D均为常数；i为这一组点的下标上限；化简得：
Figure FDA0002580895000000031
上式中，N为点集合中点的个数，A、B、D均为常数；i为这一组点的下标上限；
步骤3.2.4、对上式剔除一个维度：
Figure FDA0002580895000000032
上式中，A、B均为常数；i为这一组点的下标上限；
步骤3.2.5、根据克拉默法则求解确定平面：
D＝∑xx∑yy-∑xy∑xy
a＝(∑yz∑xy-∑xz∑yy)/D
b＝(∑xy∑xz-xx∑yz)/D
n＝[A,B,1]
上式中，A、B、D均为常数；n为平面的法向量；
步骤3.3、确定平面后，对人体骨骼关节点位变化数据集中的数据进行处理，建立人体骨骼关节点位与地面距离数据集；
步骤3.3.1、读取序列数据中每一帧的信息
xj＝{a1,a2,…,ak,…,a32}
上式中，j为下标，ak为第k组三维坐标，ak＝(akx,aky,akz)；
步骤3.3.2、计算a1～a32的距离数据：
Figure FDA0002580895000000033
上式中，dk为第k组三维坐标的距离数据，akx、aky和akz分别为ak的x坐标、y坐标和z坐标；A、B、C、D均为常数；
步骤3.3.3、将第二通道的帧数据更新为：
xj＝{d1,d2,…,dk,…,d32}
上式中，j、k均为下标；则一组序列数据为：
x＝{x1,x2,…,xj,…,xn}
上式中，n为一组数据的总帧数，j为下标；
步骤3.3.4、每组序列数据的标签为yi，将一组序列数组表示为(xi,yi)，i为下标；
步骤3.3.5、人体骨骼关节点位与地面距离数据集建立完成后，将人体骨骼关节点位与地面距离数据集划分为训练集和测试集。
4.根据权利要求1所述基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于，所述步骤5具体包括如下步骤：
步骤5.1、通过遗忘门决定要舍弃的信息：
ft＝σ(Wf·[ht-1,xt]+bf)
上式中，ft为遗忘门，σ为sigmod函数，Wf为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bf为偏置项；
步骤5.2、通过输入门决定要输入的信息：
it＝σ(Wi·[ht-1,xt]+bi)
上式中，it为输入门，σ为sigmod函数，Wi为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bi为偏置项；
步骤5.2.1、计算备选的更新内容C′t：
C′t＝tanh(WC·[ht-1,xt]+bC)
上式中，C′t为备选的更新内容，WC为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bC为偏置项；
步骤5.2.2、更新细胞状态Ct：
Ct＝ft*Ct-1+it*C′t
上式中，Ct为更新后的细胞状态，ft为遗忘门，Ct-1为更新前的细胞状态，it为输入门，C′t为备选的更新内容；
步骤5.3、通过输出门输出：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
上式中，ot为输出门，Wo为权值，ht-1为上一时刻隐藏层的输出，xt为当前的输入，bo为偏置项；
步骤5.4、采用交叉熵损失函数作为损失函数：
Figure FDA0002580895000000051
上式中，i为下标，C为类别数；yi为指示变量，若预测结果与实际样本类别相同，则指示变量yi为1，反之指示变量yi为0；pi为预测该样本类别的概率；
步骤5.5、通过Softmax进行分类，对应的运动类别为最大值：
Figure FDA0002580895000000052
上式中，zi表示神经网络输出时第i个结点的输出值，zj表示神经网络输出时第j个结点的输出值，i、j为下标，C为类别数；
步骤5.6、采用基于NTU RGB+D的人体骨骼关节点位变化数据集和基于NTU RGB+D的人体骨骼关节点位与地面距离数据集对基于LSTM的深度学习算法的双通道模型进行训练，让基于LSTM的深度学习算法对人体的日常姿态进行学习；
步骤5.7、进行迁移学习训练：将人体骨骼关节点位变化数据集和人体骨骼关节点位与地面距离数据集输入基于LSTM的深度学习算法的双通道模型完成模型训练。
5.根据权利要求1所述基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于：所述步骤1中所述健身运动动作包括深蹲、后抬腿跑、平板支撑、卷腹、悬垂举腿、仰卧起坐和俯卧撑。
6.根据权利要求3所述基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于：所述步骤3.2.1中最低平面方程为超定的解空间。
7.根据权利要求3所述基于人体骨骼关节点位的多通道健身运动识别方法，其特征在于：所述步骤3.1中规定高度差在设定距离为3厘米的点为一个平面。
CN202010667131.0A 2020-07-13 2020-07-13 一种基于人体骨骼关节点位的多通道健身运动识别方法 Active CN111860267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010667131.0A CN111860267B (zh) 2020-07-13 2020-07-13 一种基于人体骨骼关节点位的多通道健身运动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010667131.0A CN111860267B (zh) 2020-07-13 2020-07-13 一种基于人体骨骼关节点位的多通道健身运动识别方法

Publications (2)

Publication Number Publication Date
CN111860267A true CN111860267A (zh) 2020-10-30
CN111860267B CN111860267B (zh) 2022-06-14

Family

ID=72983266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010667131.0A Active CN111860267B (zh) 2020-07-13 2020-07-13 一种基于人体骨骼关节点位的多通道健身运动识别方法

Country Status (1)

Country Link
CN (1) CN111860267B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112193959A (zh) * 2020-09-25 2021-01-08 浙江新再灵科技股份有限公司 电梯异响检测方法及***
CN112478975A (zh) * 2020-12-09 2021-03-12 浙江新再灵科技股份有限公司 基于音频特征的电梯门故障检测方法
CN112801060A (zh) * 2021-04-07 2021-05-14 浙大城市学院 运动动作识别方法及装置、模型、电子设备、存储介质
CN112971784A (zh) * 2021-05-20 2021-06-18 浙大城市学院 一种可穿戴骨传导疲劳驾驶检测方法及装置
CN113298013A (zh) * 2021-06-08 2021-08-24 Tcl通讯（宁波）有限公司 运动动作矫正方法、装置、存储介质及电子设备
CN115211846A (zh) * 2022-03-14 2022-10-21 北京中科睿医信息科技有限公司 一种基于深度传感器的重复座椅起立测试定量评估方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792330B1 (en) * 2005-09-30 2010-09-07 Mustang Technology Group, L.P. System and method for determining range in response to image data
CN107833271A (zh) * 2017-09-30 2018-03-23 中国科学院自动化研究所 一种基于Kinect的骨骼重定向方法及装置
CN109325476A (zh) * 2018-11-20 2019-02-12 齐鲁工业大学 一种基于三维视觉的人体异常姿态检测***及方法
WO2019048482A1 (en) * 2017-09-07 2019-03-14 Piur Imaging Gmbh APPARATUS AND METHOD FOR DETERMINING THE MOTION OF AN ULTRASONIC PROBE
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及***
CN110135249A (zh) * 2019-04-04 2019-08-16 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110826453A (zh) * 2019-10-30 2020-02-21 西安工程大学 一种通过提取人体关节点坐标的行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792330B1 (en) * 2005-09-30 2010-09-07 Mustang Technology Group, L.P. System and method for determining range in response to image data
WO2019048482A1 (en) * 2017-09-07 2019-03-14 Piur Imaging Gmbh APPARATUS AND METHOD FOR DETERMINING THE MOTION OF AN ULTRASONIC PROBE
CN107833271A (zh) * 2017-09-30 2018-03-23 中国科学院自动化研究所 一种基于Kinect的骨骼重定向方法及装置
CN109325476A (zh) * 2018-11-20 2019-02-12 齐鲁工业大学 一种基于三维视觉的人体异常姿态检测***及方法
CN110135249A (zh) * 2019-04-04 2019-08-16 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及***
CN110826453A (zh) * 2019-10-30 2020-02-21 西安工程大学 一种通过提取人体关节点坐标的行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SONGYANG ZHANG 等: "Fusing Geometric Features for Skeleton-Based Action Recognition Using Multilayer LSTM Networks", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112193959A (zh) * 2020-09-25 2021-01-08 浙江新再灵科技股份有限公司 电梯异响检测方法及***
CN112478975A (zh) * 2020-12-09 2021-03-12 浙江新再灵科技股份有限公司 基于音频特征的电梯门故障检测方法
CN112801060A (zh) * 2021-04-07 2021-05-14 浙大城市学院 运动动作识别方法及装置、模型、电子设备、存储介质
CN112971784A (zh) * 2021-05-20 2021-06-18 浙大城市学院 一种可穿戴骨传导疲劳驾驶检测方法及装置
CN113298013A (zh) * 2021-06-08 2021-08-24 Tcl通讯（宁波）有限公司 运动动作矫正方法、装置、存储介质及电子设备
CN115211846A (zh) * 2022-03-14 2022-10-21 北京中科睿医信息科技有限公司 一种基于深度传感器的重复座椅起立测试定量评估方法和装置

Also Published As

Publication number Publication date
CN111860267B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111860267B (zh) 一种基于人体骨骼关节点位的多通道健身运动识别方法
CN112150478B (zh) 一种构建半监督图像分割框架的方法及***
CN106446930B (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN106384093B (zh) 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
CN107103298A (zh) 基于图像处理的引体向上计数***及计数方法
CN111274954A (zh) 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN108133188A (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN106570522B (zh) 物体识别模型的建立方法及物体识别方法
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练***、方法、终端
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN105160400A (zh) 基于l21范数的提升卷积神经网络泛化能力的方法
CN105205449A (zh) 基于深度学习的手语识别方法
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN109522961A (zh) 一种基于字典深度学习的半监督图像分类方法
CN106897669A (zh) 一种基于一致迭代多视角迁移学习的行人再辨识方法
CN109919036A (zh) 基于时域分析深度网络的工人作业姿势分类方法
CN109190472A (zh) 基于图像与属性联合引导的行人属性识别方法
CN112766165B (zh) 基于深度神经网络与全景分割的跌倒预判方法
CN109508661A (zh) 一种基于物体检测和姿态估计的举手者检测方法
CN112200138B (zh) 基于计算机视觉的课堂学情分析方法
CN113762009A (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
Choi et al. Motion recognition technology based remote Taekwondo Poomsae evaluation system
CN109948527A (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
Liu et al. Trampoline motion decomposition method based on deep learning image recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant