CN112315456A - 基于跳接注意力机制的人体动作预测方法 - Google Patents
基于跳接注意力机制的人体动作预测方法 Download PDFInfo
- Publication number
- CN112315456A CN112315456A CN202011067849.2A CN202011067849A CN112315456A CN 112315456 A CN112315456 A CN 112315456A CN 202011067849 A CN202011067849 A CN 202011067849A CN 112315456 A CN112315456 A CN 112315456A
- Authority
- CN
- China
- Prior art keywords
- human
- human body
- decoder
- jump
- time step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 96
- 230000009471 action Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 230000007774 longterm Effects 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000576 supplementary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于跳接注意力机制的人体动作预测方法，包括：将归一化的每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取人体骨骼点序列的分层特征；将编码器最后一个时间步提取的分层特征聚合得到人体动作的长期语义向量；将编码器最后一个时间步的各层隐藏变量作为解码器的初始隐藏变量，使用跳接注意力机制根据编码器的人体动作长期语义向量计算解码器每一层特征的权重；将调整后的分层特征和人体动作长期语义向量连接成新的特征，经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量，与输入骨骼点相加，再进行归一化数据还原，得到人体动作骨骼点的预测值。本方法可有效预测人体动作，准确率高。
Description
技术领域
本发明涉及人体动作预测技术，特别是一种基于跳接注意力机制的人体动作预测方法。
背景技术
人体动作预测是根据观测到的人体动作序列，自动预测未来的动作序列，可以应用于大多数的人机交互***。人体动作预测有着广阔的应用场景：对工业自动化及自动驾驶技术有补充作用、对智能机器人和人类交互有重要作用。
人体动作预测吸引了越来越多的研究者的关注，其主要挑战在于早期的人类动作预测任务很少以人类行为为目标；长期人体动作预测结果趋向于恒定动作；对于非周期性动作预测效果较差。
发明内容
本发明的目的在于提供一种基于跳接注意力机制的人体动作预测方法，该方法对周期性和非周期性的人体动作均具有较好的长期预测效果。
实现本发明目的的技术方案为：一种基于跳接注意力机制的人体动作预测方法，包括以下步骤：
步骤1、输入一段人体骨骼点坐标序列，对其进行归一化处理，得到处理后的一段人体骨骼点坐标序列；
步骤2、将每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取得到人体骨骼点序列的分层特征；
步骤3、将最后一个时间步的门控循环网络提取的分层特征聚合得到人体动作的长期语义向量；
步骤4、将编码器提取的分层特征和前一帧人体骨骼点输入到解码器得到分层特征；
步骤5、使用跳接注意力机制根据编码器的人体动作长期语义向量来计算解码器每一层特征的权重，以此来调整分层特征的重要性；
步骤6、将调整后的分层特征和人体动作长期语义向量连接成新的特征，新特征经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量；
步骤7、将骨骼点变化量与解码器的输入帧相加，再进行归一化数据的还原，得到最终的人体动作骨骼点的预测值。
与现有技术相比，本发明的显著优点为；(1)本方法基于跳接注意力机制，可有效预测人体动作，预测准确率高；(2)对周期性和非周期性的人体动作均具有较好的长期预测效果。
附图说明
图1是本发明的基于跳接注意力机制的人体动作预测方法流程图。
图2是基于跳接注意力机制的人体动作预测方法效果图。
具体实施方式
下面结合附图对本发明进行进一步详细的说明：
如图1所示，一种基于跳接注意力机制的人体动作预测方法，包括提取人体骨骼点序列分层特征、提取长期语义向量、计算解码器分层特征的权重、生成骨骼点变化量四个过程。
提取人体骨骼点序列分层特征：将归一化的每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取得到人体骨骼点序列的分层特征；
提取长期语义向量：将编码器最后一个时间步提取的分层特征聚合得到人体动作的长期语义向量；
计算解码器分层特征的权重：将编码器最后一个时间步的各层隐藏变量作为解码器的初始隐藏变量，并且，使用跳接注意力机制根据编码器的人体动作长期语义向量来计算解码器每一层特征的权重，以此来调整分层特征的重要性；
生成骨骼点变化量：将调整后的分层特征和人体动作长期语义向量连接成新的特征，新特征经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量，然后将骨骼点变化量与解码器的输入骨骼点相加，再进行归一化数据的还原，最终得到人体动作骨骼点的预测值。本方法可有效预测人体动作，预测准确率高。
下面对上述方法的各步骤进行详细说明。
提取人体骨骼点序列分层特征包括以下步骤：
步骤1)、输入一段人体骨骼点坐标序列，对其进行归一化处理，得到处理后的一段人体骨骼点坐标序列X＝[x1,…,xs,…,xS]，其描述了一个人的活动，其中有xs∈RN表示人体在时间步s的骨骼关键点坐标，N是人体关节数目。
步骤2)、在步骤1)中得到的序列X＝[x1,…,xs,…,xs]输入到由多层的自更新卷积门控循环网络(Self-renewing ConvGRU)组成的编码器中，多层的自更新卷积门控循环网络(Self-renewing ConvGRU)其中一层在时间步t的计算公式如下：
更新门zt由下式计算所得：
zt＝σ(Wzh*ht-1+Wzx*xt+bz),
重置门rt由下式计算所得：
rt＝σ(Wrh*ht-1+Wrx*xt+br),
候选隐藏变量
由下式计算所得：
自更新门hht由下式计算所得：
然后候选隐藏变量
再次被更新：
最后得到当前隐藏变量ht：
其中ht-1是上一个时间步t-1的隐藏变量，xt是时间步t时上一层的隐藏变量，σ()是sigmoid激活函数，tanh()是tanh激活函数，W*是可学习的变换参数，b*是偏置项，*是卷积操作，
是按元素相乘。
步骤3)、通过步骤2)得到输入序列在编码器的最后一个时间步时各层的隐藏变量
其中K表示编码器的层数，这些隐藏变量就是输入序列的分层特征。
提取长期语义向量包括以下步骤：
步骤4)、将步骤3)中得到的输入序列的分层特征
聚合形成人体动作长期语义向量：
其中g()是聚合函数，使用卷积操作作为聚合函数。
计算解码器分层特征的权重主要包含以下步骤：
步骤5)、采用步骤2)相同的计算公式来构造解码器，以步骤3)得到的编码器各层隐藏变量作为解码器的初始隐藏变量，以时间步t-1预测得到的人体骨骼点作为时间步t时解码器的输入，最终得到各层自更新卷积门控循环网络的隐藏变量
步骤6)、通过卷积操作，从解码器的隐藏变量
中提取到时间步t各层的特征
步骤7)、解码器每一层特征的权重的计算是依靠人体动作长期语义向量的，给定时间步t第n层的特征
分数计算公式如下：
其中Wf是权重矩阵，bf是偏置向量；
分数代表解码器各层特征的重要性，使用Softmax函数来归一化分数：
最后
表示解码器各层调整后的特征。
生成骨骼点变化量包含以下步骤：
步骤8)、将步骤7)中解码器调整后的时间步t的特征和步骤4)中人体动作长期语义向量连接，经过卷积操作生成人体骨骼点的变化量：
将时间步t人体骨骼点变化量和解码器的输入人体骨骼点坐标相加就能得到预测的时间步t+1的人体骨骼点坐标。
图2为基于跳接注意力机制的人体动作预测方法效果图，图中第一行前四个为真实骨骼点，从第五个开始为预测骨骼点，第二行为对比用的真实骨骼点，从图中可以看出，该方法对周期性和非周期性的人体动作均具有较好的长期预测效果。
Claims (7)
1.一种基于跳接注意力机制的人体动作预测方法，其特征在于，包括以下步骤：
步骤1、输入一段人体骨骼点坐标序列，对其进行归一化处理，得到处理后的一段人体骨骼点坐标序列；
步骤2、将每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取得到人体骨骼点序列的分层特征；
步骤3、将最后一个时间步的门控循环网络提取的分层特征聚合得到人体动作的长期语义向量；
步骤4、将编码器提取的分层特征和前一帧人体骨骼点输入到解码器得到分层特征；
步骤5、使用跳接注意力机制根据编码器的人体动作长期语义向量来计算解码器每一层特征的权重，以此来调整分层特征的重要性；
步骤6、将调整后的分层特征和人体动作长期语义向量连接成新的特征，新特征经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量；
步骤7、将骨骼点变化量与解码器的输入帧相加，再进行归一化数据的还原，得到最终的人体动作骨骼点的预测值。
2.根据权利要求1所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤2具体包括如下步骤：
步骤201、给定一个人体骨骼点序列X＝[x1，...，xs，...，xS]，其描述了一个人的活动，其中xs∈RN表示人体在时间步s的骨骼关键点坐标，N是人体关节数目；
步骤202、构造基于多层的自更新卷积门控循环网络的编码器，其中一层在时间步t的计算公式如下：
更新门zt由下式计算所得：
zt＝σ(Wzh*ht-1+Wzx*xt+bz) (1)
重置门rt由下式计算所得：
rt＝σ(Wrh*ht-1+Wrx*xt+br) (2)
候选隐藏变量
由下式计算所得：
自更新门hht由下式计算所得：
然后候选隐藏变量
再次被更新：
最后得到当前隐藏变量ht：
其中ht-1是上一个时间步t-1的隐藏变量，xt是时间步t时上一层的隐藏变量，σ()是sigmoid激活函数，tanh()是tanh激活函数，W*是可学习的变换参数，b*是偏置项，*是卷积操作，⊙是按元素相乘；
步骤203.通过步骤202得到输入序列在最后一个时间步时各层的隐藏变量
其中K表示编码器的层数。
3.根据权利要求2所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤3具体包括如下步骤：
人体动作的长期语义向量计算公式如下：
其中g()是聚合函数。
4.根据权利要求3所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤4具体包括如下步骤：
步骤401、采用步骤202相同的计算公式来构造解码器，以步骤203得到的编码器各层隐藏变量作为解码器的初始隐藏变量，以时间步t-1预测得到的人体骨骼点作为时间步t的输入，最终得到各层自更新卷积门控循环网络的隐藏变量
步骤402、通过卷积操作，从隐藏变量
中提取到时间步t各层的特征
5.根据权利要求4所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤5具体包括如下步骤：
步骤501、解码器每一层特征的权重的计算是依靠人体动作长期语义向量的，给定时间步t第n层的特征
分数计算公式如下：
其中Wf是权重矩阵，bf是偏置向量；
步骤502、分数代表解码器各层特征的重要性，使用Softmax函数来归一化分数：
最后
表示解码器各层调整后的特征。
6.根据权利要求5所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤6具体包括如下步骤：
将解码器调整后的时间步t的特征和人体动作长期语义向量连接，经过卷积操作生成人体骨骼点的变化量：
7.根据权利要求6所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤7具体包括如下步骤：
将时间步t人体骨骼点变化量和解码器的输入人体骨骼点坐标相加得到预测的时间步t+1的人体骨骼点坐标：
最后将预测的时间步t+1的人体骨骼点yt+1进行归一化数据的还原，最终得到时间步t+1的人体动作骨骼点的预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011067849.2A CN112315456B (zh) | 2020-10-07 | 2020-10-07 | 基于跳接注意力机制的人体动作预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011067849.2A CN112315456B (zh) | 2020-10-07 | 2020-10-07 | 基于跳接注意力机制的人体动作预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112315456A true CN112315456A (zh) | 2021-02-05 |
| CN112315456B CN112315456B (zh) | 2022-02-11 |
Family
ID=74314478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011067849.2A Expired - Fee Related CN112315456B (zh) | 2020-10-07 | 2020-10-07 | 基于跳接注意力机制的人体动作预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112315456B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012008868A (ja) * | 2010-06-25 | 2012-01-12 | Toshiba Corp | 表示処理装置、表示処理方法、及び表示処理プログラム |
| CN103917159A (zh) * | 2011-07-20 | 2014-07-09 | 艾欧敏达有限公司 | 用于估算脑震荡的方法和*** |
| US20170171620A1 (en) * | 2015-12-14 | 2017-06-15 | Google Inc. | Systems and methods for estimating user attention |
| US20180303357A1 (en) * | 2017-04-19 | 2018-10-25 | Physical Enterprises, Inc. | Systems and methods for providing user insights based on heart rate variability |
| WO2019046719A1 (en) * | 2017-09-01 | 2019-03-07 | Anki, Inc. | ROBOT ATTENTION DETECTION |
| CN109961444A (zh) * | 2019-03-01 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及电子设备 |
| CN110580456A (zh) * | 2019-08-22 | 2019-12-17 | 南京理工大学 | 基于相干约束图长短时记忆网络的群体活动识别方法 |
| CN111242048A (zh) * | 2020-01-15 | 2020-06-05 | 南京理工大学 | 基于时空协同关注循环神经网络的人体骨架动作预测方法 |
-
2020
- 2020-10-07 CN CN202011067849.2A patent/CN112315456B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012008868A (ja) * | 2010-06-25 | 2012-01-12 | Toshiba Corp | 表示処理装置、表示処理方法、及び表示処理プログラム |
| CN103917159A (zh) * | 2011-07-20 | 2014-07-09 | 艾欧敏达有限公司 | 用于估算脑震荡的方法和*** |
| US20170171620A1 (en) * | 2015-12-14 | 2017-06-15 | Google Inc. | Systems and methods for estimating user attention |
| US20180303357A1 (en) * | 2017-04-19 | 2018-10-25 | Physical Enterprises, Inc. | Systems and methods for providing user insights based on heart rate variability |
| WO2019046719A1 (en) * | 2017-09-01 | 2019-03-07 | Anki, Inc. | ROBOT ATTENTION DETECTION |
| CN109961444A (zh) * | 2019-03-01 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及电子设备 |
| CN110580456A (zh) * | 2019-08-22 | 2019-12-17 | 南京理工大学 | 基于相干约束图长短时记忆网络的群体活动识别方法 |
| CN111242048A (zh) * | 2020-01-15 | 2020-06-05 | 南京理工大学 | 基于时空协同关注循环神经网络的人体骨架动作预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112315456B (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112119409B (zh) | 具有关系存储器的神经网络 | |
| Gencay et al. | Nonlinear modelling and prediction with feedforward and recurrent networks | |
| US9256215B2 (en) | Apparatus and methods for generalized state-dependent learning in spiking neuron networks | |
| Qiang et al. | Reinforcement learning model, algorithms and its application | |
| Meireles et al. | A comprehensive review for industrial applicability of artificial neural networks | |
| Köker et al. | A study of neural network based inverse kinematics solution for a three-joint robot | |
| Chan et al. | ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning | |
| CN112231489A (zh) | 防疫机器人知识学习与迁移方法和*** | |
| CN114660934B (zh) | 一种基于视觉-触觉融合的机械臂自主操作策略学习方法 | |
| CN114723065A (zh) | 基于双层深度强化学习模型的最优策略获取方法及装置 | |
| CN111199216A (zh) | 面向人体骨架的运动预测方法及*** | |
| CN113469891A (zh) | 一种神经网络架构搜索方法、训练方法、图像补全方法 | |
| Liu et al. | EACP: An effective automatic channel pruning for neural networks | |
| Chen et al. | Policy gradient from demonstration and curiosity | |
| Zhang et al. | Skip-attention encoder–decoder framework for human motion prediction | |
| Schneider | Causal cognitive architecture 1: Integration of connectionist elements into a navigation-based framework | |
| Wang et al. | Consciousness‐driven reinforcement learning: An online learning control framework | |
| CN112315456B (zh) | 基于跳接注意力机制的人体动作预测方法 | |
| CN115091467A (zh) | 一种基于模糊Petri网的意图预测与消歧方法及*** | |
| Hu et al. | Time series prediction with a weighted bidirectional multi-stream extended Kalman filter | |
| Xia et al. | A conditional classification recurrent RBM for improved series mid-term forecasting | |
| Zhu et al. | Fast Adaptive Character Animation Synthesis Based on Greedy Algorithm | |
| Takhavova et al. | Neural networks for the moving objects control | |
| CN115018231A (zh) | 基于动态奖励的强化学习深空探测器自主任务规划方法及*** | |
| Liu et al. | Towards explainable reinforcement learning using scoring mechanism augmented agents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220211 |