CN109784412A - 用于步态分类的基于深度学习的多传感器信号融合方法 - Google Patents
用于步态分类的基于深度学习的多传感器信号融合方法 Download PDFInfo
- Publication number
- CN109784412A CN109784412A CN201910063463.5A CN201910063463A CN109784412A CN 109784412 A CN109784412 A CN 109784412A CN 201910063463 A CN201910063463 A CN 201910063463A CN 109784412 A CN109784412 A CN 109784412A
- Authority
- CN
- China
- Prior art keywords
- layer
- gait
- data
- imu
- sensor signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 58
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 238000013135 deep learning Methods 0.000 title claims abstract description 4
- 206010017577 Gait disturbance Diseases 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 101000739754 Homo sapiens Semenogelin-1 Proteins 0.000 claims abstract description 26
- 102100037550 Semenogelin-1 Human genes 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 13
- 210000003205 muscle Anatomy 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 208000011644 Neurologic Gait disease Diseases 0.000 claims description 10
- 206010056242 Parkinsonian gait Diseases 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 7
- 241000272525 Anas platyrhynchos Species 0.000 claims description 6
- 206010013033 Diplegia Diseases 0.000 claims description 6
- 206010017585 Gait spastic Diseases 0.000 claims description 6
- 210000001015 abdomen Anatomy 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 7
- 210000003141 lower extremity Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 210000001699 lower leg Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000020084 Bone disease Diseases 0.000 description 1
- 208000021642 Muscular disease Diseases 0.000 description 1
- 201000009623 Myopathy Diseases 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明属于生物特征识别技术领域，具体涉及一种用于步态分类的基于深度学习的多传感器信号融合方法。本发明通过构建深度神经网络对异常步态进行分类，并利用卷积神经网络对来自IMU惯性传感单元和SEMG表面肌电的多源异构信息源数据进行融合；融合内容包括数据层（CNN输入层）、特征层（CNN池化层1至卷积层2）以及决策层（CNN输出层）融合，从而完备提取多源异构传感器信息，提高分类器分类精度，同时减少数据预处理工作量，提高分类准确度与判别效率。经验证，本发明在多种异常步态分类任务中分类效果较单模态传感器有显著提升，在实施例中所举异常步态六分类任务中，分类准确率达到99.15%，较单IMU信息源CNN网络提升约三个百分点。
Description
技术领域
本发明属于生物信号传感技术领域，具体涉及一种用于步态分类的多传感器信号融合方法。
背景技术
步态指人走路时所表现出来的姿态，是人体重要生物特征之一。异常步态多与病变部位有关，作为反映人体健康状况和行为能力的重要特征，及时获得准确可信的步态信息，训练异常步态分类器对步态异常进行及时预警，且长期对其进行监测与评估，在医疗诊断、疾病预防中具有重要的指导意义。
多传感器数据融合MSDF(Multi-sensor Data Fusion)技术首先在军事中被广泛使用，近来随着生物医学信息采集技术的日益成熟完善，尤其是可穿戴设备及身体传感网(Body Sensor Network)的兴起，对医学信号的多传感器融合引起了关注。
目前主流的步态识别方法主要分基于视频及图像处理的计算机视觉方案和基于步道与穿戴式传感器如IMU的传感器方案。基于传感器有基于下肢运动信息、基于下肢表面肌电、基于足底压力分布等众多单传感器方案，但单一传感器与多传感器相比数据单薄，不能获取对象完整、全面的信息。
发明内容
本发明的目的在于提出一种分类精度高、计算复杂度低的用于步态分类的多传感器信号融合方法。
本发明提出的用于步态分类的多传感器信号融合方法，是基于深度神经网络技术的，其通过构建深度神经网络对异常步态进行分类，并利用神经网络对多信息源数据的数据层、特征层、决策层进行融合，从而完备提取多源异构传感器信息，提高分类器分类精度。具体步骤如下：
步骤一，采集正常步态信息。利用穿戴于人体的IMU(惯性传感单元)模块与SEMG(表面肌电)模块采集人体正常行走时的信号，得到正常步态三轴加速度信息及下肢肌群表面肌电信息；
步骤二，采集异常步态信息。利用穿戴于人体的IMU采集人体模拟典型异常步态行走时的信号，得到异常步态三轴加速度信息及下肢肌群表面肌电信息；
步骤三，数据预处理与数据层融合。将来自两种传感器的原始各通道数据根据时间戳做数据对齐，将IMU数据与EMG数据滤波后进行归一化处理；根据目标典型行走步频将原始数据各自做开窗切割预处理，并根据步态类别将各数据队列打上相应标签，得到分别为IMU、SEMG数据的两组数据标签对；其中，IMU三轴数据的组内时间戳对齐，SEMG多通道数据的组内时间戳对齐，以及IMU、SEMG数据的组间时间戳对齐；
步骤四，搭建特征融合深度卷积神经网络(CNN)，该CNN网络为六层结构，卷积层一A与池化层一A全连接，卷积层一B与池化层一B全连接，池化层一A与池化层一B融合至卷积层二，卷积层二连接池化层二，池化层二连接全连接隐藏层，全连接隐藏层连接至全连接输出层；定义两个并列的卷积层一(卷积层一A，卷积层一B)、池化层一，定义一个卷积层二、池化层二，定义全连接层及各激活函数；
步骤五，将步骤三中得到的数据标签对分成训练集与测试集，将时间戳对齐后的IMU与SEMG数据成组分别送入步骤四中的卷积层一(IMU进入卷积层一A，SEMG进入卷积层一B)进行训练；数据在卷积层二完成特征级融合；
步骤六，重复步骤三至步骤五三次，得到三个模型；
步骤七，训练完成后利用测试集评估模型，将三个模型的预测结果做多数判决选举，完成数据决策层融合。
本发明步骤一、二中，所述IMU采集单元可安置但不限于小腿、鞋中、腰间，但要求正常步态与异常步态的安装方式一致。
本发明步骤一、二中，所述SEMG采集单元可安置但不限于腓肠肌肌腹、胫前肌肌腹，但要求正常步态与异常步态的安装方式一致。
本发明步骤二中，所述典型异常步态包括但不限于偏瘫步态、帕金森步态、鸭步步态、跨阈步态、双瘫步态。
本发明步骤三中，所述将原始数据各自做开窗切割，其数据窗长度典型值为但不限于两个步态周期，窗间逐段步进值可取但不限于开窗长度的四分之一，所述标签形式为但不限于独热编码。
本发明步骤四中，所述卷积层一A与卷积层一B的输入矩阵Shapecov1A与Shapecov1B定义为步骤三中每段数据窗(数据信源通道数，当前采样频率下来自各自信号数据的采样点数)也即：
Shapecov1A：(NIMU，Twindows*fc)
Shapecov1B：(NSEMG，Twindows*fc)
其中，NIMU为IMU数据通道数，NSEMG为SEMG数据通道数，Twindows为数据窗时域长度，fc为当前采样频率。
所述输出层结点数定义为当前模型中步态种类数，也即一种正常步态与所有异常步态之和。
所述CNN网络的优化算法可为但不限于Adam优化器。
所述各层激励函数可为但不限于ReLU函数、Sigmod函数、tanh函数，输出层激励函数为Softmax函数。
所述CNN网络的损失函数为多类对数损失函数。
本发明步骤七中，决策层融合的实现方式为三模型多数表决制。
本发明的有益效果是，利用CNN深度神经网络完成下肢运动加速度信息与下肢表面肌电信息的数据层与特征层融合，利用多CNN模型多数选举完成数据的决策层融合，从而在异常步态分类器的构建中充分利用IMU单元与SEMG单元多源异构传感器的数据，提高分类器准确度。经验证，本模型在多种异常步态分类任务中分类效果较单模态传感器有显著提升。如在本发明实施例中所举异常步态六分类任务中，分类准确率可达到99.15％，较单IMU信息源CNN网络提升约三个百分点。
附图说明
图1为本发明用于步态分类的基于深度卷积神经网络的多传感器信号融合方法结构图。
图2为本发明搭建的深度卷积神经网络的结构图。
图3为本发明实施例中送入神经网络的一段信号窗所含预处理后的加速度传感器数据。
图4为本发明实施例中送入神经网络的一段信号窗所含预处理后的表面肌电数据。
图5为本发明实施例中偏瘫步态(划圈步态)下加速度信号示例(截取10s)。
图6为本发明实施例中帕金森步态(慌张步态)下加速度信号示例(截取10s)。
图7为本发明实施例中臀中肌肌病步态(鸭步步态)。
图8为本发明实施例中跨阈步态下加速度信号示例(截取10s)。
图9为本发明实施例中双瘫步态(剪刀样步态)下加速度信号示例(截取10s)。
图10为实施例中训练7轮后模型在在训练集中的ROC曲线。
图11为实施例中训练7轮后模型在测试集中的混淆矩阵。
具体实施方式
下面结合附图并举较佳实施例，对本发明进行详细描述。
本发明提供了一种用于步态分类的基于深度卷积神经网络的多传感器信号融合方法，方法结构示意图如图1所示。该方法采用如下步骤实现：
步骤一，采集正常步态信息。将IMU与SEMG硬件采集***通过绑带固定于左右小腿外侧，其中IMU Y轴与水平面垂直，X轴与人体冠状面垂直，Z轴与人体矢状面垂直。SEMG两通道分别贴于腓肠肌肌腹与胫前肌肌腹，每通道两片电极间距4厘米，参考电极贴于腓骨外踝处皮肤。设置***采样率为512Hz，设置IMU加速度计灵敏度为±2g，采集人体正常行走时的运动信号，采集步数不少于100步，得到正常步态下的左右下肢三轴加速度信息以及两块关键肌肉的表面肌电信息。
步骤二，采集异常步态信息。IMU以及SEMG硬件采集***放置与采集流程同步骤一，采集异常步态下的左右下肢三轴加速度信息以及两块关键肌肉的表面肌电信息。在本实施例中从肌病、骨病、大脑损伤等常见致病因导致的异常步态中选取五种典型异常步态进行模拟，分别为偏瘫步态(划圈步态)、帕金森步态(慌张步态)、臀中肌肌病步态(鸭步步态)、跨阈步态、双瘫步态(剪刀样步态)。五种异常步态下原始信号示例(截取2s)如图10所示。其中，图5为偏瘫步态(划圈步态)、图6为帕金森步态(慌张步态)、图7为臀中肌肌病步态(鸭步步态)、图8为跨阈步态、图9为双瘫步态(剪刀样步态)。
步骤三，数据预处理与信号的数据层融合。IMU原始数据经过六阶低通巴特沃斯滤波器，SEMG原始数据提取信号包络线后做平滑处理。接下来将来自两种传感器的五通道数据根据时间戳做数据对齐，将三通道IMU数据与两通道EMG数据做数据归一化处理。根据目标典型行走步频将原始数据各自做开窗切割预处理并根据步态类别将各数据队列打上相应标签，得到分别为IMU、SEMG数据的的两组数据标签对。在本实施例中每段信号窗取2000ms内所有采样点，在512Hz下IMU数据与SEMG数据分别得到三轴3*1024＝3072个点、两通道2*1024＝2048个点。序号标签为0至5，其中偏瘫步态(划圈步态)的标签为0，帕金森步态(慌张步态)的标签为1，正常步态的标签为2，臀中肌肌病步态(鸭步步态)的标签为3，跨阈步态的标签为4，双瘫步态(剪刀样步态)的标签为5。图3为本较佳实施例中一段信号窗所含信号示例。其中，图3为预处理后的加速度传感器数据，图4为预处理后的表面肌电数据。
步骤四，搭建特征融合CNN深度卷积神经网络，CNN网络各层结构如图2所示。定义两个并列的卷积层一(卷积层一A，卷积层一B)、池化层一(池化层一A，池化层一B)，定义一个卷积层二、池化层二，定义全连接层及各激活函数。其中，所述卷积层一A与卷积层一B的输入矩阵定义为步骤三中每段数据窗(数据信源通道数，当前采样频率下来自各自信号数据的采样点数)也即：
Shapecov1A：(3，2*512)
Shapecov1B：(2，2*512)
所述IMU与SEMG数据特征分别在池化层一A与池化层一B输出，并共同连接至卷积层二，在卷积层二完成数据的特征层融合。
所述CNN网络的优化算法设置为结合了AdaGrad和RMSProp两种优化算法的优点的Adam优化器。其梯度更新公式为：
其中，默认学习率α设置为0.001，ε＝10^-8，避免除数变为0。为梯度均值，其公式为：
mt＝β1mt-1+(1-β1)gt
其中，β1系数为指数衰减率，控制权重分配(动量与当前梯度)，本实施例中取0.9，gt为t时间步的梯度。为梯度方差，其公式为：
vt＝β2vt-1+(1-β2)gt 2
其中，β2系数为指数衰减率，控制之前的梯度平方的影响情况，本实施例中取0.999，gt为t时间步的梯度。
所述各层激励函数设置为ReLU线性矫正单元，其公式为：
f(x)＝max(0，x)
输出层激励函数为Softmax函数，其公式为：
其中，wj(j＝0,1,2,3,4,5)为从全连接层到全连接输出层的权重向量。
所述CNN网络的损失函数为多类对数损失函数，或称多类交叉熵代价函数,本实施例中卷积神经网络的交叉熵代价函数具体形式为：
其中，yi ′为标签中的第i个值，yi为经softmax归一化输出的vector中的对应分量。所述输出层结点数定义为当前模型中步态种类数，也即一种正常步态与所有异常步态之和。本实施例为异常步态六分类任务，因此六被定义为输出层节点数。
步骤五，将步骤三中得到的数据标签对分成训练集与测试集，将时间戳对齐后的IMU与SEMG数据成组分别送入步骤四中的卷积层一(IMU进入卷积层一A，SEMG进入卷积层一B)进行训练。数据在卷积层二完成特征级融合。CNN网络为五层半全连接结构，卷积层一A与池化层一A全连接，卷积层一B与池化层一B全连接，池化层一A与池化层一B全连接至卷积层二，卷积层二连接池化层二、池化层二连接全连接隐藏层，全连接隐藏层连接至全连接输出层。将步骤三中得到的标签转为独热编码(10000、01000、001000、000100、000010、000001)，并将信息窗、标签一一对应后取65％做训练集，其余35％做测试集。将训练集送入步骤四中的CNN进行多轮训练。
在本实施例中，epochs也即所有训练集训练轮数取8，batch size也即每轮训练所取的序列集数取128，学习率取0.0001进行训练。训练完成后利用测试集评估模型分类效果。图10为本较佳实施例中训练7轮后模型在训练集中的ROC曲线，图11为测试集中的混淆矩阵。
步骤六，重复步骤三至步骤五三次得到三个模型，训练完成后利用测试集评估模型，将三个模型的预测结果做多数判决选举，完成数据决策层融合。经验证，在本实施例中模型在测试集的六分类准确度(模型判断为真正例的样本占总真正例样本数的比例)为99.15％，较单IMU信息源CNN网络提升了三个百分点。
需要指出的是，上述实施例仅用于说明本发明，其各步骤的实现方式是可以有所变化的，对本领域的专业技术人员来说对这些实施例的多种修改是显而易见的，因此凡是在本发明一般理念以及精神的基础上进行的等同变换和改进，均应在本发明的保护范围之内。
Claims (9)
1.一种用于步态分类的基于深度学习的多传感器信号融合方法，其特征在于，通过构建深度神经网络对异常步态进行分类，并利用神经网络对多信息源数据的数据层、特征层、决策层进行融合，从而完备提取多源异构传感器信息，具体步骤如下：
步骤一，采集正常步态信息：利用穿戴于人体的IMU模块与SEMG模块采集人体正常行走时的信号，得到正常步态三轴加速度信息及下肢肌群表面肌电信息；
步骤二，采集异常步态信息：利用穿戴于人体的IMU采集人体模拟典型异常步态行走时的信号，得到异常步态三轴加速度信息及下肢肌群表面肌电信息；
步骤三，数据预处理与数据层融合：将来自两种传感器的原始各通道数据根据时间戳做数据对齐，将IMU数据与EMG数据滤波后进行归一化处理；根据目标典型行走步频将原始数据各自做开窗切割预处理，并根据步态类别将各数据队列打上相应标签，得到分别为IMU、SEMG数据的两组数据标签对；其中，IMU三轴数据的组内时间戳对齐，SEMG多通道数据的组内时间戳对齐，以及IMU、SEMG数据的组间时间戳对齐；
步骤四，搭建特征融合深度卷积神经网络(CNN)，该CNN网络为六层结构：
卷积层一A与池化层一A全连接，卷积层一B与池化层一B全连接，池化层一A与池化层一B融合至卷积层二，卷积层二连接池化层二，池化层二连接全连接隐藏层，全连接隐藏层连接至全连接输出层；
定义两个并列的卷积层一：卷积层一A，卷积层一B，定义池化层一，定义一个卷积层二、池化层二，定义全连接层及各激活函数；
步骤五，将步骤三中得到的数据标签对分成训练集与测试集，将时间戳对齐后的IMU与SEMG数据成组分别送入步骤四中的卷积层一：IMU进入卷积层一A，SEMG进入卷积层一B；进行训练；数据在卷积层二完成特征级融合；
步骤六，重复步骤三至步骤五三次，得到三个模型；
步骤七，训练完成后利用测试集评估模型，将三个模型的预测结果做多数判决选举，完成数据决策层融合。
2.根据权利要求1所述的多传感器信号融合方法，其特征在于，步骤一、二中所述IMU采集单元安置于小腿、鞋中、腰间，正常步态与异常步态的安装方式一致；所述SEMG采集单元安置于腓肠肌肌腹、胫前肌肌腹，正常步态与异常步态的安装方式一致。
3.根据权利要求1所述的多传感器信号融合方法，其特征在于，步骤二中所述典型异常步态包括偏瘫步态、帕金森步态、鸭步步态、跨阈步态、双瘫步态。
4.根据权利要求1、2或3所述的多传感器信号融合方法，其特征在于，步骤三中所述将原始数据各自做开窗切割，其数据窗长度典型值为两个步态周期，窗间逐段步进值取开窗长度的四分之一，所述标签形式为独热编码。
5.根据权利要求4所述的多传感器信号融合方法，其特征在于，步骤四中所述卷积层一A与卷积层一B的输入矩阵定义为步骤三中每段数据窗：数据信源通道数，当前采样频率下来自各自信号数据的采样点数；
所述输出层结点数定义为当前模型中步态种类数，也即一种正常步态与所有异常步态之和。
6.根据权利要求1、2、3或5所述的多传感器信号融合方法，其特征在于，所述CNN网络的优化算法采用Adam优化器；
所述的多传感器信号融合方法，其特征在于，所述各层激励函数为ReLU函数、Sigmod函数或tanh函数，输出层激励函数为Softmax函数。
7.根据权利要求6所述的多传感器信号融合方法，其特征在于，所述CNN网络的损失函数为多类对数损失函数。
8.根据权利要求7所述的多传感器信号融合方法，其特征在于，所述Adam优化器，其梯度更新公式为：
其中，α为默认学习率，ε为小数，避免除数变为0；为梯度均值，其公式为：
mt＝β1mt-1+(1-β1)gt
其中，β1系数为指数衰减率，控制动量与当前梯度的权重分配，gt为t时间步的梯度；为梯度方差，其公式为：
vt＝β2vt-1+(1-β2)gt 2
其中，β2系数为指数衰减率，控制之前的梯度平方的影响情况；
各层激励函数设置为ReLU线性矫正单元，其公式为：
f(x)＝max(0，x)
输出层激励函数为Softmax函数，其公式为：
其中，wj(j＝0,1,2,3,4,5)为从全连接层到全连接输出层的权重向量。
9.根据权利要求8所述的多传感器信号融合方法，其特征在于，所述CNN网络的损失函数为多类对数损失函数，或称多类交叉熵代价函数,具体形式为：
其中，yi′为标签中的第i个值，yi为经softmax归一化输出的vector中的对应分量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910063463.5A CN109784412A (zh) | 2019-01-23 | 2019-01-23 | 用于步态分类的基于深度学习的多传感器信号融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910063463.5A CN109784412A (zh) | 2019-01-23 | 2019-01-23 | 用于步态分类的基于深度学习的多传感器信号融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109784412A true CN109784412A (zh) | 2019-05-21 |
Family
ID=66502101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910063463.5A Pending CN109784412A (zh) | 2019-01-23 | 2019-01-23 | 用于步态分类的基于深度学习的多传感器信号融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784412A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110215216A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、*** |
| CN110236550A (zh) * | 2019-05-30 | 2019-09-17 | 清华大学 | 一种基于多模态深度学习的人体步态预测装置 |
| CN110507288A (zh) * | 2019-08-29 | 2019-11-29 | 重庆大学 | 基于一维卷积神经网络的视觉诱导晕动症检测方法 |
| CN110537921A (zh) * | 2019-08-28 | 2019-12-06 | 华南理工大学 | 一种便携式步态多传感数据采集*** |
| CN110801226A (zh) * | 2019-11-01 | 2020-02-18 | 西安交通大学 | 一种基于表面肌电信号的人体膝关节力矩测试***方法及应用 |
| CN111611859A (zh) * | 2020-04-21 | 2020-09-01 | 河北工业大学 | 一种基于gru的步态识别方法 |
| CN111950460A (zh) * | 2020-08-13 | 2020-11-17 | 电子科技大学 | 一种自适应肌力的卒中患者手部康复训练动作识别方法 |
| CN112067015A (zh) * | 2020-09-03 | 2020-12-11 | 青岛歌尔智能传感器有限公司 | 基于卷积神经网络的计步方法、装置及可读存储介质 |
| CN112818927A (zh) * | 2021-02-26 | 2021-05-18 | 上海交通大学 | 人体下肢运动模式实时分类方法及*** |
| CN113286311A (zh) * | 2021-04-29 | 2021-08-20 | 沈阳工业大学 | 基于多传感器融合的分布式周界安防环境感知*** |
| CN115019393A (zh) * | 2022-06-09 | 2022-09-06 | 天津理工大学 | 一种基于卷积神经网络的外骨骼机器人步态识别***及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345846A (zh) * | 2018-01-29 | 2018-07-31 | 华东师范大学 | 一种基于卷积神经网络的人体行为识别方法及识别*** |
| CN108734208A (zh) * | 2018-05-15 | 2018-11-02 | 重庆大学 | 基于多模态深度迁移学习机制的多源异构数据融合*** |
| CN108958482A (zh) * | 2018-06-28 | 2018-12-07 | 福州大学 | 一种基于卷积神经网络的相似性动作识别装置及方法 |
-
2019
- 2019-01-23 CN CN201910063463.5A patent/CN109784412A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345846A (zh) * | 2018-01-29 | 2018-07-31 | 华东师范大学 | 一种基于卷积神经网络的人体行为识别方法及识别*** |
| CN108734208A (zh) * | 2018-05-15 | 2018-11-02 | 重庆大学 | 基于多模态深度迁移学习机制的多源异构数据融合*** |
| CN108958482A (zh) * | 2018-06-28 | 2018-12-07 | 福州大学 | 一种基于卷积神经网络的相似性动作识别装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王中伟: "基于多感知节点数据融合的体态行为分析研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110236550A (zh) * | 2019-05-30 | 2019-09-17 | 清华大学 | 一种基于多模态深度学习的人体步态预测装置 |
| CN110215216A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、*** |
| CN110215216B (zh) * | 2019-06-11 | 2020-08-25 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、*** |
| CN110537921A (zh) * | 2019-08-28 | 2019-12-06 | 华南理工大学 | 一种便携式步态多传感数据采集*** |
| CN110507288A (zh) * | 2019-08-29 | 2019-11-29 | 重庆大学 | 基于一维卷积神经网络的视觉诱导晕动症检测方法 |
| CN110801226A (zh) * | 2019-11-01 | 2020-02-18 | 西安交通大学 | 一种基于表面肌电信号的人体膝关节力矩测试***方法及应用 |
| CN111611859A (zh) * | 2020-04-21 | 2020-09-01 | 河北工业大学 | 一种基于gru的步态识别方法 |
| CN111950460A (zh) * | 2020-08-13 | 2020-11-17 | 电子科技大学 | 一种自适应肌力的卒中患者手部康复训练动作识别方法 |
| CN112067015A (zh) * | 2020-09-03 | 2020-12-11 | 青岛歌尔智能传感器有限公司 | 基于卷积神经网络的计步方法、装置及可读存储介质 |
| CN112067015B (zh) * | 2020-09-03 | 2022-11-22 | 青岛歌尔智能传感器有限公司 | 基于卷积神经网络的计步方法、装置及可读存储介质 |
| CN112818927A (zh) * | 2021-02-26 | 2021-05-18 | 上海交通大学 | 人体下肢运动模式实时分类方法及*** |
| CN113286311A (zh) * | 2021-04-29 | 2021-08-20 | 沈阳工业大学 | 基于多传感器融合的分布式周界安防环境感知*** |
| CN113286311B (zh) * | 2021-04-29 | 2024-04-12 | 沈阳工业大学 | 基于多传感器融合的分布式周界安防环境感知*** |
| CN115019393A (zh) * | 2022-06-09 | 2022-09-06 | 天津理工大学 | 一种基于卷积神经网络的外骨骼机器人步态识别***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784412A (zh) | 用于步态分类的基于深度学习的多传感器信号融合方法 | |
| Yang et al. | Motor imagery EEG decoding method based on a discriminative feature learning strategy | |
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| CN109770912A (zh) | 一种基于深度卷积神经网络的步态异常分类方法 | |
| CN104771163B (zh) | 基于csp和r‑csp算法的脑电信号特征提取方法 | |
| EP3558101A1 (en) | Methods and systems for determining abnormal cardiac activity | |
| CN108597609A (zh) | 一种基于lstm网络的医养结合健康监测方法 | |
| CN109993093A (zh) | 基于面部和呼吸特征的路怒监测方法、***、设备及介质 | |
| CN109614885A (zh) | 一种基于lstm的脑电信号快速分类识别方法 | |
| CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| Chikhaoui et al. | Towards automatic feature extraction for activity recognition from wearable sensors: a deep learning approach | |
| CN110013248A (zh) | 脑电张量模式识别技术与脑机交互康复*** | |
| CN113111865B (zh) | 一种基于深度学习的跌倒行为检测方法和*** | |
| CN109770913A (zh) | 一种基于反向传播神经网络的步态异常识别方法 | |
| Wan et al. | EEG fading data classification based on improved manifold learning with adaptive neighborhood selection | |
| CN116072265B (zh) | 基于时间自注意力与动态图卷积的睡眠分期分析***及方法 | |
| CN109976526A (zh) | 一种基于表面肌电传感器和九轴传感器的手语识别方法 | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| Nafea et al. | Multi-sensor human activity recognition using CNN and GRU | |
| Nguyen et al. | IMU-based spectrogram approach with deep convolutional neural networks for gait classification | |
| CN113010013A (zh) | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 | |
| CN114548165B (zh) | 一种可跨用户的肌电模式分类方法 | |
| Liu et al. | A fully connected deep learning approach to upper limb gesture recognition in a secure FES rehabilitation environment | |
| CN107045624A (zh) | 一种基于最大加权团的脑电信号预处理与分类方法 | |
| CN110321856B (zh) | 一种时频多尺度散度csp的脑机接口方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190521 |