CN110236550B - 一种基于多模态深度学习的人体步态预测装置 - Google Patents

Abstract

本发明提出一种基于多模态深度学习的人体步态预测装置，属于步态预测、深度学习领域。该装置包括：惯性传感器模块、压力传感器模块、声音传感器模块、惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块、声音数据采集与预处理模块和深度神经网络处理模块。该装置利用惯性传感器、足底压力传感器和声音传感器，对人体下肢运动的加速度、角速度、角度、地磁场分量信号以及足底压力和行走声音数据进行采集，对采集的数据预处理完毕后输入深度神经网络处理模块，深度神经网络处理模块输出人体步态预测结果。本发明穿戴简单便捷，可以满足不同的人体需要，未来可以应用于医疗康复和军事领域中外骨骼机器人的步态预测。

Description

一种基于多模态深度学习的人体步态预测装置

技术领域

本发明涉及一种基于多模态深度学习的人体步态预测装置，属于步态预测、深度学习领域。

背景技术

随着人工智能的发展，尤其近年来深度学习的兴起，人与机器之间的智能协作成为人工智能的重要领域。外骨骼机器人是人机智能协作的一个重要代表，将人的智能和机器人的力量完美地结合在一起，未来在医疗康复和军事领域有巨大的发展潜力。外骨骼机器人通过传感器感知***实时捕获人体运动步态，控制器产生控制信号驱动机械骨骼跟随人体运动。但是，由于数据采集、信号处理、执行机构响应等需要一定时间，导致机械骨骼运动步态滞后于人体的运动步态，从而影响穿戴者的穿戴舒适性与人机协调性。为解决此问题，外骨骼机器人需要对人体步态进行实时准确预测，使得控制***的参考信号超前于人体的运动步态，进而实现实时跟随穿戴者的运动步态。

步态预测的本质是利用历史数据预测下一段时间的步态数据和趋势，是一种时序信号预测。而对于外骨骼机器人而言，配置的往往是穿戴式传感器，因此需要研究基于穿戴式传感器的步态预测装置。目前，大部分步态预测装置是基于图像，或针对单一模态的传感器，如惯性传感器。基于图像的预测装置往往很难得到精确的人体步态，不适于高精度的外骨骼机器人步态控制。而现有的基于单一模态传感器的预测装置大多数需要人工提取步态特征，算法的计算效率和预测精度比较低、鲁棒性也较差。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提出一种基于多模态深度学习的人体步态预测装置。该装置利用惯性传感器、足底压力传感器和声音传感器多模态传感器，对人体下肢运动的加速度、角速度、角度、地磁场分量信号，以及足底压力和行走声音数据进行采集，并利用基于多模态深度学习算法实现对人体的步态预测，穿戴简单便捷，可满足不同的人体需要，未来可以应用于医疗康复和军事领域中外骨骼机器人的步态预测。

本发明提出一种基于多模态深度学习的人体步态预测装置，其特征在于，包括：惯性传感器模块、压力传感器模块、声音传感器模块、惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块、声音传感器数据采集与预处理模块和深度神经网络处理模块；

所述惯性传感器模块包括7个惯性传感器，每个惯性传感器采取有线并联的方式分别连接惯性传感器数据采集与预处理模块，所述压力传感器模块包括12个压力传感器，每个压力传感器采取有线并联的方式分别连接压力传感器数据采集与预处理模块，所述声音传感器模块包括2个声音传感器，每个声音传感器采取有线并联的方式分别连接声音传感器数据采集与预处理模块，所述惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块和声音传感器数据采集与预处理模块采取有线并联的方式分别连接深度神经网络处理模块；

所述7个惯性传感器分别安装在使用者腰背、左右大腿、左右小腿和左右脚背位置，每个惯性传感器分别用于采集对应部位的3维加速度、3维角速度、3维角度、3维磁场数据，并将采集到的数据发送到惯性传感器数据采集与预处理模块；

所述惯性传感器采集与预处理模块用于接收每个惯性传感器采集到的数据并进行滤波、归一化的数据预处理，并将预处理以后的惯性传感器数据发送到深度神经网络处理模块；

所述12个压力传感器采用鞋垫方式进行布局，左右脚底各放置1个鞋垫，每个鞋垫上各设置6个压力传感器，每个压力传感器在对应位置对足底压力进行采集，并将采集到的数据发送给压力传感器数据采集与预处理模块；

所述压力传感器数据采集与预处理模块用于接收每个压力传感器采集的数据并进行滤波、归一化的数据预处理，并将预处理以后的压力传感器数据发送到深度神经网络处理模块；

所述2个声音传感器分别放置在左右脚背上，用于采集人体行走的足底声音数据，并将采集到的数据发送给声音传感器数据采集与预处理模块；

所述声音传感器数据采集与预处理模块用于接收每个声音传感器发送的数据并进行滤波、归一化的数据预处理，并将预处理以后的声音传感器数据发送到深度神经网络处理模块；

所述深度神经网络处理模块用于接收预处理后的惯性传感器数据、压力传感器数据和声音传感器数据，并将接收到的数据利用深度神经网络进行步态预测，输出步态预测结果；

1)令测试者穿戴不同传感器采集多模态数据，对多模态数据进行预处理，建立数据样本集，然后将数据样本集划分为训练数据集、验证数据集和测试数据集；具体步骤如下：

1-1)测试者分别穿戴由7个惯性传感器组成的惯性传感器模块、12个压力传感器组成的压力传感器模块、2个声音传感器组成的声音传感器模块；其中，7个惯性传感器分别安装在测试者的腰背、左右大腿、左右小腿和左右脚背共7个位置，用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据；12个压力传感器采用鞋垫方式进行布局，左右脚底各1个鞋垫，每个鞋垫包含6个压力传感器数据采集点，用于采集12个数据点的足底压力数据；声音传感器穿戴在脚背上，左右脚背各1个，用于采集人体行走的足底声音；

1-2)穿戴完毕后，令测试者在5种行走环境下分别进行5种人体步态行为，所述行走环境包括：瓷砖地、水泥地、柏油地、沙土地、草地，所述步态行为包括：平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯；其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，共得到17种环境步态组合；其中，单个环境步态组合的时长为10-60分钟；

1-3)在每种环境步态组合下，每个采样时刻，7个惯性传感器采集得到7组3维加速度、3维角速度、3维角度、3维磁场共84维数据并发送给惯性传感器采集与预处理模块，12个压力传感器采集12维足底压力数据并发送给压力传感器数据采集与预处理模块，2个声音传感器采集2维行走声音数据并发送给声音传感器数据采集与预处理模块；各传感器的采样频率为20-100Hz；

单个采样时刻的所有数据组成1×98的原始数据样本，

i＝1,2,…,17，j＝1,2,3,…，

为第i种环境步态组合下的第j个原始数据样本

中的第k维原始数据，k＝1,2，…，98，其中98维数据的排列顺序依次为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音；单个环境步态组合采样得到的所有原始数据样本

构成的集合为

17种环境步态组合对应的所有

形成原始数据样本集合

X^Raw的数据样本总大小为N；

1-4)每个数据采集与预处理模块对X^Raw所有原始数据样本中的对应数据进行滤波、归一化预处理；滤波方法选择卡尔曼滤波方法，单个原始数据样本

中的每一维数据

k＝1,2,…,98的归一化方法如下：

式中：

为第i种环境步态组合下的第j个原始数据样本的第k维原始数据归一化后的数据，

为第i种环境步态组合下的第j个原始数据样本的第k维原始数据，

为所有第k维原始数据的最大值，

为所有第k维原始数据的最小值，

表示所有第k维原始数据的均值；

对所有原始数据样本预处理完毕后，得到数据样本集X^Norm并发送给深度神经网络处理模块；

1-5)深度神经网络处理模块将X^Norm按设定比例划分别分为训练数据集X_Train、验证数据集X_Validate和测试数据集X_Test；其中，训练数据集X_Train的比例不低于75％，验证数据集的比例不低于5％，测试数据集的比例不低于5％；

2)在深度神经网络处理模块，构建基于时间卷积网络的深度神经网络；具体步骤如下：

2-1)确定深度神经网络结构；

采用时间卷积网络构建深度神经网络，所述深度神经网络分为过渡时刻预测网络和目标时刻预测网络两部分；

令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为深度神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

所述过渡时刻预测网络的输入数据为t₁时刻到t₂时刻的数据样本x(t₁)…x(t₂)，输出预测数据为t₃时刻到t₄时刻的数据样本预测值

目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测数据为t₅时刻的预测值

令t₂＝t₁+7T_sample，t₃＝t₂+T_sample，t₄＝t₃+T_sample，t₅＝t₄+T_sample，T_sample为数据采样间隔，即过渡时刻预测网络输入8个采样时刻数据序列x(t₁)…x(t₂)，预测输出2个采样时刻的数据

目标时刻预测网络输入8个采样时刻数据序列x′(t₁)…x′(t₂)和2个采样时刻的过渡时刻预测数据

预测输出1个采样时刻的数据

2-2)确定深度神经网络的损失函数；

深度神经网络的损失函数L为：

式中，L_y和L_z分别表示过渡时刻预测网络和目标时刻预测网络的损失函数，

和y分别表示过渡时刻预测网络输出的预测值和标签值，

和z分别表示目标时刻预测网络输出的预测值和标签值，w_y和w_z分别为L_y和L_z权系数，L_y和L_z选择L₁损失函数或L₂损失函数中的任意一种：

式中，N_B表示批处理样本数，取值范围为{32,64,128,256}，

为网络输出的预测值，u为网络输出的标签值，j表示网络第j个输出值的编号；

2-3)确定深度神经网络的参数和结构超参数；

过渡时刻预测网络参数包含卷积层的权重W_yc和偏置B_yc，全联接层的权重W_yf和偏置B_yf；

目标时刻预测网络参数包含卷积层的权重W_zc和偏置B_zc，全联接层的权重W_zf和偏置B_zf；

深度神经网络的结构超参数，包括Block数、通道数、节点数、卷积核长度、空洞系数、Dropout系数；

其中，Block数的取值范围为[5,10]范围的整数，通道数的取值为[30,200]范围的整数，节点数的取值为[50,500]内的整数，卷积核长度的取值为3或5，空洞系数的取值为1或2，Dropout的取值范围为[0,1]；

3)训练步骤2)构建的深度神经网络，得到训练完毕的深度神经网络及对应的最优参数；具体步骤如下：

3-1)训练深度神经网络；

确定深度神经网络的训练参数，包括：训练回合数N_Epochs和学习速率α；其中，将训练数据集的全部数据样本训练一轮为一个回合，训练回合数N_Epochs的取值范围为N_Epochs≥100、学习速率α取值范围为[0,1]；

采用随机方法初始化深度神经网络的参数W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf，利用训练数据集X_Train对深度神经网络参数进行训练，并采用标准的随机梯度下降方法对W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf进行参数更新；每间隔N_V个训练回合数，利用验证数据集X_Validate对深度神经网络进行一次验证，并自动保存对于验证集数据集X_Validate误差最小的网络参数作为当前网络参数；

如果验证数据集误差不再下降或者训练次数达到了指定的次数N_Epochs，则结束训练，进入步骤3-2)；

3-2)利用测试数据集X_Test对训练结束的深度神经网络进行测试，评估最优的深度神经网络参数；

评估的标准为平均误差值p，计算表达式为：

式中，N_Test为测试数据集样本个数，

和z_i分别表示目标时刻预测网络输出的第i个预测值和标签值；

如果评估的平均误差值p<3％，则结束评估，保存当前网络参数为深度神经网络的最优参数W_yc*、B_yc*、W_yf*、B_yf*、W_zc*、B_zc*、W_zf*、B_zf*，进入步骤4)；如果评估的平均误差值p≥3％，则返回步骤3-1)，重新训练深度神经网络；

4)利用训练完毕的深度神经网络进行人体步态预测；具体步骤如下：

4-1)选取一个新的测试者，重复步骤1-1)，令测试者分别穿戴惯性传感器模块、压力传感器模块和声音传感器模块；

4-2)从步骤1-2)的5种行走环境中任意选择1种行走环境，并从步骤1-2)的5种人体步态行为中任意选取1种人体步态行为，其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，重复步骤1-3)，实时采集测试者穿戴三种传感器模块后在该环境步态组合下的原始数据样本并分别发送给对应的数据采集与预处理模块，单次采样的所有数据排列组成1×98的1个原始数据样本

为原始数据样本

中的第k维原始数据，k＝1,2，...，98；

4-3)重复步骤1-4)，对

进行预处理，得到预处理完毕的数据样本记为

并发送给深度神经网络处理模块；

4-4)在深度神经网络处理模块，将

对应采样时刻的前7个采样时刻的数据样本及

组成新的t₁时刻到t₂时刻的深度神经网络输入数据，将该输入数据输入到步骤3)训练好的深度神经网络中，网络实时输出测试者第t₅时刻的步态预测结果

为步态预测结果数据

中的第k维原始数据，k＝1,2，...，98。

本发明的特点及有益效果：

1、本发明的一种基于多模态深度学***地慢走、平地快走、上下楼梯、上下斜坡、左右转弯)的3维加速度、3维角速度、3维角度、3维磁场、12维足底压力和2维行走声音。

2、本发明的一种基于多模态深度学习的人体步态预测装置，采用时间卷积网络构建深度神经网络进行步态预测，不需要人为设计特征提取器提取步态特征，而是自动将特征学习和步态预测集为一体，提高了人体步态预测的准确率和鲁棒性。

3、本发明的一种基于多模态深度学习的人体步态预测装置，装置穿戴简单便捷，可以满足不同的人体需要，适用于大部分不同人体的步态预测，未来可以应用于医疗康复和军事领域中外骨骼机器人的步态预测。

附图说明

图1为本发明装置的结构示意图。

图2为本发明装置的传感器穿戴示意图。

图3为本发明装置的鞋垫式足底压力传感器采集的左脚足底压力示意图。

图4为本发明装置中的深度神经网络结构图。

图5为本发明装置的深度神经网络的Block图。

图中，1-7为惯性传感器，8-9为声音传感器，10-11为鞋垫式足底压力传感器，①-⑥为足底压力传感器的分布位置。

具体实施方式

本发明提出一种基于多模态深度学习的人体步态预测装置，下面结合附图和具体实施例进一步详细说明如下。

本发明提出一种基于多模态深度学习的人体步态预测装置，结构如图1所示，包括：惯性传感器模块、压力传感器模块、声音传感器模块、惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块、声音传感器数据采集与预处理模块和深度神经网络处理模块。

所述惯性传感器模块包括7个惯性传感器，每个惯性传感器采取有线并联的方式分别连接惯性传感器数据采集与预处理模块，所述压力传感器模块包括12个压力传感器，每个压力传感器采取有线并联的方式分别连接压力传感器数据采集与预处理模块，所述声音传感器模块包括2个声音传感器，每个声音传感器采取有线并联的方式分别连接声音传感器数据采集与预处理模块，所述惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块和声音传感器数据采集与预处理模块采取有线并联的方式分别连接深度神经网络处理模块。

所述惯性传感器为常规的同时集成三轴陀螺仪、三轴加速度计、三轴角度仪、三轴电子罗盘的传感器。7个惯性传感器分别安装在使用者腰背、左右大腿、左右小腿和左右脚背位置，如图2所示，每个惯性传感器分别用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据，并将采集到的数据发送到惯性传感器数据采集与预处理模块。

所述惯性传感器采集与预处理模块用于接收每个惯性传感器采集到的数据并进行滤波、归一化的数据预处理，并将预处理以后的惯性传感器数据发送到深度神经网络处理模块。惯性传感器数据采集与预处理模块采用基于常规MCU的处理架构，可以安装在人体的任意位置。本实施例中，惯性传感器数据采集与预处理模块安装在腰背部位置。

所述压力传感器为常规的薄膜式压力传感器，可对任何接触面的压力进行静态和动态测量。12个压力传感器采用鞋垫方式进行布局，如图3所示，左右脚底各放置1个鞋垫，每个鞋垫上各设置6个压力传感器共计6个数据采集点，每个压力传感器在对应位置的12个数据采集点对足底压力进行采集得到12维的足底压力数据，并将采集到的数据发送给压力传感器数据采集与预处理模块。

所述压力传感器数据采集与预处理模块用于接收每个压力传感器采集的数据并进行滤波、归一化的数据预处理，并将预处理以后的压力传感器数据发送到深度神经网络处理模块。压力传感器数据采集与预处理模块采用基于常规MCU的处理架构，可以安装在人体的任意位置。本实施例中，压力传感器数据采集与预处理模块安装在腰背部位置。

所述声音传感器采用常规的对声音敏感的电容式驻极体话筒传感器。2个声音传感器穿戴在脚背，左右脚背各1个，如图2所示，用于采集人体行走的足底声音数据，并将采集到的数据发送给声音传感器数据采集与预处理模块。

所述声音传感器数据采集与预处理模块用于接收每个声音传感器发送的数据并进行滤波、归一化的数据预处理，并将预处理以后的声音传感器数据发送到深度神经网络处理模块。声音传感器数据采集与预处理模块采用基于常规MCU的处理架构，可以安装在人体的任意位置。本实施例中，声音传感器数据采集与预处理模块安装在腰背部位置。

所述深度神经网络处理模块用于接收预处理后的惯性传感器数据、压力传感器数据和声音传感器数据，并将接收到的数据利用深度神经网络进行步态预测，输出步态预测结果。深度神经网络处理模块采用基于常规GPU或FPGA的处理架构，用于提高进行深度神经网络的计算效率；同时采用USB或串口的输出接口，用于输出步态预测结果，供与外部设备或外骨骼***进行交互使用。

所述的深度神经网络模块，采用时间卷积网络(Temporal ConvolutionalNetworks，TCN)构建深度神经网络，网络结构分为过渡时刻预测网络和目标时刻预测网络两部分，如图4所示，其中，图4(a)为过渡时刻预测网络，图4(b)为目标时刻预测网络。令深度神经网络接收到的预处理后的惯性传感器数据、压力传感器数据和声音传感器数据组成数据样本集X^Norm；

令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为深度神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

过渡时刻预测网络的输入数据为x(t₁)…x(t₂)，输出预测数据为

其中

的数据维数可以与x(t₁)…x(t₂)的维数相同，也可以不相同；目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测数据为

其中，x′(t₁)…x′(t₂)的传感器数据类型与数据维数与

的数据类型与维数相同，

的数据类型与维数可以与x′(t₁)…x′(t₂)和

的数据类型与维数相同，也可以不相同。在步态预测时，一般方法都是直接通过x(t₁)…x(t₂)预测

而本发明加入了过渡过程

这样可以使得网络学习到更多的变化趋势，降低个别时刻的随机误差带来的预测不准确，提升预测效果。

所述深度神经网络中的Block采用残差结构，按照顺序执行空洞因果卷积、权重归一化、ReLU、Dropout操作，然后再按顺序重复执行一次，具体操作流程如图5所示。TCN的Block结构中的1×1卷积是可选模块，当残差输入和输出维度不同时，执行卷积操作；当残差输入和输出维度相同时，不需要执行卷积操作，用单位矩阵替代即可，这种残差结构可以有效地减少信息在卷积网络中的丢失，更便于程序扩展。

所述的空洞因果卷积操作F作用在第s个输出神经元的计算公式为：

式中：x为输入层序列x(t₁)…x(t₂)，x_s-d*i为输入层序列中对应第s-d*i个输入，f为卷积核，d为空洞系数，k是卷积核长度。

所述的ReLU(Rectified Linear Unit)函数，其计算公式为：

f(u)＝max(0,u)

u为ReLU函数的输入，当u>0时，函数导数为1；当u<0时，函数导数为0，这样使得函数具有非线性。

所述Dropout操作是随机舍弃输入中部分神经元的激活值，以避免过拟合，提高卷积神经网络的泛化能力。Dropout的取值范围为[0,1]。

所述的权重归一化操作是通过一个向量参数v和一个标量参数g对神经网络的每个权重向量w进行重新参数化，并对新引入的参数进行随机梯度下降，以加快优化过程的收敛速度。权重向量w可以表示为：

式中，v是k维向量，g是标量，||·||表示欧几里得范数，这种重新参数化具有固定权重参数w的欧几里得范数的效果，使得w＝g，而与参数v无关。

本发明所述装置工作原理如下：

1)令测试者穿戴不同传感器采集多模态数据，对多模态数据进行预处理，建立数据样本集，然后将数据样本集划分为训练数据集、验证数据集和测试数据集；具体步骤如下：

1-1)测试者分别穿戴由7个惯性传感器组成的惯性传感器模块、12个压力传感器组成的压力传感器模块、2个声音传感器组成的声音传感器模块；其中，7个惯性传感器分别安装在测试者的腰背、左右大腿、左右小腿和左右脚背共7个位置，用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据；12个压力传感器采用鞋垫方式进行布局，左右脚底各1个鞋垫，每个鞋垫包含6个压力传感器数据采集点，用于采集12个数据点的足底压力数据；声音传感器穿戴在脚背上，左右脚背各1个，用于采集人体行走的足底声音；

1-2)穿戴完毕后，令测试者在5种行走环境下分别进行5种人体步态行为，所述行走环境包括：瓷砖地、水泥地、柏油地、沙土地、草地，所述步态行为包括：平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯；其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，共得到17种环境步态组合；其中，单个环境步态组合的时长为10-60分钟；

1-3)在每种环境步态组合下，每个采样时刻，7个惯性传感器采集得到7组3维加速度、3维角速度、3维角度、3维磁场共84维数据并发送给惯性传感器采集与预处理模块，12个压力传感器采集12维足底压力数据并发送给压力传感器数据采集与预处理模块，2个声音传感器采集2维行走声音数据并发送给声音传感器数据采集与预处理模块；各传感器的采样频率为20-100Hz；

单个采样时刻的所有数据组成1×98的原始数据样本，

i＝1,2,…,17，j＝1,2,3,…，

为第i种环境步态组合下的第j个原始数据样本

中的第k维原始数据，k＝1,2，…，98，其中98维数据的排列顺序依次为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音；单个环境步态组合采样得到的所有原始数据样本

构成的集合为

17种环境步态组合对应的所有

形成原始数据样本集合

X^Raw的数据样本总大小为N；

1-4)每个数据采集与预处理模块对X^Raw中的所有原始数据样本中的对应数据进行滤波、归一化预处理；滤波方法选择标准的卡尔曼滤波方法，单个原始数据样本

中的每一维数据

k＝1,2,…,98的归一化方法如下：

式中：

为第i种环境步态组合下的第j个原始数据样本的第k维原始数据归一化后的数据，

为第i种环境步态组合下的第j个原始数据样本的第k维原始数据，

为所有第k维原始数据的最大值，

为所有第k维原始数据的最小值，

表示所有第k维原始数据的均值；

对所有原始数据样本预处理完毕后，得到数据样本集X^Norm并发送给深度神经网络处理模块；

1-5)深度神经网络处理模块将X^Norm按设定比例划分别分为训练数据集X_Train、验证数据集X_Validate和测试数据集X_Test；其中，训练数据集X_Train的比例不低于75％，验证数据集的比例不低于5％，测试数据集的比例不低于5％；

2)在深度神经网络处理模块，构建基于时间卷积网络的深度神经网络；具体步骤如下：

2-1)确定深度神经网络结构；

采用时间卷积网络构建深度神经网络，所述深度神经网络分为过渡时刻预测网络和目标时刻预测网络两部分；

令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

所述过渡时刻预测网络的输入序列数据为t₁时刻到t₂时刻的数据样本x(t₁)…x(t₂)，输出预测序列数据为t₃时刻到t₄时刻的数据样本预测值

目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测序列数据为t₅时刻的预测值

令t₂＝t₁+7T_sample，t₃＝t₂+T_sample，t₄＝t₃+T_sample，t₅＝t₄+T_sample，T_sample为数据采样间隔，即过渡时刻预测网络输入8个采样时刻数据序列x(t₁)…x(t₂)，预测输出2个采样时刻的数据

目标时刻预测网络输入8个采样时刻数据序列x′(t₁)…x′(t₂)和2个采样时刻的过渡时刻预测数据

预测输出1个采样时刻的数据

2-2)确定深度神经网络的损失函数；

深度神经网络的损失函数L为：

式中，L_y和L_z分别表示过渡时刻预测网络和目标时刻预测网络的损失函数，

和y分别表示过渡时刻预测网络输出的预测值和标签值，

和z分别表示目标时刻预测网络输出的预测值和标签值，w_y和w_z分别为L_y和L_z权系数，L_y和L_z选择L₁损失函数或L₂损失函数中的任意一种：

式中，N_B表示批处理样本数，取值范围为{32,64,128,256}，

为网络输出的预测值，u为网络输出的标签值，j表示网络第j个输出值的编号；

2-3)确定深度神经网络的参数和结构超参数；

过渡时刻预测网络需要优化的参数包含卷积层的权重W_yc和偏置B_yc，全联接层的权重W_yf和偏置B_yf；

目标时刻预测网络需要优化的参数包含卷积层的权重W_zc和偏置B_zc，全联接层的权重W_zf和偏置B_zf；

深度神经网络的结构超参数，包括Block数、通道数、节点数、卷积核长度、空洞系数、Dropout系数；

其中，Block数的取值范围为[5,10]范围的整数，通道数的取值为[30,200]范围的整数，节点数的取值为[50,500]内的整数，卷积核长度的取值为3或5，空洞系数的取值为1或2，Dropout的取值范围为[0,1]；

3)训练步骤2)构建的深度神经网络，得到训练完毕的深度神经网络及对应的最优参数；具体步骤如下：

3-1)训练深度神经网络；

确定深度神经网络的训练参数，包括：训练回合数N_Epochs和学习速率α；其中，将训练数据集的全部数据样本训练一轮为一个回合，训练回合数N_Epochs的取值范围为N_Epochs≥100、学习速率α取值范围为[0,1]；

采用随机方法初始化深度神经网络的参数W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf，利用训练数据集X_Train对深度神经网络参数进行训练，并采用标准的随机梯度下降方法对W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf进行参数更新；每间隔N_V个训练回合数，利用验证数据集X_Validate对深度神经网络进行一次验证，并自动保存对于验证集数据集X_Validate误差最小的网络参数作为当前网络参数；

如果验证数据集误差不再下降或者训练次数达到了指定的次数N_Epochs，则结束训练，进入步骤3-2)；

3-2)利用测试数据集X_Test对训练结束的深度神经网络进行测试，评估最优的深度神经网络参数；

评估的标准为平均误差值p，计算表达式为：

式中，N_Test为测试数据集样本个数，

和z_i分别表示目标时刻预测网络输出的第i个预测值和标签值；

如果评估的平均误差值p<3％，则结束评估，保存当前网络参数为深度神经网络的最优参数W_yc*、B_yc*、W_yf*、B_yf*、W_zc*、B_zc*、W_zf*、B_zf*，进入步骤4)；如果评估的平均误差值p≥3％，则返回步骤3-1)，重新训练深度神经网络；

4)利用训练完毕的深度神经网络进行人体步态预测；具体步骤如下：

4-1)选取一个新的测试者，重复步骤1-1)，令测试者分别穿戴惯性传感器模块、压力传感器模块和声音传感器模块；

4-2)从步骤1-2)的5种行走环境中任意选择1种行走环境，并从步骤1-2)的5种人体步态行为中任意选取1种人体步态行为，其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，重复步骤1-3)，实时采集测试者穿戴三种传感器模块后在该环境步态组合下的原始数据样本并分别发送给对应的数据采集与预处理模块，单次采样的所有数据排列组成1×98的1个原始数据样本

为原始数据样本

中的第k维原始数据，k＝1,2，...，98；

4-3)重复步骤1-4)，对

进行预处理，得到预处理完毕的数据样本记为

并发送给深度神经网络处理模块；

4-4)在深度神经网络处理模块，将

对应采样时刻的前7个采样时刻的数据样本及

组成新的t₁时刻到t₂时刻的深度神经网络输入数据，将该输入数据输入到步骤3)训练好的深度神经网络中，网络实时输出测试者第t₅时刻的步态预测结果

为步态预测结果数据

中的第k维原始数据，k＝1,2，...，98。

本发明的一种基于多模态深度学习的人体步态预测装置，输出的步态预测结果可以直接传输给外骨骼机器人或其它***做步态控制使用。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种基于多模态深度学习的人体步态预测装置，其特征在于，包括：惯性传感器模块、压力传感器模块、声音传感器模块、惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块、声音传感器数据采集与预处理模块和深度神经网络处理模块；

所述惯性传感器模块包括7个惯性传感器，每个惯性传感器采取有线并联的方式分别连接惯性传感器数据采集与预处理模块，所述压力传感器模块包括12个压力传感器，每个压力传感器采取有线并联的方式分别连接压力传感器数据采集与预处理模块，所述声音传感器模块包括2个声音传感器，每个声音传感器采取有线并联的方式分别连接声音传感器数据采集与预处理模块，所述惯性传感器数据采集与预处理模块、压力传感器数据采集与预处理模块和声音传感器数据采集与预处理模块采取有线并联的方式分别连接深度神经网络处理模块；

所述7个惯性传感器分别安装在使用者腰背、左右大腿、左右小腿和左右脚背位置，每个惯性传感器分别用于采集对应部位的3维加速度、3维角速度、3维角度、3维磁场数据，并将采集到的数据发送到惯性传感器数据采集与预处理模块；

所述惯性传感器采集与预处理模块用于接收每个惯性传感器采集到的数据并进行滤波、归一化的数据预处理，并将预处理以后的惯性传感器数据发送到深度神经网络处理模块；

所述12个压力传感器采用鞋垫方式进行布局，左右脚底各放置1个鞋垫，每个鞋垫上各设置6个压力传感器，每个压力传感器在对应位置对足底压力进行采集，并将采集到的数据发送给压力传感器数据采集与预处理模块；

所述压力传感器数据采集与预处理模块用于接收每个压力传感器采集的数据并进行滤波、归一化的数据预处理，并将预处理以后的压力传感器数据发送到深度神经网络处理模块；

所述2个声音传感器分别放置在左右脚背上，用于采集人体行走的足底声音数据，并将采集到的数据发送给声音传感器数据采集与预处理模块；

所述声音传感器数据采集与预处理模块用于接收每个声音传感器发送的数据并进行滤波、归一化的数据预处理，并将预处理以后的声音传感器数据发送到深度神经网络处理模块；

所述深度神经网络处理模块用于接收预处理后的惯性传感器数据、压力传感器数据和声音传感器数据，并将接收到的数据利用深度神经网络进行步态预测，输出步态预测结果；

1)令测试者穿戴不同传感器采集多模态数据，对多模态数据进行预处理，建立数据样本集，然后将数据样本集划分为训练数据集、验证数据集和测试数据集；具体步骤如下：

1-1)测试者分别穿戴由7个惯性传感器组成的惯性传感器模块、12个压力传感器组成的压力传感器模块、2个声音传感器组成的声音传感器模块；其中，7个惯性传感器分别安装在测试者的腰背、左右大腿、左右小腿和左右脚背共7个位置，用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据；12个压力传感器采用鞋垫方式进行布局，左右脚底各1个鞋垫，每个鞋垫包含6个压力传感器数据采集点，用于采集12个数据点的足底压力数据；声音传感器穿戴在脚背上，左右脚背各1个，用于采集人体行走的足底声音；

1-2)穿戴完毕后，令测试者在5种行走环境下分别进行5种人体步态行为，所述行走环境包括：瓷砖地、水泥地、柏油地、沙土地、草地，所述步态行为包括：平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯；其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，共得到17种环境步态组合；其中，单个环境步态组合的时长为10-60分钟；

1-3)在每种环境步态组合下，每个采样时刻，7个惯性传感器采集得到7组3维加速度、3维角速度、3维角度、3维磁场共84维数据并发送给惯性传感器采集与预处理模块，12个压力传感器采集12维足底压力数据并发送给压力传感器数据采集与预处理模块，2个声音传感器采集2维行走声音数据并发送给声音传感器数据采集与预处理模块；各传感器的采样频率为20-100Hz；

单个采样时刻的所有数据组成1×98的原始数据样本，

为第i种环境步态组合下的第j个原始数据样本

中的第k维原始数据，k＝1,2，...，98，其中98维数据的排列顺序依次为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音；单个环境步态组合采样得到的所有原始数据样本

构成的集合为

17种环境步态组合对应的所有

形成原始数据样本集合

X^Raw的数据样本总大小为N；

1-4)每个数据采集与预处理模块对X^Raw所有原始数据样本中的对应数据进行滤波、归一化预处理；滤波方法选择卡尔曼滤波方法，单个原始数据样本

中的每一维数据

的归一化方法如下：

式中：

为第i种环境步态组合下的第j个原始数据样本的第k维原始数据归一化后的数据，

为第i种环境步态组合下的第j个原始数据样本的第k维原始数据，

为所有第k维原始数据的最大值，

为所有第k维原始数据的最小值，

表示所有第k维原始数据的均值；

对所有原始数据样本预处理完毕后，得到数据样本集X^Norm并发送给深度神经网络处理模块；

1-5)深度神经网络处理模块将X^Norm按设定比例划分别分为训练数据集X_Train、验证数据集X_Validate和测试数据集X_Test；其中，训练数据集X_Train的比例不低于75％，验证数据集的比例不低于5％，测试数据集的比例不低于5％；

2)在深度神经网络处理模块，构建基于时间卷积网络的深度神经网络；具体步骤如下：

2-1)确定深度神经网络结构；

采用时间卷积网络构建深度神经网络，所述深度神经网络分为过渡时刻预测网络和目标时刻预测网络两部分；

令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为深度神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

所述过渡时刻预测网络的输入数据为t₁时刻到t₂时刻的数据样本x(t₁)…x(t₂)，输出预测数据为t₃时刻到t₄时刻的数据样本预测值

目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测数据为t₅时刻的预测值

令t₂＝t₁+7T_sample，t₃＝t₂+T_sample，t₄＝t₃+T_sample，t₅＝t₄+T_sample，T_sample为数据采样间隔，即过渡时刻预测网络输入8个采样时刻数据序列x(t₁)…x(t₂)，预测输出2个采样时刻的数据

目标时刻预测网络输入8个采样时刻数据序列x′(t₁)…x′(t₂)和2个采样时刻的过渡时刻预测数据

预测输出1个采样时刻的数据

2-2)确定深度神经网络的损失函数；

深度神经网络的损失函数L为：

式中，L_y和L_z分别表示过渡时刻预测网络和目标时刻预测网络的损失函数，

和y分别表示过渡时刻预测网络输出的预测值和标签值，

和z分别表示目标时刻预测网络输出的预测值和标签值，w_y和w_z分别为L_y和L_z权系数，L_y和L_z选择L₁损失函数或L₂损失函数中的任意一种：

式中，N_B表示批处理样本数，取值范围为{32,64,128,256}，

为网络输出的预测值，u为网络输出的标签值，j表示网络第j个输出值的编号；

2-3)确定深度神经网络的参数和结构超参数；

过渡时刻预测网络参数包含卷积层的权重W_yc和偏置B_yc，全联接层的权重W_yf和偏置B_yf；

目标时刻预测网络参数包含卷积层的权重W_zc和偏置B_zc，全联接层的权重W_zf和偏置B_zf；

深度神经网络的结构超参数，包括Block数、通道数、节点数、卷积核长度、空洞系数、Dropout系数；

其中，Block数的取值范围为[5,10]范围的整数，通道数的取值为[30,200]范围的整数，节点数的取值为[50,500]内的整数，卷积核长度的取值为3或5，空洞系数的取值为1或2，Dropout的取值范围为[0,1]；

3)训练步骤2)构建的深度神经网络，得到训练完毕的深度神经网络及对应的最优参数；具体步骤如下：

3-1)训练深度神经网络；

确定深度神经网络的训练参数，包括：训练回合数N_Epochs和学习速率α；其中，将训练数据集的全部数据样本训练一轮为一个回合，训练回合数N_Epochs的取值范围为N_Epochs≥100、学习速率α取值范围为[0,1]；

采用随机方法初始化深度神经网络的参数W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf，利用训练数据集X_Train对深度神经网络参数进行训练，并采用标准的随机梯度下降方法对W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf进行参数更新；每间隔N_V个训练回合数，利用验证数据集X_Validate对深度神经网络进行一次验证，并自动保存对于验证集数据集X_Validate误差最小的网络参数作为当前网络参数；

如果验证数据集误差不再下降或者训练次数达到了指定的次数N_Epochs，则结束训练，进入步骤3-2)；

3-2)利用测试数据集X_Test对训练结束的深度神经网络进行测试，评估最优的深度神经网络参数；

评估的标准为平均误差值p，计算表达式为：

式中，N_Test为测试数据集样本个数，

和z_i分别表示目标时刻预测网络输出的第i个预测值和标签值；

如果评估的平均误差值p<3％，则结束评估，保存当前网络参数为深度神经网络的最优参数W_yc*、B_yc*、W_yf*、B_yf*、W_zc*、B_zc*、W_zf*、B_zf*，进入步骤4)；如果评估的平均误差值p≥3％，则返回步骤3-1)，重新训练深度神经网络；

4)利用训练完毕的深度神经网络进行人体步态预测；具体步骤如下：

4-1)选取一个新的测试者，重复步骤1-1)，令测试者分别穿戴惯性传感器模块、压力传感器模块和声音传感器模块；

4-2)从步骤1-2)的5种行走环境中任意选择1种行走环境，并从步骤1-2)的5种人体步态行为中任意选取1种人体步态行为，其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，重复步骤1-3)，实时采集测试者穿戴三种传感器模块后在该环境步态组合下的原始数据样本并分别发送给对应的数据采集与预处理模块，单次采样的所有数据排列组成1×98的1个原始数据样本

为原始数据样本

中的第k维原始数据，k＝1,2，...，98；

4-3)重复步骤1-4)，对

进行预处理，得到预处理完毕的数据样本记为

并发送给深度神经网络处理模块；

4-4)在深度神经网络处理模块，将

对应采样时刻的前7个采样时刻的数据样本及

组成新的t₁时刻到t₂时刻的深度神经网络输入数据，将该输入数据输入到步骤3)训练好的深度神经网络中，网络实时输出测试者第t₅时刻的步态预测结果

为步态预测结果数据

中的第k维原始数据，k＝1,2，...，98。

Images