CN114343617A - 一种基于边云协同的患者步态实时预测方法 - Google Patents

Abstract

本发明公开了.一种基于边云协同的患者步态实时预测方法，具体包括如下过程：步骤1，分别采集患者的下肢髋关节、膝关节和踝关节的姿态运动信息及患者的足底压力分布数据；步骤2，将步骤1采集的足底压力分布数据在边缘计算的深度学习模型中进行分析；步骤3，将步骤1采集的患者的下肢髋关节、膝关节和踝关节的姿态运动信息在云服务器的深度学习模型中进行预测；步骤4，将步骤2和步骤3所得结果在边缘计算服务器上进行同步，从而实现对患者步态的快速识别与预测。本发明解决了因脑卒中患者的行走能力差异性大造成的现有助行器无法有效工作的问题。

Description

一种基于边云协同的患者步态实时预测方法

技术领域

本发明属于医疗电子技术领域，涉及一种基于边云协同的患者步态实时预测方法。

背景技术

下肢运动功能障碍极大地降低了患者的行动能力与生活质量。其主要病理表现为患者患病的下肢麻木无力，患者难以对患肢进行迈步行走等基本行动。当前，康复医院对该类患者的康复治疗方法主要是通过专业的康复医师或护工对患者进行人工搀扶助行，这造成了医护资源的严重紧缺。为解决该问题，康复机器人应运而生，但现有的康复机器人自动化与智能化程度较低，其主要瓶颈问题是，康复机器人难以对患者在康复治疗中的下肢运动能力和健康状况进行实时评估，且患者的下肢运动能力与健康状况需要通过多种不同类型的传感器进行实时监测，这使得康复机器人如何在数据传输和数据快速处理上带来了巨大的挑战。

下肢运动功能障碍患者因其身体素质和功能障碍程度的差异性，不同的患者对康复训练的强度、持续时间、患肢动作幅度大小以及康复训练方法的需求都极为不同，故而无法使用固定参数的治疗手法对患者进行康复训练治疗。这使得根据患者康复训练的下肢运动能力和健康状态进行实时感知，并依此对康复机器人进行动态调整成为了康复机器人的一个关键技术。但由于康复机器人的每一个康复动作决策都需要考虑大量传感器数据，这使得传感器的传输与计算带来的时延成为了瓶颈，其复杂性难以单纯依靠康复机器人上的嵌入式设备求解，故现有的康复机器人仍只能由专业研发人员对参数与康复策略进行人工调整，这极大地限制了康复机器人的适用性，从而导致该产品康复治疗效果较差、用户体验较差、产品普及率低。

现有大部分的下肢康复机器人主要面向康复医院等医疗机构，其主要依靠专业的康复医师或护工对患者在康复训练的状态进行评估。虽然康复医师往往具备丰富的治疗经验，可获得准确的评估结果，但极大地耗费医护资源，代价高昂。近年来，随着人工智能等技术的快速发展，已有部分下肢康复机器人可通过机器学习等方法对患者的康复训练过程的状态进行评估，但机器学习方法的准确性依赖于对大量传感器数据的处理和训练，康复机器人上的嵌入式设备难以对如此庞大的数据进行实时处理与分析，故云计算技术被融合进来。其主要通过将大量的传感器数据通过网络发送至大数据云中心，并通过中心大型超算设备对数据进行快速计算与分析，但该技术受限于网络传输的带宽。在有限的带宽下，庞大的传感器数据传输造成了大量的时延，从而极大地降低了下肢康复机器人的实时性，这使得患者健康状态的实时评估成为了下肢康复机器人自适应控制的瓶颈。

发明内容

本发明的目的是提供一种基于边云协同的患者步态实时预测方法，该方法解决了因脑卒中患者的行走能力差异性大造成的现有助行器无法有效工作的问题。

本发明所采用的技术方案是，.一种基于边云协同的患者步态实时预测方法，具体包括如下过程：

步骤1，分别采集患者的下肢髋关节、膝关节和踝关节的姿态运动信息及患者的足底压力分布数据；

步骤2，将步骤1采集的足底压力分布数据在边缘计算的深度学习模型中进行分析；

步骤3，将步骤1采集的患者的下肢髋关节、膝关节和踝关节的姿态运动信息在云服务器的深度学习模型中进行预测；

步骤4，将步骤2和步骤3所得结果在边缘计算服务器上进行同步，从而实现对患者步态的快速识别与预测。

本发明的特点还在于：

步骤1中，采用柔性足底压力传感器采集患者的足底压力分布信息。

步骤1中，每个足底压力传感器具有99个有效独立感应器；两只脚上各穿戴一个足底压力传感器。

步骤1中，采用无线九轴姿态传感器采集下肢髋关节、膝关节和踝关节的姿态运动信息，分别在患者的下肢髋关节、膝关节和踝关节处各穿戴一个无线九轴姿态传感器；人体两个腿上共穿戴6个无线九轴姿态传感器。

无线九轴姿态传感器分别对人体关节运动在三个矢量方向上的加速度、角加速度和角度变化进行感知。

步骤2的具体过程为：

步骤2.1，利用柔性足底压力传感器对患者的足底压力进行采集；

步骤2.2，使用柔性足底压力传感器配套的采集电路模块，对采集的压力进行模数转换，得到左右足底的数值为压力值，并重构成两个数值矩阵；

步骤2.3，柔性足底压力传感器中的电路模块通过无线通信模块将步骤2.2获取的两个数值发送至边缘机器设备，边缘机器设备在接收到数据之后，将数据输入到深度卷积网络中进行训练，输出最优模型。

步骤3的具体过程为：大数据中心云服务器接收到九轴姿态传感器采集到的当前时刻的下肢关节姿态数据后，从数据库中取出上一时刻的下肢关节姿态数据一起拼接为108*1的数值矩阵，并将数据矩阵输入到深度学习网络中进行训练，输出最优模型。

步骤2和步骤3中，深度卷积网络包括输入层、隐藏层、输出层和卷积核；所述深度卷积网络训练时采用的损失函数如下公式(1)所示：

其中，L表示计算函数，Y表示样本真实值，F(X)表示模型预测值。

步骤4的具体过程为：大数据云服务器中心将步骤3处理完成的结果发送至边缘计算服务器，边云计算服务器将根据接收到的数据的时间戳与步骤2所得的边缘计算的结果进行关联，并整合为一个11*1的状态矢量，将该状态矢量发送给STM32底层驱动***，STM32底层驱动***根据该状态矢量对下肢康复机器人进行机械控制，以实现康复训练的调整。

步骤4进行过程中，需要满足的条件为：建立的云服务器与边缘服务器计算时间恰好匹配。

本发明的有益效果如下：

1.降低了下肢康复机器人嵌入式设备对计算能力的要求；

2.提高了下肢康复机器人对患者下肢运动评估的实时性和准确性；

3.解决了下肢康复机器人对患者下肢运动评估和预测的问题。

附图说明

图1是本发明一种基于边云协同的患者步态实时预测方法的流程图；

图2是患者在康复机器人的帮助下进行站立的图；

图3(a)、(b)是本发明一种基于边云协同的患者步态实时预测方法使用的柔性足底压力传感器图；

图4是已安装好足底压力传感器与踝关节姿态传感器的训练专用鞋的图；

图5(a)、(b)是关节姿态传感器及其穿戴图；

图6是本发明一种基于边云协同的患者步态实时预测方法中足底压力数据采集与处理流程图；

图7是本发明一种基于边云协同的患者步态实时预测方法中边缘计算数据处理流程图；

图8是本发明一种基于边云协同的患者步态实时预测方法中关节姿态数据采集流程；

图9是本发明一种基于边云协同的患者步态实时预测方法中云计算处理与分析流程图；

图10是本发明一种基于边云协同的患者步态实时预测方法中边云数据整合流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于边云协同的患者步态实时预测方法，如图1所示流程，使用大量的患者下肢髋关节、膝关节和踝关节的姿态运动信息以及足底压力分布数据，通过构建边缘计算和云计算的协同通信与计算模型，将大数据量低计算复杂度的足底压力分布数据在边缘计算的深度学习模型进行分析，并将低数据量高计算复杂度的多关节多维关节姿态数据在云服务器的深度学习模型进行预测，并将两边计算得到的结果在边缘计算服务器上进行同步，从而实现下肢康复机器人对患者步态的快速识别与预测。

本发明一种基于边云协同的患者步态实时预测方法，应用于如图2所示的下肢康复机器人样机上，下肢康复机器人样机主要功能为：患者穿戴好下肢传感器后，站立于下肢康复机器人腰托前并穿好防护腰带进行固定，然后患者启动下肢康复机器人，通过操作摇杆，控制下肢康复机器人带动人体进行康复训练。

下肢康复机器人的电路部分包括STM32底层驱动电路、电机驱动模块、锂电池组合和边缘计算设备(树莓派)；

本发明一种基于边云协同的患者步态实时预测方法，具体包括如下过程：

步骤1，数据采集与准备工作；

本发明采用的柔性足底压力传感器(LEGACT，FS-INS-W99)具有99个有效独立感应器，一双则共有99*2，共198个有效独立压力感知点，如图3所示(图3(a)为足底压力传感器条件结构示意图；图3(b)为传感器加装可穿戴外壳)。患者在使用下肢康复机器人进行康复训练前，首先，应更换好已安装好相应鞋垫的训练专用鞋(如图4所示)；然后，穿戴好下肢髋关节、膝关节和踝关节的无线九轴姿态传感器(WIT，WIFI901)，WIFI901(如图5所示，图5(a)为关节姿态传感器图片；图5(b)为关节姿态传感器穿戴状态示意图)，采用WIFI无线通信与本地服务端进行连接，该传感器可对人体关节运动在三个矢量方向上的加速度、角加速度和角度变化进行快速感知(共采集9个数据量)，故人体下肢的髋关节、膝关节和踝关节各一个(共6个)；最后，检查确定已穿戴好足底压力传感器与关节角度传感器后，按下下肢康复机器人的启动键，***将进行自检，并检查与足底压力鞋垫以及6个姿态传感器的无线连接状态。

步骤2，下肢康复机器人运行；

下肢康复机器人的启动键按下后，主控***将进行自检及参数初始化。初始化完成之后，主控***首先同时向足底压力传感器和关节姿态传感器发送时钟同步信息与控制信令，上述传感器的内置控制器接收到控制信令与时钟信息后，将对采集得到的数据加入时钟信息(即时间戳)，以实现时钟同步；然后，分别利用足底压力和姿态传感器上集成的模数转换器将测量的电压值转换为数值类型数据；最后，足底压力鞋垫将加了时间戳并已经转换为数值类型的数据发送至下肢康复机器人的树莓派，并在树莓派上搭建深度网络算法对患者的足底压力进行分析；9轴关节姿态传感器则是利用传感器内部集成控制器的ESP8266无线通信模组与远程康养大数据中心建立TCP链接，即将加了时间戳的左右下肢髋关节、膝关节和踝关节的数据上传至康养大数据中心进行处理与分析；最后，将康养大数据中心处理后的结果发送至树莓派，并将接收到的数据与树莓派上足底压力分布分析的结果进行时间戳匹配后重构为状态变量，并将该状态变量发送至STM32底层驱动***，该***将根据状态表采取相应的康复策略调整。

步骤3，足底压力分布数据采集与边缘计算处理；

柔性足底压力传感器阵列对患者行走时的姿态及平衡性进行判断是步态分析的关键。但柔性压力传感器阵列集成了大量高精度压力传感器，且刷新率极快，这导致柔性足底压力传感器阵列采集到的数据量极其庞大。若将数据全部传输到云服务器上进行处理，将产生极大的时延，无法满足下肢康复机器人对患者步态实时评估的要求。为解决上述问题，本发明通过在康复机器人上部署边缘计算设备，通过2.4G无线通信与足底压力传感阵列建立链接，在树莓派上实现对采集到的数据进行本地化的处理和分析，如图6所示。

如图7所示，首先利用柔性足底压力传感器(LEGACT，FS-INS-W99)对足底压力进行采集(每秒左右脚采集10帧)，一帧数据即是采集压力垫上的99个传感器的压力值(左右脚为两帧，各99个传感器点)，然后使用FS-INS-W99传感器配套的采集电路模块，对采集的传感器进行模数转换，得到左右足底的数值型压力值，并重构成两个数值矩阵(9*11*2)；最后，通过电路模块的2.4G无线通信模块将两个数值发送至边缘机器设备(树莓派)。树莓派在接收到数据之后，并将数据输入到深度卷积网络的输入层，深度卷积网络由输入层、隐藏层、输出层和卷积核组成的网络结构。输入层作用是对输入数据进行处理(此神经网络的输入层大小为198*1)；隐藏层每层包含大量神经元，能够对相应的特征进行计算(此神经网络的隐藏层有两层，第一层大小为120*1，第二层的大小为52*1)；输出层将隐藏层输出的内容映射到预测类型(此神经网络的输入层大小为6*1)；卷积核的作用是对数据进行特征聚合(此神经网络的卷积核为1*1)。神经网络计算流程包含了初始化网络权值和神经网络阈值、前向传播、反向传播。神经网络初始化网络权值和阈值使用随机化方法；前向传播则是一层一层地计算隐藏层神经元和输出层神经元的输入和输出；反向传播则按照损失函数修正权值和阈值。损失函数是预测类别和真实类别的真假。

其中，L表示计算函数；Y表示样本真实值；F(X)表示模型预测值。

模型数据采用了80％样本作为训练数据，20％数据作为测试数据，对模型采用了多轮训练的方式进行训练，最终模型的准确率达到能够准确识别用户当前坐姿的要求。

步态预测有5个类型变量，分别是、迈步脚(左0右1)，重心X方向位置(足底前0后1)，重心Y方向位置(足底左0后1)，是否能支撑身体(是1否0)，是否正常迈步范围(是1否0)。这5个类别涵盖了足底压力分析与预测的关键判断。

步骤4，下肢关节姿态数据采集与云计算处理；

人体在步行运动时，下肢运动关节的惯性变化可对该行为进行有效评估。故通过在患者下肢髋关节、膝关节与踝关节部署9轴关节姿态传感器，对这些关节的旋转角度、角速度及加速度进行采集与分析，可对患者的迈步步距与方向进行有效预测。但由于通过惯性传感器对患者的下肢运动进行预测，需要对预测时刻之前的一个连续时间内的惯性进行时间序列分析，这对处理器的计算资源有极大需求。而下肢康复机器人上的嵌入式设备主要为了满足下肢康复机器人的机械控制设计，难以承担复杂的时间序列模型分析，故现有的技术难以有效对肢体运动行为进行有效预测。为解决该问题，本发明针对9轴传感器的数据量极少、计算开销大、数据传输时延极小的特点，通过TCP通信协议，将该数据上传至大数据云计算中心服务器，利用云服务器极其强大的运算能力对时间序列模型进行快速计算与分析，从而对患者下肢运动行为进行预测，并将结果快速发送到下肢康复机器人的嵌入式***进行同步整合，具体流程图如图8所示。

如图9所示，大数据中心云服务器接收到当前时刻的下肢关节姿态数据(9*6，重组为54*1的数值矩阵)后，从数据库中取出上一时刻的下肢关节姿态数据(54*1)一起拼接为108*1的数值矩阵，并将数据矩阵输入到深度学习网络的输入层，深度学习网络由输入层、隐藏层和输出层组成的网络结构。输入层作用是对输入数据进行处理(此神经网络的输入层大小为108*1)；隐藏层每层包含大量神经元，能够对相应的特征进行计算(此神经网络的隐藏层有两层，第一层大小为80*1，第二层的大小为32*1)；输出层将隐藏层输出的内容映射到预测类型(此神经网络的输入层大小为6*1)。神经网络计算流程包含了初始化网络权值和神经网络阈值、前向传播、反向传播。神经网络初始化网络权值和阈值使用随机化方法；前向传播则是一层一层地计算隐藏层神经元和输出层神经元的输入和输出；反向传播则按照损失函数修正权值和阈值。损失函数是预测类别和真实类别的真假。

其中，L表示计算函数；Y表示样本真实值；F(X)表示模型预测值。

模型数据采用了80％样本作为训练数据，20％数据作为测试数据，对模型采用了多轮训练的方式进行训练，最终模型的准确率达到能够准确识别用户当前坐姿的要求。

步态预测有6个类型变量，分别是、左肢水平摆动方向(前0后1)，右肢水平摆动方向(前0后1)，左肢摆动是否正常(否0是1)，右肢摆动是否正常(否0是1)，左肢下一时刻运动是否正常(是1否0)，左肢下一时刻运动是否正常(是1否0)。这6个类别涵盖了下肢当前时刻的运动状态分析与下一刻运动状态的预测。

步骤5，大数据云服务器中心将图9处理完成的结果(6*1)发送至边缘计算服务器，边云计算服务器将根据接收到的数据的时间戳与边缘计算的结果(5*1)进行关联，并整合为一个11*1的状态矢量，将该状态矢量发送给STM32底层驱动***，底层***根据该状态矢量对下肢康复机器人进行机械控制，以实现康复训练的调整，提高治疗效果。本发明通过在数据采集阶段，利用边缘服务器上的无线通信模块为数据采集进行时钟同步，实现了边云协同处理。边云数据整合整合流程如图10所示。

上述过程均是建立在云服务器与边缘服务器计算时间恰好匹配的前提下，但在实际的过程中，边缘计算易受计算复杂度和深度网络规模以及训练难度等影响较大，云数据中心服务器则易受通信带宽和干扰等影响，故他们的数据同步需要进行设计。本发明通过边缘服务器作为时钟同步信息主控进行，设定3个时隙为时钟同步调整阈值，即当边缘计算的速度比云计算慢3个时钟时(即接收到的云处理结果比边缘计算结果至少快3时隙，将调整传感器的采样率，通过降低采样率来实现时钟同步调整)，反之，当边缘计算的结果输出快于云计算3个时隙时，即降低足底压力的采样率，以实现处理结果的同步。

下肢康复机器人的启动键按下后，主控***将进行自检及参数初始化。初始化完成之后，主控***首先同时向足底压力传感器和关节姿态传感器发送时钟同步信息与控制信令，上述传感器的内置控制器接收到控制信令与时钟信息后，将对采集得到的数据加入时钟信息(即时间戳)，以实现时钟同步；然后，分别利用足底压力和姿态传感器上集成的模数转换器将测量的电压值转换为数值类型数据；最后，足底压力鞋垫将加了时间戳并已经转换为数值类型的数据发送至下肢康复机器人的树莓派，并在树莓派上搭建深度网络算法对患者的足底压力进行分析；9轴关节姿态传感器则是利用传感器内部集成控制器的无线网络通信模组与远程大数据云服务器中心建立链接，即将加了时间戳的左右下肢髋关节、膝关节和踝关节的数据上传至云服务器中心进行处理与分析；最后，将云服务器处理的结果发送至树莓派，并将接收到的数据与树莓派上足底压力分布分析的结果进行时间戳匹配后整合为状态矢量，并将该状态矢量发给STM32底层驱动***，由STM32根据状态矢量，进行状态表查询，并控制下肢康复机器人根据查询结果进行策略调整，最后判断患者是否需要停止康复训练，以决定是否继续。

Claims (10)

1.一种基于边云协同的患者步态实时预测方法，其特征在于：具体包括如下过程：

步骤1，分别采集患者的下肢髋关节、膝关节和踝关节的姿态运动信息及患者的足底压力分布数据；

步骤2，将步骤1采集的足底压力分布数据在边缘计算的深度学习模型中进行分析；

步骤3，将步骤1采集的患者的下肢髋关节、膝关节和踝关节的姿态运动信息在云服务器的深度学习模型中进行预测；

步骤4，将步骤2和步骤3所得结果在边缘计算服务器上进行同步，从而实现对患者步态的快速识别与预测。

2.根据权利要求1所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤1中，采用柔性足底压力传感器采集患者的足底压力分布信息。

3.根据权利要求2所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤1中，每个足底压力传感器具有99个有效独立感应器；两只脚上各穿戴一个足底压力传感器。

4.根据权利要求1所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤1中，采用无线九轴姿态传感器采集下肢髋关节、膝关节和踝关节的姿态运动信息，分别在患者的下肢髋关节、膝关节和踝关节处各穿戴一个无线九轴姿态传感器；人体两个腿上共穿戴6个无线九轴姿态传感器。

5.根据权利要求4所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述无线九轴姿态传感器分别对人体关节运动在三个矢量方向上的加速度、角加速度和角度变化进行感知。

6.根据权利要求2所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤2的具体过程为：

步骤2.1，利用柔性足底压力传感器对患者的足底压力进行采集；

步骤2.2，使用柔性足底压力传感器配套的采集电路模块，对采集的压力进行模数转换，得到左右足底的数值为压力值，并重构成两个数值矩阵；

步骤2.3，柔性足底压力传感器中的电路模块通过无线通信模块将步骤2.2获取的两个数值发送至边缘机器设备，边缘机器设备在接收到数据之后，将数据输入到深度卷积网络中进行训练，输出最优模型。

7.根据权利要求6所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤3的具体过程为：大数据中心云服务器接收到九轴姿态传感器采集到的当前时刻的下肢关节姿态数据后，从数据库中取出上一时刻的下肢关节姿态数据一起拼接为108*1的数值矩阵，并将数据矩阵输入到深度学习网络中进行训练，输出最优模型。

8.根据权利要求7所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤2和步骤3中，深度卷积网络包括输入层、隐藏层、输出层和卷积核；所述深度卷积网络训练时采用的损失函数如下公式(1)所示：

其中，L表示计算函数，Y表示样本真实值，F(X)表示模型预测值。

9.根据权利要求7所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤4的具体过程为：大数据云服务器中心将步骤3处理完成的结果发送至边缘计算服务器，边云计算服务器将根据接收到的数据的时间戳与步骤2所得的边缘计算的结果进行关联，并整合为一个11*1的状态矢量，将该状态矢量发送给STM32底层驱动***，STM32底层驱动***根据该状态矢量对下肢康复机器人进行机械控制，以实现康复训练的调整。

10.根据权利要求9所述的一种基于边云协同的患者步态实时预测方法，其特征在于：所述步骤4进行过程中，需要满足的条件为：建立的云服务器与边缘服务器计算时间恰好匹配。

Images