CN111631923A - 基于意图识别的外骨骼机器人的神经网络控制*** - Google Patents

Abstract

本发明提供了一种基于意图识别的外骨骼机器人的神经网络控制***，包括：意图分类模块：对穿戴者的意图进行分类；动作及轨迹规划模块：设定患者的康复训练动作，对人体的下肢肌电信号进行采集，采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹；外骨骼状态判断模块：采集外骨骼的状态信息，并进行处理、分析，获得外骨骼的当前的状态信息。本发明解决了基于模型控制的计算力矩控制中的***未知项问题，并解决了不同状态转换时控制的实时性以及控制的鲁棒性。避免了穿戴者学习复杂的外骨骼操作方法，并使康复过程更加适应患者，加强了人机交互，能够有效提升康复效果。

Description

基于意图识别的外骨骼机器人的神经网络控制***

技术领域

本发明涉及康复用下肢外骨骼机器人的意图识别领域和控制领域，具体地，涉及基于意图识别的外骨骼机器人的神经网络控制***。尤其地，涉及基于穿戴者意图识别的康复下肢外骨骼机器人的神经网络控制***。进一步的，涉及一种基于隐马尔可夫模型和贝叶斯网络的穿戴者意图识别方法和径向基神经网络的下肢外骨骼控制方法。

背景技术

目前中国各类残疾人数已经超过了8000万人，因为年老而生活能力减退的群体占全国人口的14.3％。其中每年因为患帕金森、脑中风、颅脑损伤等造成的运动功能障碍的患者就高达300多万人。同时，因为下肢受伤而导致残疾的人口也是行动不便甚至残疾人口的主要部分。患者的病态步态、关节僵硬、肌肉萎缩等问题给患者的生活带来了严重的不便，并很容易因为摔倒造成二次伤害。在研究中证明，对于因为中枢神经受损而带来的运动障碍，可以通过康复训练来进行恢复。对于传统的康复训练来说，通常是康复训练师使用电子辅助轮椅、助力假肢等对患者进行康复治疗。但是因为其主要依靠理疗师，治疗周期很长，且理疗师价格昂贵，康复效果很大程度上依赖于训练师的水平。而康复用下肢外骨骼可以改善失去腿部行走能力的患者的生活质量，实现***辅助行走或恢复由于疾病或意外伤害而丢失的其他运动，可以减少所需治疗师的数量。此外，使用外骨骼能让培训将更加统一，更易于回顾性分析，并且可以针对每位患者进行专门定制，通过在任务导向和重复步态治疗中提供主动的肌肉激活来安全地恢复人类的运动机能。因此，下肢外骨骼辅助人体下肢康复的方式正在逐渐普及。

目前康复用下肢外骨骼主要依赖已经规划好的轨迹，缺乏一种简单可靠的识别穿戴者运动意图的方法。康复用下肢外骨骼需要识别出穿戴者的行动意图，才能通过训练好的轨迹帮助穿戴者进行康复训练。检测人的意图分为两种类型，一种是通过在人体内植入传感器，但是这种方式不仅价格昂贵，而且对人体是否有伤害目前还没有定论，因此这种方法不能普及。另一种方式是在人体外部通过各种间接的方法来测量。申请号为CN201210355661的专利请求提到了一种脑电帽，通过贴在脑外的若干干电极检查大脑兴奋点来判断外骨骼机器人穿戴者的行动意图。不过并没有提到大脑兴奋点是如何具体反映人的运动想法的，目前来说，通过脑电信号来采集并识别穿戴者意图的方法也不成熟且操作复杂。需要一种简单方便的穿戴者运动意图识别方法。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于意图识别的外骨骼机器人的神经网络控制***。

根据本发明提供的一种基于意图识别的外骨骼机器人的神经网络控制***，包括：

意图分类模块：对穿戴者的意图进行分类；

动作及轨迹规划模块：设定患者的康复训练动作，对人体的下肢肌电信号进行采集，采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹；

外骨骼状态判断模块：采集外骨骼的状态信息，并进行处理、分析，获得外骨骼的当前的状态信息；

意图信息采集模块：对外骨骼穿戴者的面部特征进行采集，获得穿戴者运动意图信息；

意图识别模块：根据采集的穿戴者运动意图信息，对穿戴者运动意图进行分析，识别出穿戴者的运动意图；

外骨骼控制模块：根据识别的穿戴者的运动意图，通过神经网络控制，对下一步的轨迹进行自适应控制。

优选地，所述对穿戴者的意图进行分类，分为：正常行走、停止行走、正常左转、正常右转、跨越障碍。

优选地，所述动作及轨迹规划模块：

设定患者的康复训练动作，通过肌电仪对人体的下肢肌电信号进行采集，并通过陀螺仪、加速度计辅助采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹。

优选地，所述外骨骼状态判断模块：

通过力矩传感器采集外骨骼机器人左腿髋关节、左腿膝关节、右腿髋关节以及右腿膝关节的力矩值，通过编码器采集当前各关节的角速度，对采集到的力矩值和角速度值进行卡尔曼滤波，通过正运动学推算出当前的步态，对外骨骼当前的运动状态进行识别，识别结果包括：当前的动作状态、当前的行走速度。

优选地，所述意图信息采集模块：

通过摄像头采集的穿戴者头部原始头像传递给图像处理器，图像处理器对原始图像进行预处理，采用中值滤波方法，保护图像的边缘并去除噪声；

采用直方图均衡的方法对图像细节进行增强，采用拉普拉斯金字塔对人进行特征提取，并通过图像中人眼的特性识别出人眼位置，再通过头部边缘的半圆形特征识别到头部的中心。

优选地，所述意图识别模块：

在识别出人眼位置和头部的中心后，计算出头部偏转的角度在得到穿戴者的转头角度后，根据训练好的转角角度和转向动作的关系，当穿戴者在一段持续时间中向同一方向转头超过预设次数或转头持续时间大于预设时长，且均超过预设角度时，即判断穿戴者有往某方向转向的意图，然后结合识别出的外骨骼当前的运动状态，通过隐马尔可夫和贝叶斯网络对穿戴者的意图进行识别，获得穿戴者的运动意图，并建立穿戴者行为数据库，从而采用相应的预先设定的运动轨迹。

优选地，所述外骨骼控制模块：

采用自适应径向基神经网络控制方法对在关节空间中对关节角度进行控制；

根据识别出的不同动作，通过使用自适应神经网络跟踪不同的期望角度，从而实现动作的平滑转换；

采用RBFNN网络逼近***模型中的不确定项，解决基于模型控制的计算力矩控制中的***未知项问题；

通过自适应神经网络来解决不同状态转换时控制的实时性以及控制的鲁棒性。

与现有技术相比，本发明具有如下的有益效果：

1、本发明利用穿戴式摄像头，通过采集下肢外骨骼穿戴者在运动过程中的面部信息，识别穿戴者的对下肢外骨骼穿戴者的运动意图进行识别。能够解决其他识别方式带来的不便性，并可以随时调整。

2、本发明通过对穿戴者的面部进行图像的几何分析，得到头部的转动角度，同时采集下肢外骨骼机器人的关节力矩、关节角度、关节角加速度等信息，识别出下肢外骨骼机器人的运动状态，作为意图识别的依据，解决了单一信息出现异常带来的错误识别问题，提高识别的准确性，并为外骨骼的控制提供了方便。

3、本发明通过隐马尔可夫模型和朴素贝叶斯的双层结构对采集到的穿戴者头部运动信息进行识别，有效提高了识别的准确率和泛化性能。

4、本发明通过对下肢外骨骼机器人使用径向基神经网络控制，采用RBFNN网络逼近***模型中的不确定项，解决基于模型控制的计算力矩控制中的***未知项问题。通过自适应神经网络来解决不同状态转换时控制的实时性以及控制的鲁棒性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的结构框图示意图。

图2为本发明中穿戴者的摄像头穿戴方式示意图。

图3为本发明中穿戴者正前方直视图示意图。

图4为本发明中穿戴者的头部角度示意图。

图5为本发明中意图识别过程流程示意图。

图6为本发明中使用的下肢外骨骼结构示意图。

图7为本发明中下肢外骨骼建模坐标系示意图。

图8为本发明中隐马尔可夫模型和贝叶斯方法双层识别的结构框图示意图。

图9为本发明中隐马尔可夫模型的结构框图示意图。

图中示出：

1--是下肢外骨骼穿戴者穿戴的帽子，2--是帽子上架设的摄像头，3--是下肢外骨骼穿戴者的头部中心，4--是下肢外骨骼穿戴者的双眼中心。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种基于意图识别的外骨骼机器人的神经网络控制***，包括：

意图分类模块：对穿戴者的意图进行分类；

动作及轨迹规划模块：设定患者的康复训练动作，对人体的下肢肌电信号进行采集，采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹；

外骨骼状态判断模块：采集外骨骼的状态信息，并进行处理、分析，获得外骨骼的当前的状态信息；

意图信息采集模块：对外骨骼穿戴者的面部特征进行采集，获得穿戴者运动意图信息；

意图识别模块：根据采集的穿戴者运动意图信息，对穿戴者运动意图进行分析，识别出穿戴者的运动意图；

外骨骼控制模块：根据识别的穿戴者的运动意图，通过神经网络控制，对下一步的轨迹进行自适应控制。

具体地，所述对穿戴者的意图进行分类，分为：正常行走、停止行走、正常左转、正常右转、跨越障碍。

具体地，所述动作及轨迹规划模块：

设定患者的康复训练动作，通过肌电仪对人体的下肢肌电信号进行采集，并通过陀螺仪、加速度计辅助采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹。

具体地，所述外骨骼状态判断模块：

通过力矩传感器采集外骨骼机器人左腿髋关节、左腿膝关节、右腿髋关节以及右腿膝关节的力矩值，通过编码器采集当前各关节的角速度，对采集到的力矩值和角速度值进行卡尔曼滤波，通过正运动学推算出当前的步态，对外骨骼当前的运动状态进行识别，识别结果包括：当前的动作状态、当前的行走速度。

具体地，所述意图信息采集模块：

通过摄像头采集的穿戴者头部原始头像传递给图像处理器，图像处理器对原始图像进行预处理，采用中值滤波方法，保护图像的边缘并去除噪声；

采用直方图均衡的方法对图像细节进行增强，采用拉普拉斯金字塔对人进行特征提取，并通过图像中人眼的特性识别出人眼位置，再通过头部边缘的半圆形特征识别到头部的中心。

具体地，所述意图识别模块：

在识别出人眼位置和头部的中心后，计算出头部偏转的角度在得到穿戴者的转头角度后，根据训练好的转角角度和转向动作的关系，当穿戴者在一段持续时间中向同一方向转头超过预设次数或转头持续时间大于预设时长，且均超过预设角度时，即判断穿戴者有往某方向转向的意图，然后结合识别出的外骨骼当前的运动状态，通过隐马尔可夫和贝叶斯网络对穿戴者的意图进行识别，获得穿戴者的运动意图，并建立穿戴者行为数据库，从而采用相应的预先设定的运动轨迹。

具体地，所述外骨骼控制模块：

采用自适应径向基神经网络控制方法对在关节空间中对关节角度进行控制；

根据识别出的不同动作，通过使用自适应神经网络跟踪不同的期望角度，从而实现动作的平滑转换；

采用RBFNN网络逼近***模型中的不确定项，解决基于模型控制的计算力矩控制中的***未知项问题；

通过自适应神经网络来解决不同状态转换时控制的实时性以及控制的鲁棒性。

下面通过优选例，对本发明进行更为具体地说明。

优选例1：

本发明涉及下肢外骨骼机器人领域，具体地说是一种基于穿戴者意图识别的康复下肢外骨骼机器人的神经网络控制***。该方法设计通过使用可穿戴式摄像头，方便穿戴和调整；设计图像算法而不是目前流行的深度学习方法对穿戴者的面部信息进行提取识别，减轻计算量；设计通过提取的特征，对穿戴者的头部转动角度和下肢外骨骼机器人的运动状态进行识别，提高了意图识别网络输入数据的数量，从而提高识别准确性；设计基于隐马尔可夫模型和贝叶斯方法的识别方法对穿戴者的运动意图进行识别，判断穿戴者下一步式要进行左转弯、右转弯、直行、跨障还是停止的运动；设计采用自适应径向基神经网络控制方法对可穿戴下肢外骨骼机器人进行控制，解决基于模型控制的计算力矩控制中的***未知项问题，并解决了不同状态转换时控制的实时性以及控制的鲁棒性。避免了穿戴者学习复杂的外骨骼操作方法，并使康复过程更加适应患者，加强了人机交互，能够有效提升康复效果。

为实现上述目的，本发明所述的方法包括以下步骤：

步骤1：对穿戴者的意图进行分类，分为：正常行走、停止行走、正常左转、正常右转、跨越障碍。

步骤2，设定患者的康复训练动作，通过肌电仪对人体的下肢肌电信号进行采集，并通过陀螺仪、加速度计辅助采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹。

步骤3，判断外骨骼当前的运动状态。通过力矩传感器采集外骨骼机器人左腿髋关节、左腿膝关节、右腿髋关节、右腿膝关节的力矩值，通过编码器采集当前各关节的角速度。对采集到的力矩值和角速度值进行卡尔曼滤波，通过正运动学，推算出现在的步态，对现在的外骨骼状态进行识别，包括现在的动作状态，现在的行走速度。

步骤4，穿戴者运动意图信息采集。通过摄像头采集穿戴者的面部行为，将摄像头采集的穿戴者头部原始头像传递给图像处理器，图像处理器对原始图像进行预处理，考虑到穿戴机器人没有很强的GPU资源，难以使用深度学习等方法对图像进行处理，因此使用直接对图像进行处理的方法。采用中值滤波方法，保护图像的边缘并去除噪声；采用直方图均衡的方法对图像细节进行增强。采用拉普拉斯金字塔对人进行特征提取，并通过图像中人眼的特性：灰度最小、圆形特征且对称出现的部分识别出人眼位置，通过双眼的中心和头部的中心的连线计算出。然后通过头部边缘的半圆形特征识别到头部的中心，然后计算头部偏转的角度。

步骤5，根据步骤4计算出的头部偏转角度，以及根据训练好的转角角度和转向动作的关系，当穿戴者在一段持续时间中向同一方向转头5次或转头持续时间大于2s且均超过某一角度时，即判断穿戴者有往某方向转向的意图，然后结合识别出的外骨骼现在的行动状态，通过隐马尔可夫和贝叶斯网络对穿戴者的意图进行识别，得出现在的穿戴者意图，并建立穿戴者行为数据库。从而采用相应的预先设定的运动轨迹。

步骤6采用自适应径向基神经网络控制方法对在关节空间中对关节角度进行控制。根据识别出的不同动作进行控制。首先使用下肢外骨骼的动力学模型，对控制所需要的控制量τ进行分析，得到在控制过程中无法精确得到的控制量F，然后采用RBFNN网络逼近***模型中的不确定项，解决基于模型控制的计算力矩控制中的***未知项问题。通过使用自适应神经网络跟踪不同的期望角度，从而实现动作的平滑转换。通过自适应神经网络来解决不同状态转换时控制的实时性以及控制的鲁棒性。

优选例2：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对前述各实施的技术方案进行若干改进和修饰，或者对其中部分技术方案进行等同替换。这些改进、修饰和替换并不会同理本发明各实施技术方案的范围，而且也属于本发明权利要求的保护范围内。

在具体实施例中，我们使用的下肢外骨骼机器人的控制计算机***底层已经完成自动平衡得功能，能够依据各个传感器的状态，控制动力机构采取相应的动作在各种地形上维持穿戴者平衡站立，无需穿戴者下肢采取任何动作。下肢外骨骼的穿戴者的运动意图分为：正常行走、停止行走、正常左转、正常右转、跨越障碍。图1是整个的意图识别控制下肢外骨骼***的结构框图。整体上介绍了本发明的主体思路，先进行数据采集与预处理得到所需要的穿戴者行为数据集和下肢外骨骼的状态数据集，然后同时训练第一层的隐马尔可夫模型和第二层的贝叶斯模型。将第一层中的易混淆意图对应的数据导入第二层贝叶斯模型中，通过求得的概率最大值来得到最终穿戴者的意图。

参见图2，所述的摄像头与图像处理器之间采用串口连接，所述的摄像头固定在帽子上，帽子穿戴在穿戴者头部，摄像头的主光轴与水平面的夹角为30°到60°，摄像头镜头朝着穿戴者；摄像头通过采集穿戴者面部的原始图像，并通过视频线传送给图像处理器；摄像头通常要求动态范围达到110dB以上、像素值达到300万以上。所述的图像处理器与意图识别处理器相连接，图像处理器用于对穿戴者头部图像进行图像处理,计算出穿戴者的头部偏转角度，识别出如图4所示的，Pitch是俯仰角，Roll是旋转角，Yaw是偏航角，我们只需要得到偏航角和俯仰角即可。并将计算结果传给意图识别处理器。所述的意图识别处理器通过以太网总线与下肢外骨骼机器人相连接；意图识别处理器通过以太网总线获取下肢外骨骼的电流、力矩、转动角度、角速度、角加速度等信息，并进行处理，获得下肢外骨骼机器人当前的运动状态，包括当前的运动形式、当前的运动速度等方面。

参见图5，穿戴者员头信息并通过串口发送给意图识别处理器。意图识别处理器通过以太网总线获取外骨骼当前速度、运动状态等信号,实时计算分析下肢外骨骼穿戴者的正常行走、停止行走、正常左转、正常右转、跨越障碍意图,并将识别意图结果发到外骨骼以太网总线上。即本传感装置采集基于视觉的穿戴者意图信息和外骨骼运动信息进行综合分析来识别穿戴者运动意图,通过多种信息的融合判断,提升了穿戴者意图识别的准确性；同时,能够将穿戴者意图信息发到外骨骼总线上,为径向基神经网络控制器提供穿戴者意图信息；保证了信息的一致。

参见图2至图9，一种基于穿戴者意图识别的康复下肢外骨骼机器人的神经网络控制方法，具体包括以下步骤：

步骤1、设定患者的康复训练动作，通过肌电仪对人体的下肢肌电信号进行采集，并通过陀螺仪、加速度计辅助采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹。

步骤2、判断外骨骼当前的运动状态。通过力矩传感器采集外骨骼机器人左腿髋关节、左腿膝关节、右腿髋关节、右腿膝关节的力矩值，通过编码器采集当前各关节的角速度。对采集到的力矩值和角速度值进行卡尔曼滤波，通过正运动学，推算出现在的步态，对现在的外骨骼状态进行识别，包括现在的动作状态，现在的行走速度。参见图7，对下肢外骨骼进行正运动学建模，可以得到各坐标系之间的变换矩阵。

步骤3、穿戴者运动意图信息采集。通过摄像头采集穿戴者的面部行为，将摄像头采集的穿戴者头部原始头像传递给图像处理器，图像处理器对原始图像进行预处理，考虑到穿戴机器人没有很强的计算资源，难以使用深度学习等方法对图像进行处理，因此使用直接对图像进行处理的方法。采用中值滤波方法，保护图像的边缘并去除噪声；采用直方图均衡的方法对图像细节进行增强。采用拉普拉斯金字塔对人进行特征提取，并通过图像中人眼的特性：灰度最小、圆形特征且对称出现的部分识别出人眼位置。具体的检测步骤如下

a)将图像一分为二，分别记为g(x₁,y₁),p(x₂,y₂)。g(x₁,y₁)和p(x₂,y₂)分别表示人脸对称的左侧和右侧。

b)通过判断圆形区域判断眼睛位置，对要判断的第k个圆，计算第k个圆的表达式：

其中，ω是权重，0＜ω＜1，N_k为第k个圆上的像素的总数，S_k为第k个圆上像素的梯度值之和，M_k为待测圆内像素的总数，H_k为第k个圆内像素的灰度值总和。

c)对两个图像g(x₁,y₁),p(x₂,y₂)分别带入式(1)，使F_k值最大的那个圆，判决为瞳孔圆，而其余圆则删除。

然后通过头部边缘的半圆形特征识别到头部的中心，然后通过双眼的中心和头部的中心的连线可以计算出头部偏转的角度，具***置参见图3。

步骤4、穿戴者运动意图识别：根据步骤3中所述的方法，在识别出人眼中心和头部中心后，计算出头部偏转的角度在得到穿戴者的转头角度。转头角度θ的计算公式为：

θ＝arctan[(Y₁-Y₂)/(X₁-X₂)]*β (2)

其中X₁、Y₁为头部中心所在像素的位置，X₂、Y₂为双眼中心所在的像素位置，β为图像转换系数。根据训练好的转角角度和转向动作的关系，当穿戴者在一段持续时间中向同一方向转头5次或转头持续时间大于2s且均超过某一角度时，即判断穿戴者有往某方向转向的意图，然后结合识别出的外骨骼现在的行动状态，参考图8和图9，通过隐马尔可夫和贝叶斯网络对穿戴者的意图进行识别，得出现在的穿戴者意图，并建立穿戴者行为数据库。从而采用相应的预先设定的运动轨迹。

a)隐马尔可夫模型的构建

隐马尔可夫模型包括两组状态集合和三组概率集合，可以表示为λ＝N,M,A,B,π，其中，N代表隐含的状态数目，S＝s1,s2,…,sN为状态集合。M表示可以观测到的数目，观察值的组合的集合V，A表示状态转移概率；B表示在状态S下出现观察值V的概率，π表示初始状态分布概率。将处理后的数据输入第一层隐马尔可夫模型，通过得到的穿戴者的最大似然估计组对穿戴者意图进行初步分类。

b)贝叶斯模型的构建

根据第一层隐马尔可夫模型输出的易混淆穿戴者意图对应的序列种类输入到第二层贝叶斯网络中，最后通过求出概率最大值判断出穿戴者的行为意图。贝叶斯模型的公式为：

P(A|B)＝P(B|A)P(A)/P(B) (3)

其中，P(A|B)是指事件B发生的情况下事件A发生的概率(条件概率)；P(A|B)是已知B发生后A的条件概率，也由于得知B的取值而被称作A的后验概率；P(A)是A的先验概率(或边缘概率)。之所以称为"先验"是因为它不考虑任何B方面的因素；P(B|A)是已知A发生后B的条件概率，也由于得知A的取值而成称作B的后验概率；P(B)是B的先验概率(或边缘概率)。我们需要得到的就是最大的概率值然后判断出穿戴者的行为意图。

步骤5、采用自适应径向基神经网络控制方法对在关节空间中对关节角度进行控制。根据识别出的不同动作进行控制。首先使用下肢外骨骼的动力学模型，对控制所需要的控制量τ进行分析，得到在控制过程中无法精确得到的控制量F，然后采用RBFNN网络逼近***模型中的不确定项，解决基于模型控制的计算力矩控制中的***未知项问题。通过使用自适应神经网络跟踪不同的期望角度，从而实现动作的平滑转换。通过自适应神经网络来解决不同状态转换时控制的实时性以及控制的鲁棒性。

外骨骼的动力学模型为：

其中，

M(q)是正定惯性矩阵，

是惯性矩阵，G(q)是重力矩阵，f_dis是摩擦力和未知干扰项，τ是控制输入，q为关节矢量，

为q的导数；

通过自适应神经网络对未知项进行逼近，神经网络的输出为：

其中，W为神经网络参数矩阵，

为神经网络输入；

控制率为：

其中

e为***误差，ω为克服神经网络逼近误差的鲁棒项，

为***误差的导数。

上文中，针对基于穿戴者意图识别的康复下肢外骨骼机器人的神经网络控制方法进行了详细介绍。通过摄像头采集并分析出穿戴者的运动意图，将穿戴者的运动意图传递给外骨骼机器人，然后通过自适应径向基神经网络控制方法对外骨骼机器人进行自适应控制。可以很大程度地提高外骨骼机器人的控制效果，从而提升下肢外骨骼机器人的康复效果。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，包括：

意图分类模块：对穿戴者的意图进行分类；

动作及轨迹规划模块：设定患者的康复训练动作，对人体的下肢肌电信号进行采集，采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹；

外骨骼状态判断模块：采集外骨骼的状态信息，并进行处理、分析，获得外骨骼的当前的状态信息；

意图信息采集模块：对外骨骼穿戴者的面部特征进行采集，获得穿戴者运动意图信息；

意图识别模块：根据采集的穿戴者运动意图信息，对穿戴者运动意图进行分析，识别出穿戴者的运动意图；

外骨骼控制模块：根据识别的穿戴者的运动意图，通过神经网络控制，对下一步的轨迹进行自适应控制。

2.根据权利要求1所述的基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，所述对穿戴者的意图进行分类，分为：正常行走、停止行走、正常左转、正常右转、跨越障碍。

3.根据权利要求1所述的基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，所述动作及轨迹规划模块：

设定患者的康复训练动作，通过肌电仪对人体的下肢肌电信号进行采集，并通过陀螺仪、加速度计辅助采集人体行走时的步态数据，并在下肢外骨骼机器人的关节空间中规划出运动轨迹。

4.根据权利要求1所述的基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，所述外骨骼状态判断模块：

通过力矩传感器采集外骨骼机器人左腿髋关节、左腿膝关节、右腿髋关节以及右腿膝关节的力矩值，通过编码器采集当前各关节的角速度，对采集到的力矩值和角速度值进行卡尔曼滤波，通过正运动学推算出当前的步态，对外骨骼当前的运动状态进行识别，识别结果包括：当前的动作状态、当前的行走速度。

5.根据权利要求1所述的基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，所述意图信息采集模块：

通过摄像头采集的穿戴者头部原始头像传递给图像处理器，图像处理器对原始图像进行预处理，采用中值滤波方法，保护图像的边缘并去除噪声；

采用直方图均衡的方法对图像细节进行增强，采用拉普拉斯金字塔对人进行特征提取，并通过图像中人眼的特性识别出人眼位置，再通过头部边缘的半圆形特征识别到头部的中心。

6.根据权利要求5所述的基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，所述意图识别模块：

在识别出人眼位置和头部的中心后，计算出头部偏转的角度在得到穿戴者的转头角度后，根据训练好的转角角度和转向动作的关系，当穿戴者在一段持续时间中向同一方向转头超过预设次数或转头持续时间大于预设时长，且均超过预设角度时，即判断穿戴者有往某方向转向的意图，然后结合识别出的外骨骼当前的运动状态，通过隐马尔可夫和贝叶斯网络对穿戴者的意图进行识别，获得穿戴者的运动意图，并建立穿戴者行为数据库，从而采用相应的预先设定的运动轨迹。

7.根据权利要求6所述的基于意图识别的外骨骼机器人的神经网络控制***，其特征在于，所述外骨骼控制模块：

采用自适应径向基神经网络控制方法对在关节空间中对关节角度进行控制；

根据识别出的不同动作，通过使用自适应神经网络跟踪不同的期望角度，从而实现动作的平滑转换；

采用RBFNN网络逼近***模型中的不确定项，解决基于模型控制的计算力矩控制中的***未知项问题；

通过自适应神经网络来解决不同状态转换时控制的实时性以及控制的鲁棒性。

Images