CN109620493A - 基于脑控的残疾人生活辅助装置及其控制方法 - Google Patents

基于脑控的残疾人生活辅助装置及其控制方法 Download PDF

Info

Publication number
CN109620493A
CN109620493A CN201811497502.4A CN201811497502A CN109620493A CN 109620493 A CN109620493 A CN 109620493A CN 201811497502 A CN201811497502 A CN 201811497502A CN 109620493 A CN109620493 A CN 109620493A
Authority
CN
China
Prior art keywords
microcomputer
mechanical arm
electric wheelchair
class
disabled person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811497502.4A
Other languages
English (en)
Other versions
CN109620493B (zh
Inventor
潘红光
米文毓
倪琪
汪梅
温帆
薛纪康
黄心怡
雷心宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201811497502.4A priority Critical patent/CN109620493B/zh
Publication of CN109620493A publication Critical patent/CN109620493A/zh
Application granted granted Critical
Publication of CN109620493B publication Critical patent/CN109620493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1051—Arrangements for steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于脑控的残疾人生活辅助装置，包括电动轮椅和固定于电动轮椅右前方的类人机械臂，电动轮椅的座位底部安装有微型计算机，电动轮椅的顶部安装有高度可调的滑杆，滑杆上安装有脑电信号采集装置和摄像头，电动轮椅上设置有电动轮椅控制器、电动轮椅位置传感器和轮椅电机驱动模块，类人机械臂上设置有类人机械臂控制器、类人机械臂位置传感器和机械臂电机驱动模块，微型计算机上还接有麦克风和脑电仿生电刺激仪；本发明还公开了一种基于脑控的残疾人生活辅助装置的控制方法。本发明的设计新颖合理，实现方便，控制精度高，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作，将为残疾人的生活提供极大便利。

Description

基于脑控的残疾人生活辅助装置及其控制方法
技术领域
本发明属于智能控制技术领域，具体涉及一种基于脑控的残疾人生活辅助装置及其控制方法。
背景技术
康复辅助机器人近年来已经成为独立的机器人大类，包括穿戴式外骨骼、智能假肢、智能轮椅等。其中，穿戴式外骨骼机器人可穿戴与患者身上，对人体运动能力有一定的补偿，但存在体积大，重量大，佩戴不舒服缺陷，具有代表性的是BLLEEX助力型外骨骼机器人。智能假肢主要是通过安装假肢完成丧失的功能，但大都是基于残余肢体肌电信号进行控制。如德国Reiter研制的假手，德国OttoBock公司和Viennatone合作研发的肌电假肢***。这就要求使用者肌肉功能良好。而老年人一般肌肉功能下降，因此不适合老年人使用。智能轮椅目前已有大量研究，但其自由度少，功能有限如匹兹堡大学Cooper等人制作的手动激活助力轮椅、日本Keigo Shiral等人开发的Glimmer全方位轮椅。将轮椅和机械臂结合起来使用可增加其通用性。
现有轮椅机械臂大致分为以下两种，一种需要人对外部设备进行手动操作，不适用于完全不能行动的残疾人。如荷兰Exact Dynamics公司生产的轮椅机械臂***iRAM，但是这一***的机械臂控制方式为16键的软键盘配合一个2D操作杆，用户需要切换各关节的控制来实现机械臂的运动；加拿大Kinova公司发布的产品JACO控制方式以操作杆操作为主。另一种则是由机器去料理人的生活，鲜有人机交互，不能照顾到使用者的感受，如定时电动轮椅机械臂。由于脑控***有很好的自动化程度以及人机交互性，故近年来脑控***成为研究热点。但是，传统的脑控***需采集脑电信控制外部设备，由于脑电信号在实际运动过程中会随时间发生变化，与此同时，目前我们对大脑进行运动控制的原理尚未完全破解，以及感觉反馈通路的缺失，单靠大脑一个控制器是远远不够的。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结构简单、设计新颖合理、实现方便、有效提高了控制精度、将为残疾人的生活提供极大便利、实用性强、使用效果好、便于推广使用基于脑控的残疾人生活辅助装置。
为解决上述技术问题，本发明采用的技术方案是：一种基于脑控的残疾人生活辅助装置，包括电动轮椅和固定于电动轮椅右前方的类人机械臂，所述电动轮椅的座位底部安装有微型计算机，所述电动轮椅的顶部安装有高度可调的滑杆，所述滑杆上安装有脑电信号采集装置和摄像头，所述脑电信号采集装置的输出端和摄像头的输出端均与微型计算机的输入端连接，所述电动轮椅上设置有电动轮椅控制器、用于对电动轮椅的位置进行实时检测的电动轮椅位置传感器和用于驱动电动轮椅电机的轮椅电机驱动模块，所述类人机械臂上设置有类人机械臂控制器、用于对类人机械臂的位置进行实时检测的类人机械臂位置传感器和用于驱动类人机械臂电机的机械臂电机驱动模块，所述电动轮椅位置传感器与电动轮椅控制器的输入端连接，所述轮椅电机驱动模块与电动轮椅控制器的输出端连接，所述类人机械臂位置传感器与类人机械臂控制器的输入端连接，所述机械臂电机驱动模块与类人机械臂控制器的输出端连接，所述电动轮椅控制器和类人机械臂控制器均与微型计算机相接，所述微型计算机上还接有用于拾取人的声音信号的麦克风，所述麦克风安装在类人机械臂上，所述微型计算机上还接有用于拾取人的声音信号的麦克风和用于产生电刺激信号作用于残疾人头部的脑电仿生电刺激仪，所述麦克风安装在类人机械臂上。
上述的一种基于脑控的残疾人生活辅助装置，所述类人机械臂为六自由度类人机械臂。
上述的一种基于脑控的残疾人生活辅助装置，所述电动轮椅控制器和类人机械臂控制器均为单片机。
本发明还公开了一种通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家***模型、基于能量最小原则的路径规划模块和基于无模型控制的脑控辅助控制模块，能够实现轮椅和类人机械臂的自主控制，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作的基于脑控的残疾人生活辅助装置的控制方法，该方法包括以下步骤：
步骤一、残疾人坐在电动轮椅上，调节好滑杆的高度，使脑电信号采集装置处于残疾人头部正上方；
步骤二、当残疾人想要执行生活所需动作时，脑电信号采集装置采集残疾人的脑电信号并对脑电信号进行放大、滤波和A/D转换处理后输出给微型计算机；同时，残疾人对着麦克风说出想要执行的生活所需动作，所述麦克风将其拾取到的残疾人的声音信号传输给微型计算机；摄像头采集电动轮椅前方的环境图像并将采集到的环境图像传输给微型计算机；
步骤三、所述微型计算机调用脑电信号解码器模块将脑电信号解码为对电动轮椅的运动控制指令和对类人机械臂的运动控制指令，并将对电动轮椅的运动控制指令传输给电动轮椅控制器，将对类人机械臂的运动控制指令传输给类人机械臂控制器，电动轮椅控制器根据对电动轮椅的运动控制指令控制轮椅电机驱动模块驱动电动轮椅动作，使电动轮椅向其目标位置处移动；
电动轮椅向其目标位置处移动过程中，电动轮椅位置传感器对电动轮椅的位置进行实时检测并将检测到的电动轮椅位置信号输出给电动轮椅控制器，电动轮椅控制器再传输给微型计算机，同时，残疾人能够看到电动轮椅与目标位置之间的距离变化，带来脑电信号的改变，脑电信号采集装置持续采集脑电信号，微型计算机持续根据脑电信号采集装置输出的信号对电动轮椅进行控制，实现对电动轮椅的闭环控制；
当电动轮椅位置传感器检测到电动轮椅到达目标位置处时，电动轮椅控制器将电动轮椅到达目标位置处的信号传输给微型计算机，微型计算机再将对类人机械臂的运动控制指令传输给类人机械臂控制器，类人机械臂控制器根据对类人机械臂的运动控制指令控制机械臂电机驱动模块驱动类人机械臂动作；同时，所述微型计算机调用声音信号处理模块对麦克风输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作；所述微型计算机调用目标信息提取模块对此时摄像头采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；然后，所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；
步骤四、所述微型计算机将目标信息的中心坐标输入预先训练好的专家***模型中，得到类人机械臂各自由度电机的目标角度；类人机械臂位置传感器对类人机械臂的位置进行实时检测并将检测到的类人机械臂各自由度电机的位置信号输出给类人机械臂控制器，类人机械臂控制器再传输给微型计算机，微型计算机调用路径规划模块对检测到的类人机械臂各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂的运动轨迹；
步骤五、所述微型计算机调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂的运动轨迹与类人机械臂位置传感器检测到的类人机械臂各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率，并输出给脑电仿生电刺激仪，通过脑电仿生电刺激仪产生电刺激信号作用于残疾人头部，实现对脑电信号的反馈调节，实现辅助大脑进行类人机械臂控制的效果。
上述的方法，步骤三中所述微型计算机调用脑电信号解码器模块将脑电信号解码为对电动轮椅的运动控制指令和对类人机械臂的运动控制指令时，是将脑电信号输入预先训练好的解码器模型中，得出对电动轮椅的运动控制指令和对类人机械臂的运动控制指令；其中，所述解码器模型的训练过程为：
步骤A1、数据生成：邀请X个志愿者做残疾人想要执行的生活所需动作，采集他们的多组脑电信号、右腿位置信号和右臂位置信号，并将采集到的多组信号分为训练集和测试集输入微型计算机中；其中，X的取值为大于100的正整数；
步骤A2、解码器训练：所述微型计算机通过维纳滤波原理建立右腿位置信号和右臂位置信号与脑电信号之间的关系，将第k个时刻右腿各关节位置和右臂各关节位置矩阵p(k)与脑电信号矩阵z(k)之间的数学关系模型表示为：
p(k)＝wTz(k) (F1)
其中，z(k)＝[z1(k),z1(k-1),…,z1(k-L+1),z2(k),z2(k-1),…,z2(k-L+1),…,zN(k-L+1)]，zi(k-j)为在第k-j个时刻第i个大脑皮层采样点的脑电信号采样数据，i的取值为1～N的正整数，N为脑电信号采集装置的脑电信号采集通路数，j为延时时刻且取值为0～L-1，L的取值为6～15的正整数；w为权重矩阵且w的更新公式为：
其中，w(k+1)为第k+1个时刻的权重矩阵，w(k)为第k个时刻的权重矩阵，β为正常数，δ为0～2的常数，e(k)为第k个时刻通过解码器求出的右腿位置信号和右臂位置信号与训练集中的右腿位置信号和右臂位置信号与之间的误差；所述微型计算机通过训练得到权重矩阵w的最终适应值；
步骤A3、所述微型计算机将测试集输入步骤A2中训练得到的解码器中，当测试结果满足精度需求时，停止训练，得到训练好的解码器；当测试结果不满足精度需求时，重复步骤A1和步骤A2，增大训练集再次执行步骤A1至A3进行训练。
上述的方法，步骤三中所述微型计算机调用声音信号处理模块对麦克风输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作的具体过程为：
步骤D1、所述微型计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；
步骤D2、所述微型计算机将语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人需要执行的多种生活所需动作；
所述Tensorflow深度学习语义识别网络的构建方法为：
步骤D201、人对着麦克风说话时，所述麦克风将其拾取到的人的声音信号传输给微型计算机；所述微型计算机采集声音信号；
步骤D202、所述微型计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；
步骤D203、重复执行步骤D201和步骤D202，直至所述微型计算机存储了残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图；
步骤D204、所述微型计算机构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要执行的生活所需动作类别数相等的Tensorflow深度学习网络，并将其存储的残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对Tensorflow深度学习网络进行训练，得到Tensorflow深度学习语义识别网络；所述Tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3,2x2,3x3,2x2,2x2；所述Tensorflow深度学习语义识别网络的输出为分别对应于残疾人需要执行的多种生活所需动作的多种语义。
上述的方法，步骤三中所述微型计算机调用目标信息提取模块对此时摄像头采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息的具体过程为：
步骤E1、所述微型计算机调用二次线性插值图像处理模块对环境图像进行平滑处理；
步骤E2、所述微型计算机将经过步骤E1平滑处理后的环境图像输入预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出了环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；
其中，预先训练faster-RCNN网络模型的具体过程为：
步骤E201、构建RPN卷积神经网络和fast-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；
步骤E202、对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；
步骤E203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人需要执行的多种生活所需动作对应的多个目标信息相对应；
步骤E204、在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；
步骤E205、对fast-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；
步骤E206、输入训练样本图像和步骤E204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的fast-RCNN卷积神经网络；
步骤E207、重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E206的fast-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；
步骤E208、在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；
步骤E209、重新训练fast-RCNN卷积神经网络，将fast-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E208中的RPN卷积神经网络模型，使用训练样本集和步骤E208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-RCNN卷积神经网络模型。
上述的方法，步骤三中所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：
步骤F1、所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息；
步骤F2、所述微型计算机调用边界提取模块对步骤F1中得到的目标进行边界提取，提取得到目标边界；
步骤F3、所述微型计算机对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；
步骤F4、所述微型计算机采用重心法确定出目标的中心坐标。
上述的方法，步骤四中所述专家***模型的训练过程为：选取一名或多名志愿者执行生活所需动作，记录各个采样时间点右手臂与类人机械臂中各电机位置对应的各关节角度，建立专家***模型并存储在微型计算机中；
步骤四中所述微型计算机调用路径规划模块对检测到的类人机械臂各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂的运动轨迹时，采用能量最小原则设计，将类人机械臂中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：
步骤B1、假设电机需要从角度θ0运动到角度θ1,运动过程中花费的时间为T；
步骤B2、将电机的总能耗W表示为：
其中，Wp为电机的输出功率且θ(t)为电机的角度，t为时间，τ为电机输出转矩；Wf为电机发热能耗且I为电机的有效电流且K为转矩常数,R为电机的等效电阻；
步骤B3、在时间段[0，T]内，定义采样时间间隔为Δt且Δt为能整除T的正整数，建立路径规划的优化问题为：
其中，Δt＝tm+1-tm，m为采样次数且m的取值为正整数；当tm＝0时，存在约束：
当tm+1＝T时，存在约束：
在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度得到电机的运动轨迹。
上述的方法，步骤五中所述微型计算机调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂的运动轨迹与类人机械臂位置传感器检测到的类人机械臂各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率的具体过程为：
步骤C1、选取控制输入准则函数为：
Jp(k)＝[O*(k+1)-O(k+1)]2+λ[F(k)-F(k-1)]2 (F6)
其中，O*(k+1)为所述微型计算机调用路径规划模块规划的类人机械臂的运动轨迹中k+1时刻类人机械臂的期望位置，λ为权重系数，O(k+1)为根据k时刻类人机械臂位置传感器检测到的类人机械臂的真实位置O(k)计算得到的k+1时刻类人机械臂的真实位置，所述O(k+1)的计算公式为：
其中，为k时刻被控***的伪偏导数，是一个时变的参数；ΔF(k)为F(k)的增量且ΔF(k)＝F(k)-F(k-1)，F(k)为k时刻被控***的输入,即k时刻计算得到的双相波电流频率；F(k-1)为k-1时刻被控***的输入,即k-1时刻计算得到的双相波电流频率；
步骤C2、将公式(F7)代入公式(F6)中,对F(k)求导,并令Jp(k)对F(k)的导数为0,得到：
其中，ρk为的常数项参数；
步骤C3、采用相似方法求出的估计值计算公式为：
其中，为的准则函数，μ为伪偏导数的变化量的常数项参数，为k-1时刻被控***的伪偏导数，为的估计值，ηk为ΔI(k-1)的常数项参数，ΔF(k-1)为F(k-1)的增量且ΔF(k-1)＝F(k-1)-F(k-2)，F(k-2)为k-2时刻被控***的输入,即k-2时刻计算得到的双相波电流频率；ΔO(k)为O(k)的增量且ΔO(k)＝O(k)-O(k-1)；
步骤C4、将的估计值作为的取值代入公式(F8),得到双相波电流频率F(k)。
本发明与现有技术相比具有以下优点：
1、本发明基于脑控的残疾人生活辅助装置的结构简单，设计新颖合理，实现方便。
2、本发明的基于脑控的残疾人生活辅助装置，在传统脑控***中加入了微型计算机，辅助大脑进行控制，通过麦克风和摄像头，实现了语音输入和图像采集的融合，能够有效识别残疾人想要执行的生活所需动作，识别出目标并控制电动轮椅和机械臂到达目标。
3、本发明的基于脑控的残疾人生活辅助装置的控制方法，通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家***模型、基于能量最小原则的路径规划模块和基于无模型控制的脑控辅助控制模块，能够实现轮椅和类人机械臂的自主控制，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作。
4、本发明的基于脑控的残疾人生活辅助装置的控制方法，采用无模型控制设计脑控辅助控制模块，它不依赖于被控制***的模型,只依赖被控***的输入输出数据，能够避免对复杂大脑模型的分析，简化了控制过程的同时，还能够达到很好的控制效果。
5、本发明通过电动轮椅和机械臂组合构成残疾人生活辅助装置，能够部分或全部实现老年人、残疾人已丧失的操作能力，从而改善老龄人和肢体残疾人的移动能力和生活质量，本发明的推广使用，将为残疾人的生活提供极大便利，能够有效减轻照顾残疾人的负担，本发明的实用性强，使用效果好，便于推广使用。
综上所述，本发明的设计新颖合理，实现方便，控制精度高，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作，将为残疾人的生活提供极大便利，实用性强，使用效果好，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明基于脑控的残疾人生活辅助装置的结构示意图。
图2为本发明微型计算机与其他各单元的连接关系示意图。
图3为本发明基于脑控的残疾人生活辅助装置的控制方法的方法原理框图。
附图标记说明:
1—电动轮椅； 1-1—轮椅电机驱动模块；
1-2—电动轮椅位置传感器； 1-3—电动轮椅控制器；
2—类人机械臂； 2-1—机械臂电机驱动模块；
2-2—类人机械臂位置传感器； 2-3—类人机械臂控制器；
3—微型计算机； 4—滑杆；
5—脑电信号采集装置； 6—摄像头；
7—脑电仿生电刺激仪； 8—麦克风。
具体实施方式
如图1和图2所示，本发明的基于脑控的残疾人生活辅助装置，包括电动轮椅1和固定于电动轮椅1右前方的类人机械臂2，所述电动轮椅1的座位底部安装有微型计算机3，所述电动轮椅1的顶部安装有高度可调的滑杆4，所述滑杆4上安装有脑电信号采集装置5和摄像头6，所述脑电信号采集装置5的输出端和摄像头6的输出端均与微型计算机3的输入端连接，所述电动轮椅1上设置有电动轮椅控制器1-3、用于对电动轮椅1的位置进行实时检测的电动轮椅位置传感器1-2和用于驱动电动轮椅电机的轮椅电机驱动模块1-1，所述类人机械臂2上设置有类人机械臂控制器2-3、用于对类人机械臂2的位置进行实时检测的类人机械臂位置传感器2-2和用于驱动类人机械臂电机的机械臂电机驱动模块2-1，所述电动轮椅位置传感器1-2与电动轮椅控制器1-3的输入端连接，所述轮椅电机驱动模块1-1与电动轮椅控制器1-3的输出端连接，所述类人机械臂位置传感器2-2与类人机械臂控制器2-3的输入端连接，所述机械臂电机驱动模块2-1与类人机械臂控制器2-3的输出端连接，所述电动轮椅控制器1-3和类人机械臂控制器2-3均与微型计算机3相接，所述微型计算机3上还接有用于拾取人的声音信号的麦克风8和用于产生电刺激信号作用于残疾人头部的脑电仿生电刺激仪7，所述麦克风8安装在类人机械臂2上。
本实施例中，所述类人机械臂2为六自由度类人机械臂。
本实施例中，所述电动轮椅控制器1-3和类人机械臂控制器2-3均为单片机。
具体实施时，所述电动轮椅1包括前轮电机和后轮电机，所述轮椅电机驱动模块1-1用于驱动电动轮椅1的前轮电机和后轮电机；所述电动轮椅位置传感器1-2采用编码器，用于采集电动轮椅1的前轮电机和后轮电机的位置，从而获知电动轮椅1的位置；所述类人机械臂2包括第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机，所述机械臂电机驱动模块2-1用于驱动类人机械臂2的第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机；所述类人机械臂位置传感器2-2采用编码器，用于采集类人机械臂2的第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机的位置，从而获知类人机械臂2的位置。
如图3所示，本发明的基于脑控的残疾人生活辅助装置的控制方法，包括以下步骤：
步骤一、残疾人坐在电动轮椅1上，调节好滑杆4的高度，使脑电信号采集装置5处于残疾人头部正上方；
步骤二、当残疾人想要执行生活所需动作(例如取水喝)时，脑电信号采集装置5采集残疾人的脑电信号并对脑电信号进行放大、滤波和A/D转换处理后输出给微型计算机3；同时，残疾人对着麦克风8说出想要执行的生活所需动作，所述麦克风8将其拾取到的残疾人的声音信号传输给微型计算机3；摄像头6采集电动轮椅1前方的环境图像并将采集到的环境图像传输给微型计算机3；
步骤三、所述微型计算机3调用脑电信号解码器模块将脑电信号解码为对电动轮椅1的运动控制指令和对类人机械臂2的运动控制指令，并将对电动轮椅1的运动控制指令传输给电动轮椅控制器1-3，将对类人机械臂2的运动控制指令传输给类人机械臂控制器2-3，电动轮椅控制器1-3根据对电动轮椅1的运动控制指令控制轮椅电机驱动模块1-1驱动电动轮椅1动作，使电动轮椅1向其目标位置处移动；
电动轮椅1向其目标位置处移动过程中，电动轮椅位置传感器1-2对电动轮椅1的位置进行实时检测并将检测到的电动轮椅位置信号输出给电动轮椅控制器1-3，电动轮椅控制器1-3再传输给微型计算机3，同时，残疾人能够看到电动轮椅1与目标位置之间的距离变化，带来脑电信号的改变，脑电信号采集装置5持续采集脑电信号，微型计算机3持续根据脑电信号采集装置5输出的信号对电动轮椅1进行控制，实现对电动轮椅1的闭环控制；
当电动轮椅位置传感器1-2检测到电动轮椅1到达目标位置处时，电动轮椅控制器1-3将电动轮椅1到达目标位置处的信号传输给微型计算机3，微型计算机3再将对类人机械臂2的运动控制指令传输给类人机械臂控制器2-3，类人机械臂控制器2-3根据对类人机械臂的运动控制指令控制机械臂电机驱动模块2-1驱动类人机械臂2动作；同时，所述微型计算机3调用声音信号处理模块对麦克风8输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作；所述微型计算机3调用目标信息提取模块对此时摄像头6采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；然后，所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；
本实施例中，步骤三中所述微型计算机3调用脑电信号解码器模块将脑电信号解码为对电动轮椅1的运动控制指令和对类人机械臂2的运动控制指令时，是将脑电信号输入预先训练好的解码器模型中，得出对电动轮椅1的运动控制指令和对类人机械臂2的运动控制指令；其中，所述解码器模型的训练过程为：
步骤A1、数据生成：邀请X个志愿者做残疾人想要执行的生活所需动作(例如取水喝)，采集他们的多组脑电信号、右腿位置信号和右臂位置信号，并将采集到的多组信号分为训练集和测试集输入微型计算机3中；其中，X的取值为大于100的正整数；
步骤A2、解码器训练：所述微型计算机3通过维纳滤波原理建立右腿位置信号和右臂位置信号与脑电信号之间的关系，将第k个时刻右腿各关节位置和右臂各关节位置矩阵p(k)与脑电信号矩阵z(k)之间的数学关系模型表示为：
p(k)＝wTz(k) (F1)
其中，z(k)＝[z1(k),z1(k-1),…,z1(k-L+1),z2(k),z2(k-1),…,z2(k-L+1),…,zN(k-L+1)]，zi(k-j)为在第k-j个时刻第i个大脑皮层采样点的脑电信号采样数据，i的取值为1～N的正整数，N为脑电信号采集装置5的脑电信号采集通路数，j为延时时刻且取值为0～L-1，L的取值为6～15的正整数；w为权重矩阵且w的更新公式为：
其中，w(k+1)为第k+1个时刻的权重矩阵，w(k)为第k个时刻的权重矩阵，β为正常数，δ为0～2的常数，e(k)为第k个时刻通过解码器求出的右腿位置信号和右臂位置信号与训练集中的右腿位置信号和右臂位置信号与之间的误差；所述微型计算机3通过训练得到权重矩阵w的最终适应值；
步骤A3、所述微型计算机3将测试集输入步骤A2中训练得到的解码器中，当测试结果满足精度需求时，停止训练，得到训练好的解码器；当测试结果不满足精度需求时，重复步骤A1和步骤A2，增大训练集再次执行步骤A1至A3进行训练。
具体实施时，L的取值为10。右腿位置信号与轮椅1中前轮电机和后轮电机的位置相对应，右臂位置信号与类人机械臂2中第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机的位置相对应，矩阵p(k)为8×1的矩阵，w为(L×N)×8的矩阵，z(k)为(L×N)×1的矩阵。
具体实施时，所述β的取值为0.01。
本实施例中，步骤三中所述微型计算机3调用声音信号处理模块对麦克风8输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作的具体过程为：
步骤D1、所述微型计算机3调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；
步骤D2、所述微型计算机3将语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人需要执行的多种生活所需动作；
所述Tensorflow深度学习语义识别网络的构建方法为：
步骤D201、人对着麦克风8说话时，所述麦克风8将其拾取到的人的声音信号传输给微型计算机3；所述微型计算机3采集声音信号；
步骤D202、所述微型计算机3调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；
步骤D203、重复执行步骤D201和步骤D202，直至所述微型计算机3存储了残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图；
步骤D204、所述微型计算机3构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要执行的生活所需动作类别数相等的Tensorflow深度学习网络，并将其存储的残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对Tensorflow深度学习网络进行训练，得到Tensorflow深度学习语义识别网络；所述Tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3,2x2,3x3,2x2,2x2；所述Tensorflow深度学习语义识别网络的输出为分别对应于残疾人需要执行的多种生活所需动作的多种语义。
具体实施时，所述残疾人需要执行的多种生活所需动作包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”，多种语义包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”。
具体实施时，所述微型计算机3是在MATLAB软件中，运用spectrogram函数,将其接收到的声音信号绘制为语谱图的。
本实施例中，步骤三中所述微型计算机3调用目标信息提取模块对此时摄像头6采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息的具体过程为：
步骤E1、所述微型计算机3调用二次线性插值图像处理模块对环境图像进行平滑处理；
步骤E2、所述微型计算机3将经过步骤E1平滑处理后的环境图像输入预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出了环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；
其中，预先训练faster-RCNN网络模型的具体过程为：
步骤E201、构建RPN卷积神经网络和fast-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；
步骤E202、对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；
步骤E203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人需要执行的多种生活所需动作对应的多个目标信息相对应；
具体实施时，所述残疾人需要执行的多种生活所需动作包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”，与残疾人需要执行的多种生活所需动作对应的多个目标信息包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”，多个类别的目标图像即为杯子图像、门图像、电视机图像；
步骤E204、在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；
步骤E205、对fast-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；
步骤E206、输入训练样本图像和步骤E204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的fast-RCNN卷积神经网络；
步骤E207、重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E206的fast-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；
步骤E208、在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；
步骤E209、重新训练fast-RCNN卷积神经网络，将fast-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E208中的RPN卷积神经网络模型，使用训练样本集和步骤E208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-RCNN卷积神经网络模型。
本实施例中，步骤三中所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：
步骤F1、所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息；
步骤F2、所述微型计算机3调用边界提取模块对步骤F1中得到的目标进行边界提取，提取得到目标边界；
步骤F3、所述微型计算机3对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；
具体实施时，所述微型计算机3对提取出的目标边界像素坐标进行椭圆拟合采用了最小二乘法；所述微型计算机3对目标边界像素坐标的椭圆拟合结果进行错误剔除的具体方法为：以拟合得到的目标边界椭圆的长半轴长度为观测值，采用粗差探测法对目标边界像素坐标的椭圆拟合结果进行错误剔除。
步骤F4、所述微型计算机3采用重心法确定出目标的中心坐标。
步骤四、所述微型计算机3将目标信息的中心坐标输入预先训练好的专家***模型中，得到类人机械臂2各自由度电机的目标角度；类人机械臂位置传感器2-2对类人机械臂2的位置进行实时检测并将检测到的类人机械臂2各自由度电机的位置信号输出给类人机械臂控制器2-3，类人机械臂控制器2-3再传输给微型计算机3，微型计算机3调用路径规划模块对检测到的类人机械臂2各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂2的运动轨迹；
本实施例中，步骤四中所述专家***模型的训练过程为：选取一名或多名志愿者执行生活所需动作(例如取水喝)，记录各个采样时间点右手臂与类人机械臂中各电机位置对应的各关节角度，建立专家***模型并存储在微型计算机3中；
步骤四中所述微型计算机3调用路径规划模块对检测到的类人机械臂2各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂2的运动轨迹时，采用能量最小原则设计，将类人机械臂2中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：
步骤B1、假设电机需要从角度θ0运动到角度θ1,运动过程中花费的时间为T；
步骤B2、将电机的总能耗W表示为：
其中，Wp为电机的输出功率且θ(t)为电机的角度，t为时间，τ为电机输出转矩；Wf为电机发热能耗且I为电机的有效电流且K为转矩常数,R为电机的等效电阻；
步骤B3、在时间段[0，T]内，定义采样时间间隔为Δt且Δt为能整除T的正整数，建立路径规划的优化问题为：
其中，Δt＝tm+1-tm，m为采样次数且m的取值为正整数；当tm＝0时，存在约束：
当tm+1＝T时，存在约束：
在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度得到电机的运动轨迹。
步骤五、所述微型计算机3调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂2的运动轨迹与类人机械臂位置传感器2-2检测到的类人机械臂2各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率，并输出给脑电仿生电刺激仪7，通过脑电仿生电刺激仪7产生电刺激信号作用于残疾人头部，实现对脑电信号的反馈调节，实现辅助大脑进行类人机械臂2控制的效果。
本实施例中，步骤五中所述微型计算机3调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂2的运动轨迹与类人机械臂位置传感器2-2检测到的类人机械臂2各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率的具体过程为：
步骤C1、选取控制输入准则函数为：
Jp(k)＝[O*(k+1)-O(k+1)]2+λ[F(k)-F(k-1)]2 (F6)
其中，O*(k+1)为所述微型计算机3调用路径规划模块规划的类人机械臂2的运动轨迹中k+1时刻类人机械臂2的期望位置，λ为权重系数，O(k+1)为根据k时刻类人机械臂位置传感器2-2检测到的类人机械臂2的真实位置O(k)计算得到的k+1时刻类人机械臂2的真实位置，所述O(k+1)的计算公式为：
其中，为k时刻被控***的伪偏导数，是一个时变的参数；ΔF(k)为F(k)的增量且ΔF(k)＝F(k)-F(k-1)，F(k)为k时刻被控***的输入,即k时刻计算得到的双相波电流频率；F(k-1)为k-1时刻被控***的输入,即k-1时刻计算得到的双相波电流频率；
步骤C2、将公式(F7)代入公式(F6)中,对F(k)求导,并令Jp(k)对F(k)的导数为0,得到：
其中，ρk为的常数项参数；
步骤C3、采用相似方法求出的估计值计算公式为：
其中，为的准则函数，μ为伪偏导数的变化量的常数项参数，为k-1时刻被控***的伪偏导数，为的估计值，ηk为ΔI(k-1)的常数项参数，ΔF(k-1)为F(k-1)的增量且ΔF(k-1)＝F(k-1)-F(k-2)，F(k-2)为k-2时刻被控***的输入,即k-2时刻计算得到的双相波电流频率；ΔO(k)为O(k)的增量且ΔO(k)＝O(k)-O(k-1)；
步骤C4、将的估计值作为的取值代入公式(F8),得到双相波电流频率F(k)。
具体实施时，所述λ的取值为2，所述ρk的取值为0.6，所述ηk的取值为0.6，所述μ的取值为2。
具体实施时，提前设置好脑电仿生电刺激仪7输出的电刺激波形为双相矩形波,电流幅值为70μA,脉冲宽度为100μs。
无模型控制是一种数据驱动的控制方式,它不依赖于被控制***的模型,只依赖被控***的输入输出数据；采用无模型控制设计脑控辅助控制模块，用于实现基于脑控的残疾人生活辅助装置及其控制方法，能够避免对复杂大脑模型的分析。本发明的准则函数中引入了惩罚项λ[I(k)-I(k-1)]，用于限制输入的变化；公式(F8)中参数ρk的引入能够加强公式(F8)的通用性，公式(F8)中参数λ的引入能够避免出现分母为0的现象；公式(F10)中参数ηk的引入能够加强公式(F10)的通用性，公式(F10)中参数μ的引入能够避免出现分母为0的现象。
综上所述，本发明的基于脑控的残疾人生活辅助装置，在传统脑控***中加入了微型计算机，辅助大脑进行控制，通过麦克风和摄像头，实现了语音输入和图像采集的融合，能够有效识别残疾人想要执行的生活所需动作，识别出目标并控制电动轮椅和机械臂到达目标，完成残疾人想要执行的生活所需动作；本发明的基于脑控的残疾人生活辅助装置的控制方法，通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家***模型、基于能量最小原则的路径规划模块和基于无模型控制的脑控辅助控制模块，能够实现轮椅和类人机械臂的自主控制，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于脑控的残疾人生活辅助装置，其特征在于：包括电动轮椅(1)和固定于电动轮椅(1)右前方的类人机械臂(2)，所述电动轮椅(1)的座位底部安装有微型计算机(3)，所述电动轮椅(1)的顶部安装有高度可调的滑杆(4)，所述滑杆(4)上安装有脑电信号采集装置(5)和摄像头(6)，所述脑电信号采集装置(5)的输出端和摄像头(6)的输出端均与微型计算机(3)的输入端连接，所述电动轮椅(1)上设置有电动轮椅控制器(1-3)、用于对电动轮椅(1)的位置进行实时检测的电动轮椅位置传感器(1-2)和用于驱动电动轮椅电机的轮椅电机驱动模块(1-1)，所述类人机械臂(2)上设置有类人机械臂控制器(2-3)、用于对类人机械臂(2)的位置进行实时检测的类人机械臂位置传感器(2-2)和用于驱动类人机械臂电机的机械臂电机驱动模块(2-1)，所述电动轮椅位置传感器(1-2)与电动轮椅控制器(1-3)的输入端连接，所述轮椅电机驱动模块(1-1)与电动轮椅控制器(1-3)的输出端连接，所述类人机械臂位置传感器(2-2)与类人机械臂控制器(2-3)的输入端连接，所述机械臂电机驱动模块(2-1)与类人机械臂控制器(2-3)的输出端连接，所述电动轮椅控制器(1-3)和类人机械臂控制器(2-3)均与微型计算机(3)相接，所述微型计算机(3)上还接有用于拾取人的声音信号的麦克风(8)和用于产生电刺激信号作用于残疾人头部的脑电仿生电刺激仪(7)，所述麦克风(8)安装在类人机械臂(2)上。
2.按照权利要求1所述的一种基于脑控的残疾人生活辅助装置，其特征在于：所述类人机械臂(2)为六自由度类人机械臂。
3.按照权利要求1或2所述的一种基于脑控的残疾人生活辅助装置，其特征在于：所述电动轮椅控制器(1-3)和类人机械臂控制器(2-3)均为单片机。
4.一种如权利要求1所述基于脑控的残疾人生活辅助装置的控制方法，其特征在于，该方法包括以下步骤：
步骤一、残疾人坐在电动轮椅(1)上，调节好滑杆(4)的高度，使脑电信号采集装置(5)处于残疾人头部正上方；
步骤二、当残疾人想要执行生活所需动作时，脑电信号采集装置(5)采集残疾人的脑电信号并对脑电信号进行放大、滤波和A/D转换处理后输出给微型计算机(3)；同时，残疾人对着麦克风(8)说出想要执行的生活所需动作，所述麦克风(8)将其拾取到的残疾人的声音信号传输给微型计算机(3)；摄像头(6)采集电动轮椅(1)前方的环境图像并将采集到的环境图像传输给微型计算机(3)；
步骤三、所述微型计算机(3)调用脑电信号解码器模块将脑电信号解码为对电动轮椅(1)的运动控制指令和对类人机械臂(2)的运动控制指令，并将对电动轮椅(1)的运动控制指令传输给电动轮椅控制器(1-3)，将对类人机械臂(2)的运动控制指令传输给类人机械臂控制器(2-3)，电动轮椅控制器(1-3)根据对电动轮椅(1)的运动控制指令控制轮椅电机驱动模块(1-1)驱动电动轮椅(1)动作，使电动轮椅(1)向其目标位置处移动；
电动轮椅(1)向其目标位置处移动过程中，电动轮椅位置传感器(1-2)对电动轮椅(1)的位置进行实时检测并将检测到的电动轮椅位置信号输出给电动轮椅控制器(1-3)，电动轮椅控制器(1-3)再传输给微型计算机(3)，同时，残疾人能够看到电动轮椅(1)与目标位置之间的距离变化，带来脑电信号的改变，脑电信号采集装置(5)持续采集脑电信号，微型计算机(3)持续根据脑电信号采集装置(5)输出的信号对电动轮椅(1)进行控制，实现对电动轮椅(1)的闭环控制；
当电动轮椅位置传感器(1-2)检测到电动轮椅(1)到达目标位置处时，电动轮椅控制器(1-3)将电动轮椅(1)到达目标位置处的信号传输给微型计算机(3)，微型计算机(3)再将对类人机械臂(2)的运动控制指令传输给类人机械臂控制器(2-3)，类人机械臂控制器(2-3)根据对类人机械臂的运动控制指令控制机械臂电机驱动模块(2-1)驱动类人机械臂(2)动作；同时，所述微型计算机(3)调用声音信号处理模块对麦克风(8)输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作；所述微型计算机(3)调用目标信息提取模块对此时摄像头(6)采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；然后，所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；
步骤四、所述微型计算机(3)将目标信息的中心坐标输入预先训练好的专家***模型中，得到类人机械臂(2)各自由度电机的目标角度；类人机械臂位置传感器(2-2)对类人机械臂(2)的位置进行实时检测并将检测到的类人机械臂(2)各自由度电机的位置信号输出给类人机械臂控制器(2-3)，类人机械臂控制器(2-3)再传输给微型计算机(3)，微型计算机(3)调用路径规划模块对检测到的类人机械臂(2)各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂(2)的运动轨迹；
步骤五、所述微型计算机(3)调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂(2)的运动轨迹与类人机械臂位置传感器(2-2)检测到的类人机械臂(2)各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率，并输出给脑电仿生电刺激仪(7)，通过脑电仿生电刺激仪(7)产生电刺激信号作用于残疾人头部，实现对脑电信号的反馈调节，实现辅助大脑进行类人机械臂(2)控制的效果。
5.按照权利要求4所述的方法，其特征在于：步骤三中所述微型计算机(3)调用脑电信号解码器模块将脑电信号解码为对电动轮椅(1)的运动控制指令和对类人机械臂(2)的运动控制指令时，是将脑电信号输入预先训练好的解码器模型中，得出对电动轮椅(1)的运动控制指令和对类人机械臂(2)的运动控制指令；其中，所述解码器模型的训练过程为：
步骤A1、数据生成：邀请X个志愿者做残疾人想要执行的生活所需动作，采集他们的多组脑电信号、右腿位置信号和右臂位置信号，并将采集到的多组信号分为训练集和测试集输入微型计算机(3)中；其中，X的取值为大于100的正整数；
步骤A2、解码器训练：所述微型计算机(3)通过维纳滤波原理建立右腿位置信号和右臂位置信号与脑电信号之间的关系，将第k个时刻右腿各关节位置和右臂各关节位置矩阵p(k)与脑电信号矩阵z(k)之间的数学关系模型表示为：
p(k)＝wTz(k) (F1)
其中，z(k)＝[z1(k),z1(k-1),…,z1(k-L+1),z2(k),z2(k-1),…,z2(k-L+1),…,zN(k-L+1)]，zi(k-j)为在第k-j个时刻第i个大脑皮层采样点的脑电信号采样数据，i的取值为1～N的正整数，N为脑电信号采集装置(5)的脑电信号采集通路数，j为延时时刻且取值为0～L-1，L的取值为6～15的正整数；w为权重矩阵且w的更新公式为：
其中，w(k+1)为第k+1个时刻的权重矩阵，w(k)为第k个时刻的权重矩阵，β为正常数，δ为0～2的常数，e(k)为第k个时刻通过解码器求出的右腿位置信号和右臂位置信号与训练集中的右腿位置信号和右臂位置信号与之间的误差；所述微型计算机(3)通过训练得到权重矩阵w的最终适应值；
步骤A3、所述微型计算机(3)将测试集输入步骤A2中训练得到的解码器中，当测试结果满足精度需求时，停止训练，得到训练好的解码器；当测试结果不满足精度需求时，重复步骤A1和步骤A2，增大训练集再次执行步骤A1至A3进行训练。
6.按照权利要求4所述的方法，其特征在于：步骤三中所述微型计算机(3)调用声音信号处理模块对麦克风(8)输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作的具体过程为：
步骤D1、所述微型计算机(3)调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；
步骤D2、所述微型计算机(3)将语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人需要执行的多种生活所需动作；
所述Tensorflow深度学习语义识别网络的构建方法为：
步骤D201、人对着麦克风(8)说话时，所述麦克风(8)将其拾取到的人的声音信号传输给微型计算机(3)；所述微型计算机(3)采集声音信号；
步骤D202、所述微型计算机(3)调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；
步骤D203、重复执行步骤D201和步骤D202，直至所述微型计算机(3)存储了残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图；
步骤D204、所述微型计算机(3)构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要执行的生活所需动作类别数相等的Tensorflow深度学习网络，并将其存储的残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对Tensorflow深度学习网络进行训练，得到Tensorflow深度学习语义识别网络；所述Tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3,2x2,3x3,2x2,2x2；所述Tensorflow深度学习语义识别网络的输出为分别对应于残疾人需要执行的多种生活所需动作的多种语义。
7.按照权利要求4所述的方法，其特征在于：步骤三中所述微型计算机(3)调用目标信息提取模块对此时摄像头(6)采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息的具体过程为：
步骤E1、所述微型计算机(3)调用二次线性插值图像处理模块对环境图像进行平滑处理；
步骤E2、所述微型计算机(3)将经过步骤E1平滑处理后的环境图像输入预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出了环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；
其中，预先训练faster-RCNN网络模型的具体过程为：
步骤E201、构建RPN卷积神经网络和fast-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；
步骤E202、对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；
步骤E203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人需要执行的多种生活所需动作对应的多个目标信息相对应；
步骤E204、在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；
步骤E205、对fast-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；
步骤E206、输入训练样本图像和步骤E204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的fast-RCNN卷积神经网络；
步骤E207、重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E206的fast-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；
步骤E208、在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；
步骤E209、重新训练fast-RCNN卷积神经网络，将fast-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E208中的RPN卷积神经网络模型，使用训练样本集和步骤E208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-RCNN卷积神经网络模型。
8.按照权利要求7所述的方法，其特征在于：步骤三中所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：
步骤F1、所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息；
步骤F2、所述微型计算机(3)调用边界提取模块对步骤F1中得到的目标进行边界提取，提取得到目标边界；
步骤F3、所述微型计算机(3)对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；
步骤F4、所述微型计算机(3)采用重心法确定出目标的中心坐标。
9.按照权利要求4所述的方法，其特征在于：步骤四中所述专家***模型的训练过程为：选取一名或多名志愿者执行生活所需动作，记录各个采样时间点右手臂与类人机械臂中各电机位置对应的各关节角度，建立专家***模型并存储在微型计算机(3)中；
步骤四中所述微型计算机(3)调用路径规划模块对检测到的类人机械臂(2)各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂(2)的运动轨迹时，采用能量最小原则设计，将类人机械臂(2)中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：
步骤B1、假设电机需要从角度θ0运动到角度θ1,运动过程中花费的时间为T；
步骤B2、将电机的总能耗W表示为：
其中，Wp为电机的输出功率且θ(t)为电机的角度，t为时间，τ为电机输出转矩；Wf为电机发热能耗且I为电机的有效电流且K为转矩常数,R为电机的等效电阻；
步骤B3、在时间段[0，T]内，定义采样时间间隔为Δt且Δt为能整除T的正整数，建立路径规划的优化问题为：
其中，Δt＝tm+1-tm，m为采样次数且m的取值为正整数；当tm＝0时，存在约束：
当tm+1＝T时，存在约束：
在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度得到电机的运动轨迹。
10.按照权利要求4所述的方法，其特征在于：步骤五中所述微型计算机(3)调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂(2)的运动轨迹与类人机械臂位置传感器(2-2)检测到的类人机械臂(2)各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率的具体过程为：
步骤C1、选取控制输入准则函数为：
Jp(k)＝[O*(k+1)-O(k+1)]2+λ[F(k)-F(k-1)]2 (F6)
其中，O*(k+1)为所述微型计算机(3)调用路径规划模块规划的类人机械臂(2)的运动轨迹中k+1时刻类人机械臂(2)的期望位置，λ为权重系数，O(k+1)为根据k时刻类人机械臂位置传感器(2-2)检测到的类人机械臂(2)的真实位置O(k)计算得到的k+1时刻类人机械臂(2)的真实位置，所述O(k+1)的计算公式为：
其中，为k时刻被控***的伪偏导数，是一个时变的参数；ΔF(k)为F(k)的增量且ΔF(k)＝F(k)-F(k-1)，F(k)为k时刻被控***的输入,即k时刻计算得到的双相波电流频率；F(k-1)为k-1时刻被控***的输入,即k-1时刻计算得到的双相波电流频率；
步骤C2、将公式(F7)代入公式(F6)中,对F(k)求导,并令Jp(k)对F(k)的导数为0,得到：
其中，ρk为的常数项参数；
步骤C3、采用相似方法求出的估计值计算公式为：
其中，为的准则函数，μ为伪偏导数的变化量的常数项参数，为k-1时刻被控***的伪偏导数，为的估计值，ηk为ΔI(k-1)的常数项参数，ΔF(k-1)为F(k-1)的增量且ΔF(k-1)＝F(k-1)-F(k-2)，F(k-2)为k-2时刻被控***的输入,即k-2时刻计算得到的双相波电流频率；ΔO(k)为O(k)的增量且ΔO(k)＝O(k)-O(k-1)；
步骤C4、将的估计值作为的取值代入公式(F8),得到双相波电流频率F(k)。
CN201811497502.4A 2018-12-07 2018-12-07 基于脑控的残疾人生活辅助装置的控制方法 Active CN109620493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811497502.4A CN109620493B (zh) 2018-12-07 2018-12-07 基于脑控的残疾人生活辅助装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811497502.4A CN109620493B (zh) 2018-12-07 2018-12-07 基于脑控的残疾人生活辅助装置的控制方法

Publications (2)

Publication Number Publication Date
CN109620493A true CN109620493A (zh) 2019-04-16
CN109620493B CN109620493B (zh) 2021-06-04

Family

ID=66072073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811497502.4A Active CN109620493B (zh) 2018-12-07 2018-12-07 基于脑控的残疾人生活辅助装置的控制方法

Country Status (1)

Country Link
CN (1) CN109620493B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114161417A (zh) * 2021-12-07 2022-03-11 东莞市易联交互信息科技有限责任公司 一种机器人的动作控制方法和***
CN115487019A (zh) * 2021-06-18 2022-12-20 护仕康有限公司 照护装置
CN116077283A (zh) * 2022-10-11 2023-05-09 大连理工大学 一种带机械臂的自平衡轮椅
CN116236350A (zh) * 2023-05-11 2023-06-09 之江实验室科技控股有限公司 一种智能轮椅上用于乘坐者头部信号采集用辅助装置
KR20230115547A (ko) * 2022-01-27 2023-08-03 수원대학교산학협력단 휠체어 장착형 로봇팔 제어시스템
CN117653995A (zh) * 2022-08-18 2024-03-08 山东海天智能工程有限公司 采用神经形态感知运动***的脑机交互技术康复训练装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101219082A (zh) * 2007-12-26 2008-07-16 上海电气集团股份有限公司 智能轮椅
US20110219899A1 (en) * 2010-03-11 2011-09-15 Hdt Robotics, Inc. HIGH DEGREE OF FREEDOM (DoF) CONTROL ACTUATOR
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助***及其控制方法
CN106074021A (zh) * 2016-06-08 2016-11-09 山东建筑大学 基于脑机接口的智能轮椅***及其动作方法
US20170210010A1 (en) * 2016-01-22 2017-07-27 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. System and method of controlling robot by brain electrical signals
CN107553491A (zh) * 2017-09-15 2018-01-09 华南理工大学 一种脑控轮椅机械臂
CN107595505A (zh) * 2017-09-15 2018-01-19 华南理工大学 一种电动轮椅机械臂装置
CN107680229A (zh) * 2017-10-23 2018-02-09 西安科技大学 基于语音特征和人脸识别的门禁***及其控制方法
CN108272565A (zh) * 2018-02-02 2018-07-13 南京邮电大学 智能安全轮椅及其智能安全控制方法
CN108904163A (zh) * 2018-06-22 2018-11-30 北京信息科技大学 轮椅控制方法及***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101219082A (zh) * 2007-12-26 2008-07-16 上海电气集团股份有限公司 智能轮椅
US20110219899A1 (en) * 2010-03-11 2011-09-15 Hdt Robotics, Inc. HIGH DEGREE OF FREEDOM (DoF) CONTROL ACTUATOR
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助***及其控制方法
US20170210010A1 (en) * 2016-01-22 2017-07-27 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. System and method of controlling robot by brain electrical signals
CN106074021A (zh) * 2016-06-08 2016-11-09 山东建筑大学 基于脑机接口的智能轮椅***及其动作方法
CN107553491A (zh) * 2017-09-15 2018-01-09 华南理工大学 一种脑控轮椅机械臂
CN107595505A (zh) * 2017-09-15 2018-01-19 华南理工大学 一种电动轮椅机械臂装置
CN107680229A (zh) * 2017-10-23 2018-02-09 西安科技大学 基于语音特征和人脸识别的门禁***及其控制方法
CN108272565A (zh) * 2018-02-02 2018-07-13 南京邮电大学 智能安全轮椅及其智能安全控制方法
CN108904163A (zh) * 2018-06-22 2018-11-30 北京信息科技大学 轮椅控制方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
周龙，白殿春，于玲: "基于眼动仪的机械臂控制方法研究", 《第十四届沈阳科学学术年会论文集（理工农医）》 *
孙京诰，戚川，潘红光: "基于数据驱动的闭环脑机接口设计", 《华东理工大学学报(自然科学版)》 *
胡畔，董春鹏，吴晓荣: "基于视线跟踪技术的眼控鼠标", 《天津师范大学学报（自然科学版）》 *
邱诗元: "基于脑机接口的机械臂遥操作控制", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115487019A (zh) * 2021-06-18 2022-12-20 护仕康有限公司 照护装置
CN114161417A (zh) * 2021-12-07 2022-03-11 东莞市易联交互信息科技有限责任公司 一种机器人的动作控制方法和***
KR20230115547A (ko) * 2022-01-27 2023-08-03 수원대학교산학협력단 휠체어 장착형 로봇팔 제어시스템
KR102618198B1 (ko) * 2022-01-27 2023-12-27 수원대학교 산학협력단 휠체어 장착형 로봇팔 제어시스템
CN117653995A (zh) * 2022-08-18 2024-03-08 山东海天智能工程有限公司 采用神经形态感知运动***的脑机交互技术康复训练装置
CN116077283A (zh) * 2022-10-11 2023-05-09 大连理工大学 一种带机械臂的自平衡轮椅
CN116236350A (zh) * 2023-05-11 2023-06-09 之江实验室科技控股有限公司 一种智能轮椅上用于乘坐者头部信号采集用辅助装置

Also Published As

Publication number Publication date
CN109620493B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109620493A (zh) 基于脑控的残疾人生活辅助装置及其控制方法
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN104134060B (zh) 基于肌电信号和运动传感器的手语翻译和显示发声***
CN108983973B (zh) 一种基于手势识别的仿人灵巧肌电假手控制方法
CN105943206A (zh) 一种基于myo臂环的假肢手控制方法
CN110428021A (zh) 基于口腔体素模型特征提取的正畸附件规划方法
CN102499797B (zh) 假肢控制方法及***
CN202288542U (zh) 假肢控制装置
CN109858407A (zh) 一种基于多种信息流特征和异步融合的视频行为识别方法
CN105373810B (zh) 一种用于建立动作识别模型的方法及***
CN106569606A (zh) 一种基于自然手势识别的智能家居红外控制***与方法
CN108921037A (zh) 一种基于BN-inception双流网络的情绪识别方法
CN109079794A (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN110414446A (zh) 机器人的操作指令序列生成方法及装置
CN108958474A (zh) 一种基于误差权重的动作识别多传感信息融合方法
CN114897012A (zh) 一种基于生机接口的智能假肢手臂控制方法
CN112101235B (zh) 一种基于老年人行为特征的老年人行为识别检测方法
CN109875777A (zh) 一种带有取物功能的轮椅及其取物控制方法
CN113805694A (zh) 一种基于脑机接口与计算机视觉的辅助抓取***及方法
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与***
Kumrai et al. Human activity recognition with deep reinforcement learning using the camera of a mobile robot
Mekruksavanich et al. Badminton activity recognition and player assessment based on motion signals using deep residual network
CN111950460B (zh) 一种自适应肌力的卒中患者手部康复训练动作识别方法
WO2021174705A1 (zh) 一种多自由度肌电假手控制***及其使用方法
Rahn et al. Optimal Sensor Placement for Human Activity Recognition with a Minimal Smartphone-IMU Setup.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant