CN118078505A - 一种基于多模信号的上肢假肢控制方法及其*** - Google Patents

一种基于多模信号的上肢假肢控制方法及其*** Download PDF

Info

Publication number
CN118078505A
CN118078505A CN202211500885.2A CN202211500885A CN118078505A CN 118078505 A CN118078505 A CN 118078505A CN 202211500885 A CN202211500885 A CN 202211500885A CN 118078505 A CN118078505 A CN 118078505A
Authority
CN
China
Prior art keywords
upper limb
control
target object
signals
artificial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211500885.2A
Other languages
English (en)
Inventor
李向新
刘岩
谭迎宵
郑悦
田岚
周小猛
李光林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211500885.2A priority Critical patent/CN118078505A/zh
Priority to PCT/CN2023/133075 priority patent/WO2024114457A1/zh
Publication of CN118078505A publication Critical patent/CN118078505A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Transplantation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Prostheses (AREA)

Abstract

本发明涉及医疗康复器械技术领域，特别涉及一种基于多模信号的上肢假肢控制方法及其***；本发明中肌电信号用于控制***的起始和停止，视觉信号为通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动，通过有限的控制信号实现上肢假肢的多功能控制，丰富上肢假肢可实现的功能，有效补偿上肢截肢者丧失的部分功能，降低上肢假肢的弃用率；本发明对上肢假肢控制流程进行阶段化划分，不同的控制阶段分别采用不同的信号源，既可以解决控制冗余的问题，也可以根据不同信号源特征有效利用信号源。

Description

一种基于多模信号的上肢假肢控制方法及其***
技术领域
本发明涉及医疗康复器械技术领域，特别涉及一种基于多模信号的上肢假肢控制方法及其***。
背景技术
目前我国残疾人大概8500万，其中肢体截肢者大约226万，包括45万上肢截肢者，且截肢者数量呈现上升趋势，假肢的出现和应用，可以有效弥补截肢者部分功能，但与人的肢体相比，假肢的运动效果仍有很大趋势，特别是在假肢手的控制中，如果能在有限的自由度中实现更多假肢手运动状态，如手指动作和手指力等，将会有效降低假肢的弃用率。
目前对于上肢假肢的控制中信号源主要有视觉、肌电和语音等信号，虽然在***中使用了多种信号源，但对于假肢的控制更多是冗余控制，例如上肢假肢肘关节运动，既可以通过视觉控制，也可以通过肌电控制，但对于多自由度的上肢假肢的控制，不能保持精准度，而且对于佩戴上肢假肢的高位截肢者，基于肌电信号的意图识别的准确性和稳定性也存在不小的挑战。
发明内容
本发明主要解决的技术问题是提供一种基于多模信号的上肢假肢控制方法，对上肢假肢控制流程进行阶段化划分，不同的控制阶段分别采用不同的信号源，既可以解决控制冗余的问题，也可以根据不同信号源特征有效利用信号源；还提供了一种基于多模信号的上肢假肢控制***。
为解决上述技术问题，本发明采用的一个技术方案是：提供了一种基于多模信号的上肢假肢控制方法，其中，包括如下步骤：
步骤S1、通过肌电信号开启上肢假肢的控制工作；
步骤S2、通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动；
步骤S3、通过姿态信号或语音信号来控制上肢假肢手臂关节和假肢手的微调；
步骤S4、再通过肌电信号关闭上肢假肢的控制工作。
作为本发明的一种改进，在步骤S1内，采集使用者特定肌肉肌电信号作为开启控制工作的肌电控制信号。
作为本发明的进一步改进，在步骤S1内，设定一个特定肌肉肌电的阈值作为肌电控制信号的设定阈值，根据肌电控制信号的设定阈值来判断控制工作的开启与关闭。
作为本发明的更进一步改进，在步骤S2内，通过视觉相机获取目标物及其空间位置，并根据上肢假肢的运动模型解算出上肢假肢手臂关节的逆运动学解，从而控制上肢假肢手臂关节的运动。
作为本发明的更进一步改进，在步骤S2内，根据目标物在假肢手知识库中调用相应的运动功能，控制上肢假肢完成相应的动作。
作为本发明的更进一步改进，在步骤S2内，通过视觉相机获取目标物及其空间位置的方法为视觉相机采用RGB-D相机，其同时获取RGB数据流和Depth数据流，再基于RGB数据，通过特征提取和特征加强的图像处理方法进行物体预测，从而获取目标物的种类及其平面位置；然后根据目标物的平面位置，在Depth数据中进行深度提取，再结合平面坐标进行位置融合，获取目标物的三维坐标，从而获取目标物及其空间位置。
作为本发明的更进一步改进，在步骤S2内，根据上肢假肢的运动模型解算出肢假肢手臂关节的逆运动学解的方法为：以视觉相机坐标系为世界坐标系，结合视觉相机的安装位置的信息，建立相机坐标系与上肢假肢末端坐标系的转换关系，根据目标物空间位置，计算出上肢假肢手臂各关节逆运动学解，从而带动上肢假肢手臂到达指定位置。
作为本发明的更进一步改进，在步骤S3内，当目标物抓握模式不确定时，可根据目标物的物体信息，通过姿态信号或语音信号对假肢手的动作进行精细的微调控制，或当上肢假肢的末端与目标物位置的距离超过设定距离则通过姿态信号或语音信号对上肢假肢手臂关节的运动进行微调控制。
作为本发明的更进一步改进，在步骤S1内，通过肌电信号控制上肢假肢的紧急停止和复位。
一种基于多模信号的上肢假肢控制***，其中，包括：
肌电信号模块，用于开启和关闭上肢假肢的控制工作；
视觉信号模块，用于通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动；
其它信号模块，用于控制上肢假肢手臂关节和假肢手的的微调。
本发明的有益效果是：与现有技术相比，本发明中肌电信号用于控制***的起始和停止，视觉信号为通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动，通过有限的控制信号实现上肢假肢的多功能控制，丰富上肢假肢可实现的功能，有效补偿上肢截肢者丧失的部分功能，降低上肢假肢的弃用率；本发明对上肢假肢控制流程进行阶段化划分，不同的控制阶段分别采用不同的信号源，既可以解决控制冗余的问题，也可以根据不同信号源特征有效利用信号源。
附图说明
图1为本发明的分阶段化控制流程示意图；
图2为本发明的上肢假肢控制运动流程；
图3为本发明的视觉处理流程示意图。
具体实施方式
请参照图1至图3，本发明提供了一种基于多模信号的上肢假肢控制方法，包括如下步骤：
步骤S1、通过肌电信号开启上肢假肢的控制工作；
步骤S2、通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动；
步骤S3、通过姿态信号或语音信号来控制上肢假肢手臂关节和假肢手的的微调；
步骤S4、再通过肌电信号关闭上肢假肢的控制工作。
本发明中肌电信号用于控制***的起始和停止，视觉信号为通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动，通过有限的控制信号实现上肢假肢的多功能控制，丰富上肢假肢可实现的功能，有效补偿上肢截肢者丧失的部分功能，降低上肢假肢的弃用率；本发明对上肢假肢控制流程进行阶段化划分，不同的控制阶段分别采用不同的信号源，既可以解决控制冗余的问题，也可以根据不同信号源特征有效利用信号源。
在步骤S1内，采集使用者特定肌肉肌电信号作为开启控制工作的肌电控制信号；进一步，设定一个特定肌肉肌电的阈值作为肌电控制信号的设定阈值，根据肌电控制信号的设定阈值来判断控制工作的开启与关闭。
在步骤S2内，通过视觉相机获取目标物及其空间位置，并根据上肢假肢的运动模型解算出上肢假肢手臂关节的逆运动学解，从而控制上肢假肢手臂关节的运动；根据目标物在假肢手知识库中调用相应的运动功能，控制上肢假肢完成相应的动作。
具体地讲，如图1所示，本发明对上肢假肢控制流程进行划分：(1)起始阶段：当截肢者需要使用上肢假肢时，本阶段使用肌电信号控制——肌电信号在此阶段相当于开关，控制***开始工作，此功能无需提取肌电特征等进行意图识别，只需根据特定肌肉肌电的阈值判断，容易保证识别的准确性和稳定性；(2)粗控阶段：当完成起始阶段，进入粗控阶段，本阶段使用视觉控制——通过视觉相机和处理算法检测视野内的目标物(瓶子、钥匙等)种类等属性信息和其空间位置信息，为假肢的控制和人机交互提供信息基础，解算上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动，然后将根据目标物在假肢手知识库调用合适的运动功能(抓、捏等)；(3)精调阶段：当完成粗控阶段，进入精调阶段，此阶段使用姿态或语音信号控制——截肢者根据粗控阶段的运动效果，当运动误差较大时，可结合其他信号源进行手臂关节微调，此阶段最主要的任务是当目标物抓握模式不确定时，可根据目标物的物体信息(形状、尺寸和软硬等)，对假肢手的动作进行精细控制；(4)结束阶段：当完成精调阶段，进入结束阶段，此阶段使用肌电信号，目的在于跳出***工作状态，防止视觉***一直处于识别物体和空间定位状态；(5)全流程监控：在上肢假肢的运动控制流程中，本***可通过肌电控制假肢完成紧急停止或复位功能，防止上肢假肢运动紊乱。
在本发明内，在步骤S2内，根据上肢假肢的运动模型解算出肢假肢手臂关节的逆运动学解的方法为：以视觉相机坐标系为世界坐标系，结合视觉相机的安装位置的信息，建立相机坐标系与上肢假肢末端坐标系的转换关系，根据目标物空间位置，计算出上肢假肢手臂各关节逆运动学解，从而带动上肢假肢手臂到达指定位置；具体地讲，如图2所示，对于上肢假肢中手臂各关节的控制方案来自于目标物的空间位置和上肢假肢的运动学模型，具体控制细节为：以相机坐标系为世界坐标系，结合RGB-D相机的安装位置等信息，建立相机坐标系与上肢假肢末端坐标系的转换关系，根据目标物空间位置，计算出手臂各关节逆运动学解，最终带动末端设备(假肢手等)到达指定位置，同时根据目标物种类，可在假肢手控制知识库中调用相应的动作，例如，目标物为矿泉水瓶时，将在假肢手知识库中调用抓握动作。
在本发明内，在步骤S2内，通过视觉相机获取目标物及其空间位置的方法为视觉相机采用RGB-D相机，其同时获取RGB数据流和Depth数据流，再基于RGB数据，通过特征提取和特征加强的图像处理方法进行物体预测，从而获取目标物的种类及其平面位置；然后根据目标物的平面位置，在Depth数据中进行深度提取，再结合平面坐标进行位置融合，获取目标物的三维坐标，从而获取目标物及其空间位置；具体地讲，如图3所示，视觉任务中采用RGB-D相机，同时获取RGB数据流和Depth数据流，基于RGB数据，主要通过特征提取和特征加强等图像处理算法进行物体预测，最终获取目标物种类和其平面位置；根据平面位置，在Depth数据中进行深度提取，然后结合平面坐标进行位置融合，获取目标物三维坐标，最终完成视觉任务目标物的获取和其空间位置的确定。
在实际应用中，对于上肢假肢的运动控制中，RGB-D相机固定在使用者胸骨位置，因为该位置自由度少，对目标物空间位置的识别精度影响较小。
在本发明内，在步骤S1内，通过肌电信号控制上肢假肢的紧急停止和复位。
在步骤S3内，当目标物抓握模式不确定时，可根据目标物的物体信息，通过姿态信号或语音信号对假肢手的动作进行精细的微调控制；或当上肢假肢的末端与目标物位置的距离超过设定距离则通过姿态信号或语音信号对上肢假肢手臂关节的运动进行微调控制。
本发明提供了一种基于多模信号的上肢假肢控制***，包括：
肌电信号模块，用于开启和关闭上肢假肢的控制工作；
视觉信号模块，用于通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动；
其它信号模块，用于控制上肢假肢手臂关节和假肢手的的微调。
在本发明内，主要对上肢假肢控制流程进行阶段化划分，不同的控制阶段分别采用不同的信号源，在本发明中主要使用了肌电和视觉***等信号源，同时预留了姿态传感器等信号源接口，肌电信号用于控制***的起始和停止，视觉***基于视觉相机感知周围环境(通过视觉相机获取当前场景信息，并检测视野内的目标物(瓶子、钥匙等)种类等属性信息和其空间位置信息，为假肢的精准控制和人机交互提供信息基础)，并结合上肢假肢运动学模型，解算出上肢假肢手臂关节的逆运动学解，解放传统上肢假肢手臂关节运动控制的信号源(肌电或姿态传感器)，可将上述被解放的信号源应用在假肢手细节动作(抓或捏等)的实现，此举将通过有限的控制信号实现上肢假肢的多功能控制，丰富上肢假肢可实现的功能，有效补偿上肢截肢者丧失的部分功能，降低上肢假肢的弃用率。
在本发明内，根据目标物空间位置和上肢假肢的运动学模型，解算出上肢假肢中手臂各关节的逆运动学解，控制手臂关节运动，起到解放肌电、姿态传感器等其他信号源的作用。
在本发明内，对上肢假肢控制流程进行分级划分，根据不同控制阶段的操作要求(精细、粗略、起始或停止等)采用不同的信号源，最终形基于多模信号的上肢假肢控制方法。
本发明具备如下优点：
1、对上肢假肢控制流程进行阶段化划分，主要分为起始阶段、粗控阶段、精调阶段、结束阶段和全流程监控，不同的控制阶段分别采用不同的信号源。
2、起始阶段、结束阶段和全流程监控中信号源使用了肌电信号，区别于肌电假肢中基于肌电的动作识别，本发明中肌电信号只用于使用者控制***的启动和中止，可以提升肌电信号识别准确性和稳定性，提高上肢假肢使用效果。
3、粗控阶段中信号源使用了视觉相机，视觉相机的使用可以帮助上肢假肢***感知环境，识别目标物属性信息(包括种类等)及其空间位置。
4、本发明中上肢假肢的控制预留了其他控制接口(姿态传感器和语音等)，负责精调阶段的控制，将丰富上肢假肢控制***。
5、本发明的控制信号使用了视觉信号，还利用肌电信号作为辅助控制信号，同时预留了其他信号源接口，形成了以视觉为主，肌电和其他类型信号源为辅的多源控制的上肢假肢***。
6、本发明中使用的肌电信号，主要采集使用者特定肌肉(胸大肌)肌电信号控制***工作，此功能无需提取肌电复杂特征等进行意图识别，只需根据特定肌肉肌电的阈值判断，容易保证识别的准确性和稳定性。
7、本发明视觉***主要基于RGB-D相机硬件平台和深度学***台，RGB-D相机负责采集RGB数据流和Depth数据流，通过深度学习算法处理RGB数据和Depth数据获取目标物及其空间位置。
8、本发明上肢假肢***将根据视觉***将获取视野内目标物的空间位置，并结合上肢假肢运动学模型，获取上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动，然后将根据目标物在假肢手知识库调用合适的运动功能(抓、捏等)。
在本发明内，对上肢假肢控制流程进行划分，根据每个流程的任务需要选用合适的信号源；以视觉信号为主，肌电信号和其他信号源为辅的上肢假肢多源控制方案；在上肢假肢控制中使用视觉传感器，用于解放传统假肢控制手臂关节运动的信号源；将解放的信号源用于假肢手的控制，控制假肢手实现不在假肢手知识库中预先设定的动作，丰富上肢假肢的使用场景；通过图像处理算法获取图片中目标物种类和其平面位置，并根据平面位置，获取深度数据中相应的深度，最终完成视觉任务重目标物的获取和其空间位置的确定。
在本发明内，以相机坐标系为世界坐标系，建立相机坐标系与上肢假肢末端坐标系的转换关系，根据目标物空间位置，计算出手臂各关节逆运动学解，最终带动末端设备(假肢手等)到达指定位置。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于多模信号的上肢假肢控制方法，其特征在于，包括如下步骤：
步骤S1、通过肌电信号开启上肢假肢的控制工作；
步骤S2、通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动；
步骤S3、通过姿态信号或语音信号来控制上肢假肢手臂关节和假肢手的微调；
步骤S4、再通过肌电信号关闭上肢假肢的控制工作。
2.根据权利要求1所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S1内，采集使用者特定肌肉肌电信号作为开启控制工作的肌电控制信号。
3.根据权利要求2所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S1内，设定一个特定肌肉肌电的阈值作为肌电控制信号的设定阈值，根据肌电控制信号的设定阈值来判断控制工作的开启与关闭。
4.根据权利要求3所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S2内，通过视觉相机获取目标物及其空间位置，并根据上肢假肢的运动模型解算出上肢假肢手臂关节的逆运动学解，从而控制上肢假肢手臂关节的运动。
5.根据权利要求4所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S2内，根据目标物在假肢手知识库中调用相应的运动功能，控制上肢假肢完成相应的动作。
6.根据权利要求5所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S2内，通过视觉相机获取目标物及其空间位置的方法为视觉相机采用RGB-D相机，其同时获取RGB数据流和Depth数据流，再基于RGB数据，通过特征提取和特征加强的图像处理方法进行物体预测，从而获取目标物的种类及其平面位置；然后根据目标物的平面位置，在Depth数据中进行深度提取，再结合平面坐标进行位置融合，获取目标物的三维坐标，从而获取目标物及其空间位置。
7.根据权利要求6所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S2内，根据上肢假肢的运动模型解算出肢假肢手臂关节的逆运动学解的方法为：以视觉相机坐标系为世界坐标系，结合视觉相机的安装位置的信息，建立相机坐标系与上肢假肢末端坐标系的转换关系，根据目标物空间位置，计算出上肢假肢手臂各关节逆运动学解，从而带动上肢假肢手臂到达指定位置。
8.根据权利要求7所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S3内，当目标物抓握模式不确定时，可根据目标物的物体信息，通过姿态信号或语音信号对假肢手的动作进行微调控制；或当上肢假肢的末端与目标物位置的距离超过设定距离则通过姿态信号或语音信号对上肢假肢手臂关节的运动进行微调控制。
9.根据权利要求1或8所述的一种基于多模信号的上肢假肢控制方法，其特征在于，在步骤S1内，通过肌电信号控制上肢假肢的紧急停止和复位。
10.一种基于多模信号的上肢假肢控制***，其特征在于，包括：
肌电信号模块，用于开启和关闭上肢假肢的控制工作；
视觉信号模块，用于通过视觉相机获取目标物及其空间位置，获到上肢假肢手臂关节的逆运动学解，控制上肢假肢手臂关节的运动；
其它信号模块，用于控制上肢假肢手臂关节或假肢手的微调。
CN202211500885.2A 2022-11-28 2022-11-28 一种基于多模信号的上肢假肢控制方法及其*** Pending CN118078505A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211500885.2A CN118078505A (zh) 2022-11-28 2022-11-28 一种基于多模信号的上肢假肢控制方法及其***
PCT/CN2023/133075 WO2024114457A1 (zh) 2022-11-28 2023-11-21 一种基于多模信号的上肢假肢控制方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211500885.2A CN118078505A (zh) 2022-11-28 2022-11-28 一种基于多模信号的上肢假肢控制方法及其***

Publications (1)

Publication Number Publication Date
CN118078505A true CN118078505A (zh) 2024-05-28

Family

ID=91140965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211500885.2A Pending CN118078505A (zh) 2022-11-28 2022-11-28 一种基于多模信号的上肢假肢控制方法及其***

Country Status (2)

Country Link
CN (1) CN118078505A (zh)
WO (1) WO2024114457A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010213873A (ja) * 2009-03-16 2010-09-30 Ritsumeikan 動力義肢の制御方法、及び当該方法が適用された動力義肢
CN101987047B (zh) * 2009-08-03 2013-01-02 深圳先进技术研究院 基于语音与肌电信息识别的假肢控制***和方法
CN109172066B (zh) * 2018-08-18 2019-12-20 华中科技大学 基于语音控制与视觉识别的智能假肢手及其***和方法
CN112587285B (zh) * 2020-12-10 2023-03-24 东南大学 多模态信息引导环境感知的肌电假肢***及环境感知方法
FR3121838A1 (fr) * 2021-04-19 2022-10-21 Luca MILLER Prothèse bionique percevant l’environnement
CN114732577A (zh) * 2022-03-22 2022-07-12 浙江工业大学 一种基于相机与肌电信号的假肢手控制***及方法
CN114699228A (zh) * 2022-04-15 2022-07-05 中国科学技术大学先进技术研究院 基于肌电识别和手眼协调的上肢假肢连续控制***及方法
CN115252240A (zh) * 2022-07-21 2022-11-01 上海交通大学 一种人在环路的上臂假肢半自主灵巧控制***

Also Published As

Publication number Publication date
WO2024114457A1 (zh) 2024-06-06

Similar Documents

Publication Publication Date Title
Shi et al. Computer vision-based grasp pattern recognition with application to myoelectric control of dexterous hand prosthesis
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
Mahmud et al. Interface for human machine interaction for assistant devices: A review
CN1304931C (zh) 一种头戴式立体视觉手势识别装置
CN111631923A (zh) 基于意图识别的外骨骼机器人的神经网络控制***
CN102831380A (zh) 一种基于深度图像感应的肢体动作识别方法及***
CN102179814A (zh) 以用户手部命令控制机器人的方法
CN109498375B (zh) 一种人体运动意图识别控制装置及控制方法
Bu et al. A semi-automatic control method for myoelectric prosthetic hand based on image information of objects
Krishnaraj et al. A Glove based approach to recognize Indian Sign Languages
Rakhimkul et al. Autonomous object detection and grasping using deep learning for design of an intelligent assistive robot manipulation system
CN107315479B (zh) 基于激光投影的肌电实时操作装置
Song et al. Visual servoing for a user's mouth with effective intention reading in a wheelchair-based robotic arm
CN114732577A (zh) 一种基于相机与肌电信号的假肢手控制***及方法
CN118078505A (zh) 一种基于多模信号的上肢假肢控制方法及其***
CN110695990A (zh) 一种基于Kinect手势识别的机械臂控制***
Nishino et al. Development of a myoelectric prosthesis simulator using augmented reality
CN112560594B (zh) 一种柔性外骨骼***的人体步态识别方法
Ikeuchi et al. Applying learning-from-observation to household service robots: three common-sense formulation
CN108621164A (zh) 基于深度相机的太极推手机器人
Steil et al. Guiding attention for grasping tasks by gestural instruction: The gravis-robot architecture
CN108127667B (zh) 一种基于关节角增量的机械臂体感交互控制方法
CN115252240A (zh) 一种人在环路的上臂假肢半自主灵巧控制***
EP4316747A1 (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program
Shibanoki et al. A 3D-printable Prosthetic Hand Considering Dual-arm Operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination