CN112214109A - 基于肌电和姿态数据的复合控制方法、装置及*** - Google Patents

基于肌电和姿态数据的复合控制方法、装置及*** Download PDF

Info

Publication number
CN112214109A
CN112214109A CN202011063852.7A CN202011063852A CN112214109A CN 112214109 A CN112214109 A CN 112214109A CN 202011063852 A CN202011063852 A CN 202011063852A CN 112214109 A CN112214109 A CN 112214109A
Authority
CN
China
Prior art keywords
signal
target
myoelectricity
determining
control mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011063852.7A
Other languages
English (en)
Other versions
CN112214109B (zh
Inventor
于文龙
张元康
莫博康
黄天展
翁恭伟
梁旭
刘永建
黄品高
王辉
高超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Runyi Taiyi Technology Co ltd
Original Assignee
Shenzhen Runyi Taiyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Runyi Taiyi Technology Co ltd filed Critical Shenzhen Runyi Taiyi Technology Co ltd
Priority to CN202011063852.7A priority Critical patent/CN112214109B/zh
Publication of CN112214109A publication Critical patent/CN112214109A/zh
Application granted granted Critical
Publication of CN112214109B publication Critical patent/CN112214109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明实施例提供一种基于肌电和姿态数据的复合控制方法、装置及***，应用于基于肌电和姿态数据的复合控制***，基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，通过获取至少一个肌电采集器采集的肌电信号；确定肌电信号对应的目标控制模式；获取惯性传感器采集的姿态数据；根据姿态数据执行目标控制模式下的目标控制操作，如此，能够基于肌电和姿态识别协同进行操作控制，从而提高了基于肌电和姿态数据的复合控制***的灵活性。

Description

基于肌电和姿态数据的复合控制方法、装置及***
技术领域
本发明涉及操作控制领域，具体涉及一种基于肌电和姿态数据的复合控制方法、装置及***。
背景技术
在单肌电控制***中，利用运动意图产生的肌电，运用模式识别算法，根据肌电信号识别控制模式，进而控制***的操作，但识别结果往往只能代表标量(只有大小没有方向)，导致一个识别结果同时只能控制***的一个固定的操作，而有方向性的复杂***，很难做到***协同操作，而且每个识别结果都较大的延时，不利于进行连贯操作。
发明内容
本发明实施例提供一种基于肌电和姿态数据的复合控制方法、装置及***，能够基于肌电和姿态识别协同进行操作控制，从而提高了基于肌电和姿态数据的复合控制***的灵活性。
本发明实施例的第一方面提供了一种基于肌电和姿态数据的复合控制方法，应用于基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，所述方法包括：
获取所述至少一个肌电采集器采集的肌电信号；
确定所述肌电信号对应的目标控制模式；
获取所述惯性传感器采集的姿态数据；
根据所述姿态数据执行所述目标控制模式下的目标控制操作。
可选地，所述确定所述肌电信号对应的目标控制模式，包括：
对所述肌电信号进行处理，得到目标信号处理数据；
根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式。
可选地，所述对所述肌电信号进行处理，得到目标信号处理数据，包括：
对所述肌电信号进行信号处理，得到肌电信号曲线，
确定所述肌电信号曲线中出现信号峰值的目标分段，所述目标分段的起始位置对应第一信号谷值，所述目标分段的结束位置对应第二信号谷值；
确定所述目标分段中的目标信号峰值、上升速度大于第一数值的第一信号点和下降速度大于第二数值的第二信号点，所述第一信号点对应第一时间点；所述第二信号点对应第二时间点；
确定与所述第一信号点对应的第一信号强度值和与所述第二信号点对应的第二信号强度值，所述第一信号强度值大于或等于所述第一信号谷值，所述第二信号强度值大于或等于所述第二信号谷值；
确定所述第一时间点与所述第二时间点之间的第一时长；
确定所述第一信号强度值与所述第二信号强度值之间的第一信号强度差值；
确定所述目标信号峰值对应的第一偏移值；
根据所述第一偏移值和所述第一信号强度差值确定第一信号范围，将所述第一时长和所述第一信号范围作为所述目标信号处理数据。
可选地，所述根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式，包括：
将所述第一时长与预设的信号处理数据与控制模式之间的映射关系中的时长进行匹配；将所述第一信号范围与预设的信号处理数据与控制模式之间的映射关系中的信号范围进行匹配，得到与所述第一时长匹配成功的预设时长和与所述第一信号范围匹配成功的预设信号范围；
确定所述映射关系中与所述预设时长和所述预设信号范围对应的目标控制模式。
可选地，所述方法还包括：
若所述肌电信号曲线中包括多个分段，每一所述分段包括一个信号峰值，确定所述多个分段对应的多个信号峰值中的最大峰值；
确定所述多个分段中与所述最大峰值对应的目标分段。
可选地，所述基于肌电和姿态数据的复合控制***还包括被控设备，所述被控设备包括以下至少两种部件：底盘、云台、机械臂、机械手；
所述目标控制模式包括以下任意一种：紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。
可选地，所述姿态数据包括加速度和角速度；所述根据所述姿态数据执行所述目标控制模式下的目标控制操作，包括：
确定所述目标控制模式下执行所述目标控制操作的目标部件；
根据所述姿态数据计算所述目标部件的控制参数；
控制所述目标部件根据所述控制参数执行所述目标控制操作。
本发明实施例的第二方面提供了一种基于肌电和姿态数据的复合控制装置，应用于基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，所述装置包括：
获取单元，用于获取所述至少一个肌电采集器采集的肌电信号；
确定单元，用于确定所述肌电信号对应的目标控制模式；
所述获取单元，还用于获取所述惯性传感器采集的姿态数据；
执行单元，用于根据所述姿态数据执行所述目标控制模式下的目标控制操作。
本发明实施例的第三方面提供了一种基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器、惯性传感器、被控设备和控制器，所述至少一个肌电采集器和所述惯性传感器均与所述控制器连接，其中，
所述肌电采集器用于采集人体的肌电信号；
所述控制器，用于确定所述肌电信号对应的目标控制模式；
所述惯性传感器，用于采集人体的姿态数据；
所述控制器，还用于根据所述姿态数据控制所述被控设备执行所述目标控制模式下的目标控制操作。
本发明实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质用于存储计算机程序，上述计算机程序被处理器执行，以实现如本发明实施例第一方面所述的方法中所描述的部分或全部步骤。
本发明实施例的第五方面提供了一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本发明实施例第一方面所述的方法中所描述的部分或全部步骤。
实施本发明实施例，具有至少如下有益效果：
可以看出，通过本发明实施例中的基于肌电和姿态数据的复合控制方法、装置及***，应用于基于肌电和姿态数据的复合控制***，基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，通过获取至少一个肌电采集器采集的肌电信号；确定肌电信号对应的目标控制模式；获取惯性传感器采集的姿态数据；根据姿态数据执行目标控制模式下的目标控制操作，如此，能够基于肌电和姿态识别协同进行操作控制，从而提高了基于肌电和姿态数据的复合控制***的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于肌电和姿态数据的复合控制***的结构示意图；
图2为本发明实施例提供的一种基于肌电和姿态数据的复合控制方法的流程示意图；
图3为本发明实施例提供的另一种基于肌电和姿态数据的复合控制方法的流程示意图；
图4为本发明实施例提供的一种基于肌电和姿态数据的复合控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本发明所描述的实施例可以与其它实施例相结合。
请参阅图1，图1是本发明实施例提供的一种基于肌电和姿态数据的复合控制***的结构示意图，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器、惯性传感器、被控设备和控制器，所述至少一个肌电采集器和所述惯性传感器均与所述控制器连接，其中，
所述肌电采集器用于采集人体的肌电信号；
所述控制器，用于确定所述肌电信号对应的目标控制模式；
所述惯性传感器，用于采集人体的姿态数据；
所述控制器，还用于根据所述姿态数据控制所述被控设备执行所述目标控制模式下的目标控制操作。
其中，所述肌电采集器包括电极阵列、至少2路差分信号采集电路、控制模块、传输模块和电源模块，电极阵列用于与人体接触，采集肌电信号，至少2路差分信号采集电路用于将采集到的肌电信号进行预处理，得到处理后的肌电信号，上述预处理可包括以下至少一种：信号放大、模数转换、低通滤波、电磁干扰滤波等；传输模块用于将预处理后的肌电信号传输至控制器。
其中，惯性传感器可用于采集人体的肢体运动时产生的加速度、角速度等姿态数据。
控制器根据姿态数据控制被控设备执行目标控制模式下的目标控制操作，从而在根据肌电信号识别目标控制模式后，根据姿态数据控制有方向性地执行目标控制模式下的目标控制操作，提高操作控制智能性。
可选地，在所述确定所述肌电信号对应的目标控制模式方面，所述控制器具体用于：
对所述肌电信号进行处理，得到目标信号处理数据；
根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式。
可选地，在所述对所述肌电信号进行处理，得到目标信号处理数据方面，所述控制器具体用于：
对所述肌电信号进行信号处理，得到肌电信号曲线，
确定所述肌电信号曲线中出现信号峰值的目标分段，所述目标分段的起始位置对应第一信号谷值，所述目标分段的结束位置对应第二信号谷值；
确定所述目标分段中的目标信号峰值、上升速度大于第一数值的第一信号点和下降速度大于第二数值的第二信号点，所述第一信号点对应第一时间点；所述第二信号点对应第二时间点；
确定与所述第一信号点对应的第一信号强度值和与所述第二信号点对应的第二信号强度值，所述第一信号强度值大于或等于所述第一信号谷值，所述第二信号强度值大于或等于所述第二信号谷值；
确定所述第一时间点与所述第二时间点之间的第一时长；
确定所述第一信号强度值与所述第二信号强度值之间的第一信号强度差值；
确定所述目标信号峰值对应的第一偏移值；
根据所述第一偏移值和所述第一信号强度差值确定第一信号范围，将所述第一时长和所述第一信号范围作为所述目标信号处理数据。
可选地，在所述根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式方面，所述控制器具体用于：
将所述第一时长与预设的信号处理数据与控制模式之间的映射关系中的时长进行匹配；将所述第一信号范围与预设的信号处理数据与控制模式之间的映射关系中的信号范围进行匹配，得到与所述第一时长匹配成功的预设时长和与所述第一信号范围匹配成功的预设信号范围；
确定所述映射关系中与所述预设时长和所述预设信号范围对应的目标控制模式。
可选地，所述被控设备包括以下至少两种部件：底盘、云台、机械臂、机械手；
所述目标控制模式包括以下任意一种：紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。
可选地，上述控制器可以设置于被控设备上，也可以独立设置于被控设备外部。
可选地，所述控制器还用于：
若所述肌电信号曲线中包括多个分段，每一所述分段包括一个信号峰值，确定所述多个分段对应的多个信号峰值中的最大峰值；
确定所述多个分段中与所述最大峰值对应的目标分段。
可选地，所述姿态数据包括加速度和角速度；在所述根据所述姿态数据执行所述目标控制模式下的目标控制操作方面，所述控制器具体用于：
确定所述目标控制模式下执行所述目标控制操作的目标部件；
根据所述姿态数据计算所述目标部件的控制参数；
控制所述目标部件根据所述控制参数执行所述目标控制操作。
其中，被控设备可包括以下部件：底盘、云台、机械臂、机械手，具体地，在紧急停车模式下，可控制被控设备立即停止；在底盘平移模式下，可使用控制参数控制被控设备平移；在底盘旋转和云台旋转模式下，可使用控制参数分别控制被控设备旋转和云台旋转；在机械臂模式下，可使用控制参数分别控制机械臂上下移动和左右移动；在机械手模式下，可使用控制参数控制机械手握取。
可以看出，通过本发明实施例中的基于肌电和姿态数据的复合控制***，基于肌电和姿态数据的复合控制***包括至少一个肌电采集器、惯性传感器、被控设备和控制器，至少一个肌电采集器和所述惯性传感器均与所述控制器连接，肌电采集器用于采集人体的肌电信号；控制器用于确定肌电信号对应的目标控制模式；惯性传感器用于采集人体的姿态数据；控制器还用于根据姿态数据控制被控设备执行目标控制模式下的目标控制操作，如此，能够基于肌电和姿态识别协同进行操作控制，从而提高了基于肌电和姿态数据的复合控制***的灵活性。
请参阅图2，图2为本发明实施例提供的一种基于肌电和姿态数据的复合控制方法的流程示意图。如图2所示，本发明实施例提供的基于肌电和姿态数据的复合控制方法应用于如图1所示的基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，该方法可包括以下步骤：
201、获取所述至少一个肌电采集器采集的肌电信号；
其中，至少一个肌电采集器可采集人体的肌电信号。
可选地，所述肌电采集器有多个，且多个肌电采集器分布在人体不同位置，通过不同位置的肌电采集器可采集不同位置的肌电信号，从而根据人体不同位置反应的肌电信号更加准确地分析用户的运动意图。
202、确定所述肌电信号对应的目标控制模式；
具体实施中，针对不同的被控设备，可设置该被控设备不同部件实现各种功能的多个控制模式，当用户想要选择不同的控制模式时对应的肌电信号不同，因此，可预先设定肌电信号与目标控制模式之间的映射关系，根据该映射关系来确定肌电信号对应的目标控制模式。
其中，所述目标控制模式包括以下任意一种：紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。
可选地，上述步骤202中，所述确定所述肌电信号对应的目标控制模式，包括：
21、对所述肌电信号进行处理，得到目标信号处理数据；
22、根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式。
其中，可预先获取预设的多个信号处理数据，以及获取多个信号处理数据中每一信号处理数据对应的控制模式，得到多个控制模式，然后建立信号处理数据与控制模式之间的映射关系。如下表1所示，为本发明实施例提供的一种信号处理数据与控制模式之间的映射关系的示例：
信号处理数据 控制模式
信号处理数据1 控制模式1
信号处理数据2 控制模式2
信号处理数据3 控制模式3
... ...
信号处理数据n 控制模式n
表1
可选地，可对肌电信号进行信号处理，得到肌电信号曲线，然后，根据预设的信号曲线与控制模式之间的映射关系确定与该肌电信号曲线对应的目标控制模式。
其中，可预先获取预设的多个信号曲线，以及获取多个信号曲线中每一信号曲线对应的控制模式，得到多个控制模式，然后建立信号曲线与控制模式之间的映射关系。
可选地，上述步骤21中，所述对所述肌电信号进行处理，得到目标信号处理数据，包括：
2101、对所述肌电信号进行信号处理，得到肌电信号曲线，
2102、确定所述肌电信号曲线中出现信号峰值的目标分段，所述目标分段的起始位置对应第一信号谷值，所述目标分段的结束位置对应第二信号谷值；
2103、确定所述目标分段中的目标信号峰值、上升速度大于第一数值的第一信号点和下降速度大于第二数值的第二信号点，所述第一信号点对应第一时间点；所述第二信号点对应第二时间点；
2104、确定与所述第一信号点对应的第一信号强度值和与所述第二信号点对应的第二信号强度值，所述第一信号强度值大于或等于所述第一信号谷值，所述第二信号强度值大于或等于所述第二信号谷值；
2105、确定所述第一时间点与所述第二时间点之间的第一时长；
2106、确定所述第一信号强度值与所述第二信号强度值之间的第一信号强度差值；
2107、确定所述目标信号峰值对应的第一偏移值；
2108、根据所述第一偏移值和所述第一信号强度值确定第一信号范围，将所述第一时长和所述第一信号范围作为所述目标信号处理数据。
具体实施中，考虑到用户产生不同的运动意图时，肌电信号的反应时间、肌电信号的信号强度均会呈现不同的肌电信号曲线，因此，可分析肌电信号曲线，来识别用于的运动意图，具体地，可确定肌电信号曲线中出现信号峰值的目标分段，然后确定目标分段中的目标信号峰值，还可确定目标分段中上升速度大于第一数值的第一信号点和下降速度大于第二数值的第二信号点，一般来说，在目标信号峰值一侧，肌电信号的信号强度会呈上升趋势，可确定目标信号峰值在该侧肌电信号曲线变化最陡的第一信号点；在目标信号峰值另一侧，肌电信号的信号强度会呈下降趋势，可确定目标信号峰值在该侧肌电信号曲线变化最陡的第二信号点，所述第一信号点对应第一时间点；所述第二信号点对应第二时间点；进而，可根据第一时间点与第二时间点确定第一时长，第一时长可以用于表示人体在产生运动意识过程中的肌电信号发生变化的时长，还可确定第一信号强度值与第二信号强度值之间的第一信号强度差值；确定目标信号峰值对应的第一偏移值；根据第一偏移值和第一信号强度值确定第一信号范围，第一信号范围可以表示人体在产生运动意识过程中的肌电信号发生变化的范围，考虑到不同运动意图下，人体在产生运动意识过程中的肌电信号发生变化的的时长和信号强度变化不同，因此，可根据第一时长和第一信号范围确定用户的目标控制模式，上述第一偏移值，可用于表示目标信号峰值对应的误差量，通过根据第一偏移值和第一信号强度差值确定第一信号范围，可以将第一信号范围控制在误差允许的范围内，从而，可更加准确地根据第一时长和第一信号范围确定目标控制模式。
可选地，上述步骤22中，所述根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式，包括：
将所述第一时长与预设的信号处理数据与控制模式之间的映射关系中的时长进行匹配；将所述第一信号范围与预设的信号处理数据与控制模式之间的映射关系中的信号范围进行匹配，得到与所述第一时长匹配成功的预设时长和与所述第一信号范围匹配成功的预设信号范围；
确定所述映射关系中与所述预设时长和所述预设信号范围对应的目标控制模式。
具体实施中，可预先设置信号处理数据与控制模式之间的映射关系，如下表2所示，为本发明实施例提供的另一种信号处理数据与控制模式之间的映射关系的示例：
Figure BDA0002713161170000111
表2
其中，可将第一时长与该映射关系中预设的多个时长依次进行匹配，得到与第一时长匹配成功的预设时长，将所述第一信号范围与该映射关系中的多个信号范围依次进行匹配，得到与第一信号范围匹配成功的预设信号范围，进而确定该预设时长与预设信号范围对应的目标控制模式，从而，可基于第一时长和第一信号范围更加准确地确定目标控制模式。
203、获取所述惯性传感器采集的姿态数据；
其中，上述姿态数据可以包括人体实体的加速度、角速度等。
具体实施中，用户可将惯性传感器佩戴在身体用于控制被控设备的肢体上，例如，手臂、手腕、手指、腰部等部位，此处不作限制。
204、根据所述姿态数据执行所述目标控制模式下的目标控制操作。
具体地，可根据加速度、角速度等姿态数据计算欧拉角，然后根据欧拉角控制被控设备在目标控制模式下的执行目标控制操作。
其中，欧拉角可包括俯仰角、翻滚角和偏航角。
可选地，所述基于肌电和姿态数据的复合控制***的被控设备包括以下至少两种部件：底盘、云台、机械臂、机械手；所述目标控制模式包括以下任意一种：紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。
可选地，所述根据所述姿态数据执行所述目标控制模式下的目标控制操作，包括：
确定所述目标控制模式下执行所述目标控制操作的目标部件；
根据所述姿态数据计算所述目标部件的控制参数；
控制所述目标部件根据所述控制参数执行所述目标控制操作。
具体地，针对上述被控设备可预先设置紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。从而，在紧急停车模式下，可控制被控设备立即停止；在底盘平移模式下，可使用控制参数控制被控设备平移；在底盘旋转和云台旋转模式下，可使用控制参数分别控制被控设备旋转和云台旋转；在机械臂模式下，可使用控制参数分别控制机械臂上下移动和左右移动；在机械手模式下，可使用控制参数控制机械手握取。
其中，上述控制参数可包括以下至少一种：底盘平移距离、底盘平移方向、底盘旋转方向、底盘旋转角度、云台旋转方向、云台旋转角度、机械臂移动方向、机械臂移动幅度等等，此处不作限制。
可选地，为了确保基于肌电和姿态数据的复合控制***的控制稳定性和安全性，可使用灯光、振动等方式对控制模式的状态进行指示。
可以看出，本发明实施例中，通过获取至少一个肌电采集器采集的肌电信号；确定肌电信号对应的目标控制模式；获取惯性传感器采集的姿态数据；根据姿态数据执行目标控制模式下的目标控制操作，如此，能够基于肌电和姿态识别协同进行操作控制，从而提高了基于肌电和姿态数据的复合控制***的灵活性。
举例说明，如图3所示，图3为本发明提供的另一种基于肌电和姿态数据的复合控制方法的流程图。其中，可获取至少一个肌电采集器采集的肌电信号，对肌电信号进行处理，得到目标信号处理数据，从预设的信号处理数据与控制模式之间的映射关系中确定与目标信号处理数据对应的目标控制模式。获取惯性传感器采集的加速度、角速度等姿态数据；确定所述目标控制模式下执行所述目标控制操作的目标部件，根据加速度和角速度进行姿态计算，得到目标部件的控制参数，控制参数可包括俯仰角和横滚角，控制所述目标部件根据所述俯仰角和横滚角执行所述目标控制操作，在紧急停车模式下，可控制被控设备立即停止；在底盘平移模式下，可使用控制参数控制被控设备平移；在底盘旋转和云台旋转模式下，可使用控制参数分别控制被控设备旋转和云台旋转；在机械臂模式下，可使用控制参数分别控制机械臂上下移动和左右移动；在机械手模式下，可使用控制参数控制机械手握取，从而，可有方向性地控制被控设备，提高基于肌电和姿态数据的复合控制***的灵活性。
请参阅图4，图4是本实施例提供的一种基于肌电和姿态数据的复合控制装置的结构示意图，所述基于肌电和姿态数据的复合控制装置400应用于如图1所示的基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，该装置400包括获取单元401、确定单元402和执行单元403，其中，
所述获取单元401，用于获取所述至少一个肌电采集器采集的肌电信号；
所述确定单元402，用于确定所述肌电信号对应的目标控制模式；
所述获取单元401，还用于获取所述惯性传感器采集的姿态数据；
所述执行单元403，用于根据所述姿态数据执行所述目标控制模式下的目标控制操作。
可选地，在所述确定所述肌电信号对应的目标控制模式方面，所述确定单元402具体用于：
对所述肌电信号进行处理，得到目标信号处理数据；
根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式。
可选地，在所述对所述肌电信号进行处理，得到目标信号处理数据方面，所述确定单元402具体用于：
对所述肌电信号进行信号处理，得到肌电信号曲线，
确定所述肌电信号曲线中出现信号峰值的目标分段，所述目标分段的起始位置对应第一信号谷值，所述目标分段的结束位置对应第二信号谷值；
确定所述目标分段中的目标信号峰值、上升速度大于第一数值的第一信号点和下降速度大于第二数值的第二信号点，所述第一信号点对应第一时间点；所述第二信号点对应第二时间点；
确定与所述第一信号点对应的第一信号强度值和与所述第二信号点对应的第二信号强度值，所述第一信号强度值大于或等于所述第一信号谷值，所述第二信号强度值大于或等于所述第二信号谷值；
确定所述第一时间点与所述第二时间点之间的第一时长；
确定所述第一信号强度值与所述第二信号强度值之间的第一信号强度差值；
确定所述目标信号峰值对应的第一偏移值；
根据所述第一偏移值和所述第一信号强度差值确定第一信号范围，将所述第一时长和所述第一信号范围作为所述目标信号处理数据。
可选地，在所述根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式方面，所述确定单元402具体用于：
将所述第一时长与预设的信号处理数据与控制模式之间的映射关系中的时长进行匹配；将所述第一信号范围与预设的信号处理数据与控制模式之间的映射关系中的信号范围进行匹配，得到与所述第一时长匹配成功的预设时长和与所述第一信号范围匹配成功的预设信号范围；
确定所述映射关系中与所述预设时长和所述预设信号范围对应的目标控制模式。
可选地，所述被控设备包括以下至少两种部件：底盘、云台、机械臂、机械手；
所述目标控制模式包括以下任意一种：紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。
可选地，所述确定单元402还用于：
若所述肌电信号曲线中包括多个分段，每一所述分段包括一个信号峰值，确定所述多个分段对应的多个信号峰值中的最大峰值；
确定所述多个分段中与所述最大峰值对应的目标分段。
可选地，所述姿态数据包括加速度和角速度；在所述根据所述姿态数据执行所述目标控制模式下的目标控制操作方面，所述执行单元403具体用于：
确定所述目标控制模式下执行所述目标控制操作的目标部件；
根据所述姿态数据计算所述目标部件的控制参数；
控制所述目标部件根据所述控制参数执行所述目标控制操作。
可以看出，本发明实施例中所描述的基于肌电和姿态数据的复合控制装置，通过获取至少一个肌电采集器采集的肌电信号；确定肌电信号对应的目标控制模式；获取惯性传感器采集的姿态数据；根据姿态数据执行目标控制模式下的目标控制操作，如此，能够基于肌电和姿态识别协同进行操作控制，从而提高了基于肌电和姿态数据的复合控制***的灵活性。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种肌电采集方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种肌电采集方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于肌电和姿态数据的复合控制方法，其特征在于，应用于基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，所述方法包括：
获取所述至少一个肌电采集器采集的肌电信号；
确定所述肌电信号对应的目标控制模式；
获取所述惯性传感器采集的姿态数据；
根据所述姿态数据执行所述目标控制模式下的目标控制操作。
2.根据权利要求1所述方法，其特征在于，所述确定所述肌电信号对应的目标控制模式，包括：
对所述肌电信号进行处理，得到目标信号处理数据；
根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式。
3.根据权利要求2所述方法，其特征在于，所述对所述肌电信号进行处理，得到目标信号处理数据，包括：
对所述肌电信号进行信号处理，得到肌电信号曲线，
确定所述肌电信号曲线中出现信号峰值的目标分段，所述目标分段的起始位置对应第一信号谷值，所述目标分段的结束位置对应第二信号谷值；
确定所述目标分段中的目标信号峰值、上升速度大于第一数值的第一信号点和下降速度大于第二数值的第二信号点，所述第一信号点对应第一时间点；所述第二信号点对应第二时间点；
确定与所述第一信号点对应的第一信号强度值和与所述第二信号点对应的第二信号强度值，所述第一信号强度值大于或等于所述第一信号谷值，所述第二信号强度值大于或等于所述第二信号谷值；
确定所述第一时间点与所述第二时间点之间的第一时长；
确定所述第一信号强度值与所述第二信号强度值之间的第一信号强度差值；
确定所述目标信号峰值对应的第一偏移值；
根据所述第一偏移值和所述第一信号强度差值确定第一信号范围，将所述第一时长和所述第一信号范围作为所述目标信号处理数据。
4.根据权利要求3所述方法，其特征在于，所述根据预设的信号处理数据与控制模式之间的映射关系确定与所述目标信号处理数据对应的目标控制模式，包括：
将所述第一时长与预设的信号处理数据与控制模式之间的映射关系中的时长进行匹配；将所述第一信号范围与预设的信号处理数据与控制模式之间的映射关系中的信号范围进行匹配，得到与所述第一时长匹配成功的预设时长和与所述第一信号范围匹配成功的预设信号范围；
确定所述映射关系中与所述预设时长和所述预设信号范围对应的目标控制模式。
5.根据权利要求3或4所述方法，其特征在于，所述方法还包括：
若所述肌电信号曲线中包括多个分段，每一所述分段包括一个信号峰值，确定所述多个分段对应的多个信号峰值中的最大峰值；
确定所述多个分段中与所述最大峰值对应的目标分段。
6.根据权利要求1-5任一项所述方法，其特征在于，所述基于肌电和姿态数据的复合控制***还包括被控设备，所述被控设备包括以下至少两种部件：底盘、云台、机械臂、机械手；
所述目标控制模式包括以下任意一种：紧急停止模式、底盘平移模式、底盘旋转和云台旋转模式、机械臂模式和机械手模式。
7.根据权利要求6所述方法，其特征在于，所述姿态数据包括加速度和角速度；所述根据所述姿态数据执行所述目标控制模式下的目标控制操作，包括：
确定所述目标控制模式下执行所述目标控制操作的目标部件；
根据所述姿态数据计算所述目标部件的控制参数；
控制所述目标部件根据所述控制参数执行所述目标控制操作。
8.一种基于肌电和姿态数据的复合控制装置，其特征在于，应用于基于肌电和姿态数据的复合控制***，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器和惯性传感器，所述装置包括：
获取单元，用于获取所述至少一个肌电采集器采集的肌电信号；
确定单元，用于确定所述肌电信号对应的目标控制模式；
所述获取单元，还用于获取所述惯性传感器采集的姿态数据；
执行单元，用于根据所述姿态数据执行所述目标控制模式下的目标控制操作。
9.一种基于肌电和姿态数据的复合控制***，其特征在于，所述基于肌电和姿态数据的复合控制***包括至少一个肌电采集器、惯性传感器、被控设备和控制器，所述至少一个肌电采集器和所述惯性传感器均与所述控制器连接，其中，
所述肌电采集器用于采集人体的肌电信号；
所述控制器，用于确定所述肌电信号对应的目标控制模式；
所述惯性传感器，用于采集人体的姿态数据；
所述控制器，还用于根据所述姿态数据控制所述被控设备执行所述目标控制模式下的目标控制操作。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
CN202011063852.7A 2020-09-30 2020-09-30 基于肌电和姿态数据的复合控制方法、装置及*** Active CN112214109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011063852.7A CN112214109B (zh) 2020-09-30 2020-09-30 基于肌电和姿态数据的复合控制方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011063852.7A CN112214109B (zh) 2020-09-30 2020-09-30 基于肌电和姿态数据的复合控制方法、装置及***

Publications (2)

Publication Number Publication Date
CN112214109A true CN112214109A (zh) 2021-01-12
CN112214109B CN112214109B (zh) 2023-06-23

Family

ID=74051687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011063852.7A Active CN112214109B (zh) 2020-09-30 2020-09-30 基于肌电和姿态数据的复合控制方法、装置及***

Country Status (1)

Country Link
CN (1) CN112214109B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113021349A (zh) * 2021-03-24 2021-06-25 季华实验室 远程操作控制方法及装置、***、设备、存储介质
WO2022193330A1 (zh) * 2021-03-19 2022-09-22 深圳市韶音科技有限公司 一种运动监控方法及其***
TWI837620B (zh) * 2021-03-19 2024-04-01 大陸商深圳市韶音科技有限公司 運動監控方法及系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054507A (ja) * 1999-08-17 2001-02-27 Sony Corp 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法
CN107553499A (zh) * 2017-10-23 2018-01-09 上海交通大学 一种多轴机械臂的自然手势运动控制***和方法
CN109901539A (zh) * 2019-03-27 2019-06-18 辽东学院 一种应用于智能家居的人机交互***及其控制方法
CN110169851A (zh) * 2019-05-28 2019-08-27 南京航空航天大学 肌电信号自适应调节的假手控制***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054507A (ja) * 1999-08-17 2001-02-27 Sony Corp 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法
CN107553499A (zh) * 2017-10-23 2018-01-09 上海交通大学 一种多轴机械臂的自然手势运动控制***和方法
CN109901539A (zh) * 2019-03-27 2019-06-18 辽东学院 一种应用于智能家居的人机交互***及其控制方法
CN110169851A (zh) * 2019-05-28 2019-08-27 南京航空航天大学 肌电信号自适应调节的假手控制***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡家垒等: "基于肢体运动信息的机器人示教操作***", 《机电一体化》 *
胡家垒等: "基于肢体运动信息的机器人示教操作***", 《机电一体化》, 28 February 2019 (2019-02-28), pages 36 - 41 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193330A1 (zh) * 2021-03-19 2022-09-22 深圳市韶音科技有限公司 一种运动监控方法及其***
TWI837620B (zh) * 2021-03-19 2024-04-01 大陸商深圳市韶音科技有限公司 運動監控方法及系統
CN113021349A (zh) * 2021-03-24 2021-06-25 季华实验室 远程操作控制方法及装置、***、设备、存储介质

Also Published As

Publication number Publication date
CN112214109B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112214109A (zh) 基于肌电和姿态数据的复合控制方法、装置及***
Wilson et al. Formulation of a new gradient descent MARG orientation algorithm: Case study on robot teleoperation
Simao et al. A review on electromyography decoding and pattern recognition for human-machine interaction
CN110076772B (zh) 一种机械臂的抓取方法及装置
CN110125909B (zh) 一种多信息融合人体外骨骼机器人控制保护***
Xu et al. Development of a hybrid motion capture method using MYO armband with application to teleoperation
Bouteraa et al. A gesture-based telemanipulation control for a robotic arm with biofeedback-based grasp
Liang et al. Writing skills transfer from human to robot using stiffness extracted from sEMG
CN113558771B (zh) 机器人平面限位控制方法、装置和手术机器人
Dwivedi et al. A shared control framework for robotic telemanipulation combining electromyography based motion estimation and compliance control
Anvaripour et al. FMG-and RNN-based estimation of motor intention of upper-limb motion in human-robot collaboration
CN110967972A (zh) 基于径向基函数神经网络的康复机器人自适应控制方法
Boru et al. Novel technique for control of industrial robots with wearable and contactless technologies
Wang et al. An EMG enhanced impedance and force control framework for telerobot operation in space
CN114055461A (zh) 基于肌电接口的机器人力位同步遥操作控制方法及装置
Patel et al. EMG-based human machine interface control
CN111358659B (zh) 一种机器人的助力控制方法、***及下肢康复机器人
CN113561172B (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
Akhmadeev et al. A real-time gesture classification using surface EMG to control a robotics hand
CN113246124B (zh) 机器人控制方法、装置、计算机可读存储介质及机器人
CN115276831A (zh) 一种信号干扰消除方法、***、存储介质及终端设备
JP2016054994A (ja) 運動推定装置、及び運動推定方法
Suryanarayanan et al. EMG-based interface for position tracking and control in VR environments and teleoperation
Zhao et al. A multimodal-signals-based gesture recognition method for human machine interaction
CN113552945B (zh) 一种人机交互的手套***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant