CN107553499A - 一种多轴机械臂的自然手势运动控制***和方法 - Google Patents

Abstract

本发明涉及一种多轴机械臂运动控制的***及方法，用户可以通过自然手势和手臂运动控制机械臂运动。该***及方法通过检测人体手臂表面的肌电信号和IMU运动信息，识别自然手势并解算手臂姿态，通过建立手臂‑机械臂物理关系模型，控制机械臂复现人体手臂运动，并通过自然手势控制机械臂末端执行器的抓取操作。本发明可以广泛用于机械臂的远程操作、示教等领域，实现对机器人的智能控制，达到人机共融、智能交互的目的。

Description

一种多轴机械臂的自然手势运动控制***和方法

技术领域

本发明涉及人机智能交互领域，尤其涉及一种基于自然手势识别和手臂姿态解析的多轴机械臂运动控制***和方法。

背景技术

近年来，机器人技术广泛地应用于工业生产和日常生活的各个领域，在促进国民经济发展，提高人们生活质量等方面发挥了重要的作用。机器人的智能化和良好的交互性更是机器人未来发展的主流方向。在智能机器人的研制和使用过程中，如何实现与使用者的自然交互，达到人机共融的目的一直是人们关心的话题。现代信号测量与处理技术以及生机电一体化技术的发展，使得通过人体生物信号及其他辅助信号实现人体对机器人直接或间接的控制成为可能。这些技术的发展为机器人的智能操控提供了一条切实可行的途径。

多轴机械臂本身就是模仿人体的生理结构，对应人体上肢不同的关节而设计的一种灵活度很高的机械装置，它与人体上臂具有天然的相似度。将人体手臂的运动状态直接反映在机械臂的运动控制上，是实现人机共融、自然交互的极佳方案。运用自然手势控制机器人可以直观地体现用户的意图，是一种极为便捷和自然的控制方式。表面肌电信号(sEMG)是一种伴随着人体骨骼肌收缩在皮肤表面产生的微弱生物电信号，不同的肌电信号模式可以在一定程度上反映各种人体运动对应的肌肉活动。目前，通过表面肌电信号识别多种手腕部动作并可以达到较高的准确率，但对肢体动作的识别还不够准确。

发明内容

IMU(Inertial Measurement Unit)是惯性测量单元的缩写，包括加速度计、磁力计、陀螺仪等，它可以较为精确地反映物体的运动状态和空间姿态，对于肢体的运动过程有良好的识别能力，能够弥补sEMG在肢体动作识别上的劣势。本发明将基于sEMG和IMU的自然手势识别以及手臂姿态解析运用于多轴机械臂的自然控制中，提出了一种多轴机械臂的控制***及方法，可以广泛应用于多个领域，如多轴机械臂的示教、远程控制等。

表面肌电信号(sEMG)作为一种由肌肉收缩产生的生物电信号，能够很好地反映人的运动意图，但无法较好地反映肢体的姿态，从而对肢体动作的识别不够准确。IMU是一种常用的可以表征物体运动的测量单元，其测量数据可以反映物体或对象的空间姿态，通常用于导航设备或***。将两者相结合，本发明提供了一种多轴机械臂的自然手势控制***及方法，对实时采集的sEMG和IMU信号有机地融合并进行解析以更准确地识别肢体动作及姿态，从而将人的运动或姿态自然地传递给机械臂，为机械臂等机器人的人机交互提供一种更加自然的途径。本发明通过将sEMG和IMU信号的采集装置集成在可佩戴设备中进行实时采集，并对所采集到的信号综合进行相应地处理和解析以得到更准确的识别结果，从而更自然地对机械臂进行控制。该控制***与方法还可以应用于类似机械臂的机械装置的远程控制与示教，为智能机器人的人机交互提供一种新的途径。

一方面，本发明提供一种多轴机械臂运动控制***，其特征在于包括：机械臂，包括实体机械臂或虚拟机械臂；信号采集模块，由用户佩戴，被配置为采集表面肌电信号和惯性测量单元信号；自然手势识别与手臂姿态解析模块，被配置为利用所述信号采集模块获取的表面肌电信号和惯性测量单元信号来识别自然手势并解析手臂姿态；以及机械臂运动控制模块，被配置为根据所述自然手势识别与手臂姿态解析模块得到的识别和解析结果来控制所述机械臂实现与用户动作相对应的运动；其中，所述信号采集模块、所述自然手势识别与手臂姿态解析模块、所述机械臂运动控制模块以及所述机械臂之间通信连接。

在本发明的一个实施例中，所述信号采集模块还包括表面肌电电极、惯性测量单元信号模块、电源管理模块、信号预处理模块以及无线通讯模块，其特征在于：所述信号采集模块被配置为采集多通道肌电信号，所述惯性测量单元信号模块被配置为提供3轴加速度计、3轴陀螺仪和3轴磁力计信息并集成在所述信号采集模块中。

在本发明的另一个实施例中，其特征在于所述信号预处理模块还包括前置放大电路、高通滤波电路、低通滤波电路以及A/D转换电路，其中，所述电源管理模块被配置为产生不同幅值的电压为不同的单元模块供电。

在本发明的另一个实施例中，其特征在于：所述自然手势识别与手臂姿态解析模块被配置为通过对表面肌电信号进行模式分类以识别自然手势，以及通过对惯性测量单元信号实时解算手臂的空间姿态和运动信息。

在本发明的另一个实施例中，其特征在于：所述机械臂运动控制模块被配置为通过建立手臂与机械臂之间的物理关系模型将所述自然手势识别与手臂姿态解析模块得到的识别和解析结果转化成控制所述机械臂的控制信息，从而控制机械臂实现与手臂运动相一致的运动或工作模式的切换。

另一方面，本发明还提供一种多轴机械臂运动控制方法，其特征在于，包括以下步骤：

S1、校准数据采集装置；S2、获取表面肌电信号与IMU信息；S3、信号预处理并通过无线通讯方式发送；S4、进行手势识别与手臂姿态解析；S5、建立手臂-机械臂物理关系模型，输出机械臂运动控制量；S6、驱动机械臂运动。

在本发明的一个实施例中，其特征在于，步骤S3中所述对原始信号进行预处理包括：对原始信号进行放大、带通滤波以及进行A/D转换和数字采样。

在本发明的另一个实施例中，其特征在于，步骤S4包括：

S41、数据分窗处理；S42、对分窗数据进行特征提取与特征降维；S43、分类器训练与测试；S44、输出自然手势识别结果；S45、解算手臂姿态，推导各关节转动角度以及手臂末端位移。

在本发明的另一个实施例中，其特征在于，步骤S4还包括：在得到识别结果后通过不同的手势动作切换机械臂的工作模式。

在本发明的另一个实施例中，其特征在于，步骤S5中所述建立手臂-机械臂物理关系模型包括：i)末端控制模式：通过末端的位移反推出控制机械臂各关节转动的控制量；和/或ii)关节控制模式：将在步骤S4中得到的手臂关节角度的变化等比例的映射到机械臂的运动控制中。

本发明运用sEMG和IMU信息实现自然手势识别、手臂姿态解析，进而控制机械臂实现与人体手臂运动相一致的运动和抓取任务，完成并实现了：

(1)表征自然手势的肌电信号与表征手臂运动信息的IMU数据的获取；

(2)基于表面肌电信号的自然手势识别；

(3)基于IMU信息解析人体手臂运动状态；

(4)建立手臂运动状态、自然手势与机械臂运动学参数间的物理模型；

(5)基于上述物理模型实现机械臂对人体手臂运动的复现。

通过上述***及方法，本发明提供了一种多轴机械臂运动控制的***及方法，使得用户可以通过自然手势和手臂运动控制机械臂运动。本发明的***及方法通过检测人体手臂表面的肌电信号和IMU运动信息，识别自然手势并解算手臂姿态，通过建立手臂-机械臂物理关系模型，控制机械臂复现人体手臂运动，并通过自然手势控制机械臂末端执行器的抓取操作。本发明可以广泛用于机械臂的远程操作、示教等领域，实现对机器人的智能控制，达到人机共融、智能交互的目的。

附图说明

图1为本发明中多轴机械臂运动控制***的一个实施例的应用示意图；

图2为本发明中多轴机械臂运动控制***的一个实施例的结构框图；

图3为本发明中多轴机械臂运动控制方法的一个实施例的流程图；

图4为本发明中多轴机械臂运动控制过程中模式识别信号处理流程示意图；

图5为本发明中通过手臂-机械臂物理关系模型实现机械臂运动控制的流程示意图。

具体实施方式

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明提出的技术方案。下面将结合附图，对本发明的技术方案进行更为清楚、完整的描述。显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。基于本发明的实施例，本领域的技术人员在没有付出创造性劳动的前提下所获得的所有其他的实施例，都属于本发明的保护范围。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使本发明的公开清楚和全面。

下面结合附图对本发明作进一步的详细说明。

参考图1和图2，本发明提供了一种多轴机械臂运动控制***，在一个具体实施例中可以为多轴机械臂自然手势示教***000，该***包括四个部分，分别是信号采集模块100、自然手势识别与手臂姿态解析模块200、机械臂运动控制模块300以及机械臂400，其中自然手势识别与手臂姿态解析模块200可以是上位机信号处理程序。

信号采集模块100可以是一种可以同时采集肌电信号和IMU信息的臂带，所采集到的多通道表面肌电信号以及IMU(包括加速度计、陀螺仪和磁力计等)信息，可以为后续手势识别和手臂姿态解析提供数据来源。信号采集模块100可以单独或分别佩戴于前臂和/或上臂，在使用时可以预先经过位置校准，以提高信息采集的准确性。在一个具体实施例中，信号采集模块100可以包括表面肌电电极、IMU模块、电源管理模块、信号预处理模块以及无线通讯模块。优选的，信号采集模块100采集4到8通道肌电信号，表面肌电电极为经过特殊处理的金属电极，能够保持皮肤与电极之间良好的导通性能，从而保证肌电信号质量。优选的，IMU模块采用MPU-9150模块，可以提供3轴加速度计、3轴陀螺仪和3轴磁力计信息，该模块可以集成在信号采集模块100(如：肌电采集臂带)中以便于信号采集，并且可以通过互补滤波等方法解算人体手臂姿态。优选的，电源管理模块用于给臂带中各个模块供电，采用3.7V的锂电池为整个信号采集装置供电，其中优选地通过电源管理芯片产生不同幅值的电压为单片机、A/D转换芯片等供电。优选的，信号预处理模块可以进一步包括前置放大电路、高通滤波电路、低通滤波电路以及A/D转换电路，进一步优选的，可以使用陷波滤波器去除工频噪声，带通滤波器频率范围设置为20-450Hz，以及使用A/D转换电路将模拟量转化为数字量，以便于对信号进行后续的处理或解析。优选的，无线通讯模块用于臂带与自然手势识别与手臂姿态解析模块之间的数据传输，将采集到的sEMG和IMU的信息无线传输至上位机信号处理程序。

在一个实施例中，自然手势识别与手臂姿态解析模块200可以是运行在上位机上的模式识别与姿态解算算法。自然手势识别与手臂姿态解析模块200可以利用信号采集模块100获取的表面肌电数据与IMU数据，对表面肌电数据进行模式分类，以识别自然手势；根据IMU数据解算手臂实时运动姿态，以解算手臂末端位移。优选的，自然手势识别与手臂姿态解析模块200可以进一步分为两部分，一部分是对肌电信号的处理，可以采用线性判别分析(LDA)或SVM等分类方法，识别自然手势；另一部分是对IMU信息的处理，可以采用姿态解算算法，实时解算物体或对象(如前臂和上臂)的空间姿态和运动信息。

在一个具体实施例中，自然手势识别与手臂姿态解析模块200可以采用基于Python的识别与解算程序。Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库，并且能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起，从而具有较好的可移值性、可扩展性和可嵌入性。

在一个实施例中，机械臂运动控制模块300可以包括手臂-机械臂物理关系模型和运动控制模块两部分，以实现人体手臂运动到机械臂运动的映射和控制。机械臂运动控制模块300根据自然手势识别与手臂姿态解析模块200解算得到的自然手势识别结果以及手臂的空间姿态和运动信息，控制机械臂实现与手臂运动相一致的运动。优选的，机械臂运动控制模块300还可根据不同的自然手势实现工作模式的切换等功能。优选的，机械臂运动控制模块300可以通过建立人体手臂与多轴机械臂之间的物理模型，将解算出来的手臂姿态信息转化成控制机械臂各个关节转动的控制信息。机械臂运动控制模块300还可以根据手势识别结果，切换机械臂的不同工作模式，如末端控制模式或关节控制模式。

在一个具体实施例中，机械臂运动控制模块300可以采用基于ROS的运动控制程序。ROS(Robot Operating System)是一种适用于机器人的开源的元操作***，提供了一种发布-订阅式的通信框架用以简单、快速地构建分布式计算系，提供了大量的工具组合用以配置、启动、自检、调试、可视化、登录、测试、终止分布式计算***，并且提供了广泛的库文件实现以机动性、操作控制、感知为主的机器人功能。ROS也支持一种类似于代码储存库的联合***，这个***也可以实现工程的协作及发布。这个设计可以使一个工程的开发和实现从文件***到用户接口完全独立决策(不受ROS限制)，同时所有的工程都可以被ROS的基础工具整合在一起。

机械臂400不仅可以包括实体机械臂，也可以包括VR/AR等环境中的虚拟机械臂。在一个具体实施例中，机械臂400可以是实体多轴机械臂或者虚拟场景中用于可视化展示的虚拟机械臂，从而可以适用于不同的应用场景以完成各种具体的操作任务。

参考图1，该***的一个实施例的工作过程描述如下：用户根据具体的任务或操作要求控制手臂摆动和/或完成各种自然手势。控制肌肉收缩的信号是以电信号的形式沿着脊髓和传出神经进行传导的，伴随着肌肉的收缩，这种生物电信号会在皮肤表面产生电流场，形成肌电信号，不同的手势对应了不同的肌电模式。肌电信号和IMU数据通过信号采集模块100(如：臂带)获取，并传输至上位机，优选地通过蓝牙或者WiFi等无线传输方式传输。自然手势识别与手臂姿态解析模块200(如：上位机信号处理程序)一方面对肌电信号进行模式识别，识别不同种类的自然手势；另一方面，可以通过互补滤波等姿态解算算法解析人体手臂的姿态。其中优选的，可以同时解算来自多个信号采集设备的信息，如前臂和上臂分别佩戴不同的信号采集设备，以得到前臂和上臂各自的姿态以及两者的位置关系，从而计算出各关节自由度的角度信息等，用于机械臂的控制。将解析出的自然手势与手臂姿态输入到机械臂运动控制模块300，该模块可以建立机械臂-手臂物理模型，将手臂的运动参数转化为机械臂的控制参数，从而控制机械臂400运动。机械臂400的控制可以有不同的工作模式，包括末端控制模式和关节控制模式，不同控制模式之间的切换可以通过手势进行。此外，手势还可以控制机械臂末端的机械手爪完成不同的抓取任务。通过以上工作过程，整个***可以一种自然的方式实现人体对机械臂的控制。

接下来参考图3，为本发明中一种多轴机械臂运动控制方法的一个实施例，包括以下步骤：

S1、校准数据采集装置，优选的，佩戴sEMG和IMU的数据测量装置(如：臂带)，并对佩戴的位置和方向进行校准，以便后续手臂运动姿态的分析或解算。

S2、获取表面肌电信号和IMU信息。经过S1校准后，用户佩戴一个或多个臂带并做出动作，如在一定范围内任意摆动手臂，实时采集上臂和/或前臂的运动信息以及肌电信息，也可以通过不同的手势动作切换机械臂的工作模式。优选的，在整个过程中保持电极与皮肤的紧密接触，避免臂带相对手臂发生周向和轴向的滑动，以保证采集信号的质量。集成在信息采集模块中的IMU单元可以实时记录人体手臂的运动数据，该数据可以在一定程度上反映手臂的姿态与位移。

S3、信号预处理并通过无线通讯方式发送。在步骤S2、S3中，用户可以预先设定一些自然手势并按照某种规定或要求进行训练，佩戴在手臂的臂带采集手臂肌肉的肌电信号以及IMU信息，采集到的信号经滤波、放大、A/D转换后经蓝牙/WiFi等传输方式传输至上位机进行处理。sEMG和IMU信号的采集装置具体可以参考上文中对应的描述。其中，对原始信号进行预处理主要包括：对原始信号进行放大，优选的放大倍数为100-500之间；进行带通滤波，优选的通频带为20-450Hz；进行A/D转换并进行数字采样，优选的，肌电采样频率为1000Hz，IMU数据采样频率为50Hz。

S4、进行自然手势识别与手臂姿态解析。在步骤S4中，对于自然手势的识别，整个过程还可以分为训练和使用两个过程。进一步参考图4，首先，用户按照设定的动作模式(如：事先设定好的几类自然手势)进行训练，在训练阶段需要根据训练特征集，得到分类器的参数。具体地说，将采集到的数据分割进行分窗处理，再对分窗数据进行特征提取与特征降维，从而得到训练分类器模型完成分类器训练，优选的，可以重复相应的过程进行多次训练。然后在使用阶段，便可以利用训练得到的分类器对新的肌电信号进行模式分类，识别不同的自然手势，如用户任意做规定的手势，从而输出对应手势的识别结果，并解算手臂姿态，推导各关节转动角度，从而可以用于切换不同的机械臂工作模式，还可以控制机械臂末端执行器。更具体地，对于IMU数据，可以通过互补滤波等算法可以计算得到惯性测量单元的姿态角度信息，从而间接地反映手臂的运动状态。

对于手臂姿态的解算，进行标定后的采集设备中获取的IMU信息可以表征人体手臂的姿态和运动状态，根据互补滤波等姿态解算算法可以得到手臂姿态信息。此外，结合手臂的物理模型可以推算出手臂的空间运动情况。进一步的，在末端控制模式下，可以根据手臂姿态的变化可以计算手臂末端的位移，从而对应机械臂末端的位移；在关节控制模式下，可以根据数据采集模块佩戴的位置、方向以及手臂姿态的变化，解算出手臂各个关节的角度变化信息，这些角度变化的信息对应了机械臂各关节的角度变化。

S5、建立手臂-机械臂物理关系模型，输出机械臂运动控制量。进一步参考图5，在步骤S5中，根据人体手臂与机械臂之间的对应关系(如：关节对应关系、尺寸关系等)，可以建立两者之间的物理关系模型。手臂-机械臂物理关系模型包括关节控制模式和末端控制模式，通过这两种模式实现对机械臂的运动控制。在关节控制模式下，可以根据手臂姿态解算控制机械臂运动的各关节转动量，如在步骤S4中计算得到的手臂关节角度的变化可以按一定比例映射到机械臂的运动控制中；在末端控制模式下，可以输出控制机械臂末端运动的位移信息，末端位移可以反推出控制机械臂各关节转动的控制量。

S6、驱动机械臂运动。根据之前步骤得出的各类控制参数，如控制机械臂各关节的转动量，驱动机械臂进行相应的运动,如执行抓取等各种操作。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (10)

1.一种多轴机械臂运动控制***，其特征在于包括：

机械臂，包括实体机械臂或虚拟机械臂；

信号采集模块，由用户佩戴，被配置为采集表面肌电信号和惯性测量单元信号；

自然手势识别与手臂姿态解析模块，被配置为利用所述信号采集模块获取的表面肌电信号和惯性测量单元信号来识别自然手势并解析手臂姿态；以及

机械臂运动控制模块，被配置为根据所述自然手势识别与手臂姿态解析模块得到的识别和解析结果来控制所述机械臂实现与用户动作相对应的运动；

其中，所述信号采集模块、所述自然手势识别与手臂姿态解析模块、所述机械臂运动控制模块以及所述机械臂之间通信连接。

2.根据权利要求1所述的***，所述信号采集模块还包括表面肌电电极、惯性测量单元信号模块、电源管理模块、信号预处理模块以及无线通讯模块，其特征在于：所述信号采集模块被配置为采集多通道肌电信号，所述惯性测量单元信号模块被配置为提供3轴加速度计、3轴陀螺仪和3轴磁力计信息并集成在所述信号采集模块中。

3.根据权利要求2所述的***，其特征在于所述信号预处理模块还包括前置放大电路、高通滤波电路、低通滤波电路以及A/D转换电路，其中，所述电源管理模块被配置为产生不同幅值的电压为不同的单元模块供电。

4.根据权利要求1所述的***，其特征在于：所述自然手势识别与手臂姿态解析模块被配置为通过对表面肌电信号进行模式分类以识别自然手势，以及对惯性测量单元信号实时解算手臂的空间姿态和运动信息。

5.根据权利要求1所述的***，其特征在于：所述机械臂运动控制模块被配置为通过建立手臂与机械臂之间的物理关系模型将所述自然手势识别与手臂姿态解析模块得到的识别和解析结果转化成控制所述机械臂的控制信息，从而控制机械臂实现与手臂运动相一致的运动，手势识别结果也可用于工作模式的切换。

6.一种多轴机械臂运动控制方法，其特征在于，包括以下步骤：

S1、校准数据采集装置；

S2、获取表面肌电信号与IMU信息；

S3、信号预处理并通过无线通讯方式发送；

S4、进行手势识别与手臂姿态解析；

S5、建立手臂-机械臂物理关系模型，输出机械臂运动控制量；

S6、驱动机械臂运动。

7.根据权利要求6所述的方法，其特征在于，步骤S3中所述信号预处理包括：对原始信号进行放大、带通滤波以及进行A/D转换和数字采样。

8.根据权利要求6所述的方法，其特征在于，步骤S4包括：

S41、数据分窗处理；

S42、对分窗数据进行特征提取与特征降维；

S43、分类器训练与测试；

S44、输出自然手势识别结果；

S45、解算手臂姿态，推导各关节转动角度以及手臂末端位移。

9.根据权利要求6所述的方法，其特征在于，步骤S4还包括：在得到识别结果后通过不同的手势动作切换机械臂的工作模式。

10.根据权利要求6所述的方法，其特征在于，步骤S5中所述建立手臂-机械臂物理关系模型包括：

i)末端控制模式：通过末端的位移反推出控制机械臂各关节转动的控制量；和/或

ii)关节控制模式：将在步骤S4中得到的手臂关节角度的变化按一定比例映射到机械臂的运动控制中。