CN106826838B - 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 - Google Patents

Abstract

本发明公开了一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法，通过搭建多自由度的仿生机械臂和机械手，以中央处理器作为控制板，将其分别与驱动板、Kinect视觉深度传感器相连接；Kinect视觉深度传感器包括RGB摄像机、空间深度摄像机和语音检测电路；Kinect视觉深度传感器识别辨别目标人手臂的二维肢体轮廓，获取肢体轮廓的二维信息；控制板将接收的信息解算，获得仿生机械臂的位置、角度、速度信息，转化成控制指令；驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成跟随目标人手臂的动作，完成肢体模仿控制。本发明可以根据kinect传感器获得的人体动作数据及语音指令，通过解算完成一系列对应的空间位置变换，实现包括肢体模仿控制、语音控制以及实时人机动作交互。

Description

一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法

技术领域

本发明属于机器人技术领域，涉及一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法。

背景技术

机器人可以分为专业领域服务机器人和个人/家庭服务机器人，机器人的应用范围很广，主要从事维护保养、修理、运输、清洗、保安、救援、监护等工作。机械手臂是机械人技术领域中得到最广泛实际应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造以及太空探索等领域都能见到它的身影。仿生机械臂应用范围广泛，常常与机器人配合使用，是机器人家族中的一个重要组成部分。

对于机器人来说，仿生机械臂很重要，它通过相应的动作可以完成不同任务，更好地为人服务，或实现交互娱乐等功能。多自由度的机械臂更为灵活，同时配合灵巧仿生手，运用多传感器技术，能够更好地为人服务，满足各种机器人灵活的要求。

发明内容

本发明解决的问题在于提供一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法，实现仿生机械臂的肢体模仿控制、语音控制以及实时人机动作交互及协作。

本发明是通过以下技术方案来实现：

一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法，包括以下操作：

1)搭建多自由度的仿生机械臂和机械手，其中的关节由电机驱动，手指由舵机拉线牵引，电机和舵机分别由驱动板提供动力源；

2)以中央处理器作为控制板，将其分别与驱动板、Kinect视觉深度传感器相连接；Kinect视觉深度传感器包括RGB摄像机、空间深度摄像机和语音检测电路；

3)Kinect视觉深度传感器识别辨别目标人手臂的二维肢体轮廓，获取肢体轮廓的二维信息；利用空间深度摄像机捕获的空间深度信息，将肢体轮廓的二维信息扩展为三维空间方位信息，然后将三维空间方位信息作为肢体模仿的输入信息发送给控制板；

4)控制板将接收的信息解算，获得仿生机械臂的位置、角度、速度信息，转化成控制指令，发送给驱动板；

5)驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成跟随目标人手臂的动作，完成肢体模仿控制。

所述的Kinect视觉深度传感器的语音检测电路还接收目标声波信号，并将其转化为二进制量化数据发送给控制板；

控制板将接收的信息解算后识别目标声波信号的语音指令内容，再根据语音指令内容调取相应的控制指令传输给驱动板，控制指令为预置的能够完成指定动作的机械臂控制代码；

驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成语音指令内容，完成语音控制。

将肢体模仿控制和语音控制相结合，完成实时人机动作交互：

Kinect视觉深度传感器捕获交互目标的肢体动作的同时，还接收交互目标的语音指令，将捕获的信号发送给控制板；

控制板将交互目标肢体动作和语音指令结合起来，控制板优先生成肢体模仿控制指令，在完成模仿控制指令的同时响应语音指令；

驱动板根据指令内容与人实时协作或人机实时交互。

所述的Kinect视觉深度传感器通过对目标即时采集，对人肢体动作连续采集识别，获得的肢体三维空间方位信息；

控制板将肢体关节和骨骼分别映射为三维空间中的节点及连杆，关节位置对应节点坐标，骨骼长度对应连杆长度；然后解算获得相应的目标肢体动作的方位、角度、速度信息；解算出包括对应仿生机械臂各个关节自由度在内的控制指令数据，将控制指令数据传输给控制板，实现仿生机械臂对目标肢体动作的模仿。

所述的控制板收到的信息为视觉深度传感器采集的RGB彩色图像和空间深度信息，其中Kinect作为视觉深度传感器，只负责图像采集和空间深度信息采集，不参与解算过程；

控制板接收传输的信息后进行实时解算：

21)由RGB图像信息进行灰度梯度分析，识别物体轮廓；

22)对物体轮廓进行分类，识别出属于人体外貌的轮廓特征；

23)根据人体轮廓图像，确定人体肢体骨骼走向及关节位置，转化为连杆和节点坐标，此时获得的是二位平面上的数据；

24)控制器处理深度传感器信息，由深度传感器的空间深度数据，确定步骤23)中节点坐标与传感器的距离，在步骤23)中解算的二维坐标中加入第三个维度作为深度维度，形成三维空间中笛卡尔坐标系下的三坐标数据；

25)通过空间几何方法，获得每一节点处连杆之间的夹角，即实际对应的人肢体关节弯曲程度；

26)将夹角数据经过映射，变换为机械臂各个关节的角度数据；

27)步骤21-26实时进行，所形成的关节的角度数据连续变化，根据连续变化的数据计算各个电机/舵机所需的运行状态，形成动作指令，即静止在指定位置或以指令速度运动；

28)图像和深度数据解算过程中，如接收到交互对象有效的语音指令，则在此步骤将语音指令的解算结果加入动作指令；

29)将机械臂各个关节的动作指令分别发送给相对应关节的驱动器，由驱动器驱动执行电机/舵机运动。

所述的驱动板根据电机或舵机额定电压和电流提供动力，根据接收控制板的控制信号，传输相应的电压给电机或舵机，使电机和舵机到达指定的位置或按照指定速度移动，完成机械臂的动作。

所述的控制板接收Kinect麦克风采集的声音数据，语音指令解算分为语音识别和指令转化，将麦克风采集到的声音数据识别为具体的语句和文字，供指令转化使用；

所述的指令转化为：首先判断语音识别出的语句关键词是否有效，有效的判定为与指令库中的数据匹配，匹配到目标则为有效；

指令库中的数据特征值由用户对数据库进行编写，包含但不仅限于：停止、启动、跟随、避让、X关节移动到Y处；

获取到的有效语句关键词转化为动作指令采用数据库查询的方式，由预置在数据库中的对应动作决定动作指令输出。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，可以根据kinect传感器获得的人体动作数据及语音指令，通过解算完成一系列对应的空间位置变换，实现对机械臂的控制。控制方式包括肢体模仿控制、语音控制以及实时人机动作交互。

本发明利用传感器获得的肢体三维空间方位信息，将肢体关节和骨骼分别映射为三维空间中的节点及连杆，关节位置对应节点坐标，骨骼长度对应连杆长度。算获得相应的人肢体动作的方位、角度、速度等信息；再通过对应仿生机械臂各个关节自由度的指令数据，将获得的数据传输给机械臂的控制电路，实现机械臂对人肢体动作的模仿。

本发明在语音控制中，利用语音检测电路将声波信号转化为二进制量化数据，通过解算识别语音指令内容，如“你好”“谢谢”“再见”等，将这些语音信息转换为特定的控制指令传输给控制电路，实现机械臂的挥手、招手、握手等简单动作。

在实时人机动作交互控制住中，是在以上两种控制方式的基础上，将与机械臂互动对象的肢体动作和语音指令结合起来，根据指令内容与人实时协作或人机实时交互，在完成指令任务的同时响应人的语音及肢体信息，如人机传递物品，避免碰撞伤害人类等。

附图说明

图1为仿生机械臂示意图。

图2为本发明的连接示意图。

图3为本发明的工作流程图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参见图1～图3，一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法，包括以下操作：

1)搭建多自由度的仿生机械臂和机械手，其中的关节由电机驱动，手指由舵机拉线牵引，电机和舵机分别由驱动板提供动力源；

2)以中央处理器作为控制板，将其分别与驱动板、Kinect视觉深度传感器相连接；Kinect视觉深度传感器包括RGB摄像机、空间深度摄像机和语音检测电路；

3)Kinect视觉深度传感器识别辨别目标人手臂的二维肢体轮廓，获取肢体轮廓的二维信息；利用空间深度摄像机捕获的空间深度信息，将肢体轮廓的二维信息扩展为三维空间方位信息，然后将三维空间方位信息作为肢体模仿的输入信息发送给控制板；

4)控制板将接收的信息解算，获得仿生机械臂的位置、角度、速度信息，转化成控制指令，发送给驱动板；

5)驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成跟随目标人手臂的动作，完成肢体模仿控制。

所述的Kinect视觉深度传感器的语音检测电路还接收目标声波信号，并将其转化为二进制量化数据发送给控制板；

控制板将接收的信息解算后识别目标声波信号的语音指令内容，再根据语音指令内容调取相应的控制指令传输给驱动板，控制指令为预置的能够完成指定动作的机械臂控制代码；

驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成语音指令内容，完成语音控制。

将肢体模仿控制和语音控制相结合，完成实时人机动作交互：

Kinect视觉深度传感器捕获交互目标的肢体动作的同时，还接收交互目标的语音指令，将捕获的信号发送给控制板；

控制板将交互目标肢体动作和语音指令结合起来，控制板优先生成肢体模仿控制指令，在完成模仿控制指令的同时响应语音指令；

驱动板根据指令内容与人实时协作或人机实时交互。

下面对各部分进一步详细的说明。

Kinect传感器包括RGB摄像机、空间深度摄像机及语音检测电路。其中，RGB摄像机识别辨别人的二维肢体轮廓，同时利用空间深度信息可将肢体轮廓的二维信息扩展为三维空间方位信息。然后将三维空间数据作为肢体模仿控制、实时人机动作交互的输入信息；利用语音检测电路将声波信号转化为二进制量化数据，通过解算识别语音指令内容。Kinect作为视觉深度传感器，只负责图像采集和空间深度信息采集，不参与解算过程，其数据采集过程可由其他厂家的视觉深度传感器代替。

控制器有主控板和驱动板组成。主控板接收Kinect传输的RGB图像信息、空间深度信息以及语音数据，完成数据解算过程，可以根据获得人手臂动作的位置、角度、速度等信息，输出机械臂关节电机的驱动信号，完成机械手臂的动作，也可以接收语音信息的特定控制指令，输出机械臂关节电机的动作，完成简单的人机交互动作。

驱动板根据电机或舵机额定电压和电流提供动力，根据接收控制板的控制信号，传输相应的电压给电机或舵机，使电机和舵机到达指定的位置或按照指定速度移动，完成机械臂的动作。

本发明使用的机械臂为仿生机械臂，模仿人体上肢，由肩关节、大臂、肘关节、小臂、腕关节和灵巧手组成，每个关节都由电机驱动，灵巧手手指由舵机拉线牵引。

在肢体模仿控制中，使用传感器的即时采集功能对人肢体动作连续采集识别，利用传感器获得的肢体三维空间方位信息，将肢体关节和骨骼分别映射为三维空间中的节点及连杆，关节位置对应节点坐标，骨骼长度对应连杆长度。之后中央处理器解算获得相应的人肢体动作的方位、角度、速度等信息。然后，进一步解算出对应仿生机械臂各个关节自由度的指令数据，将获得的数据传输给机械臂的控制电路，实现机械臂对人肢体动作的模仿。

控制板收到的信息为视觉深度传感器采集的RGB彩色图像和空间深度信息，其中Kinect作为视觉深度传感器，只负责图像采集和空间深度信息采集，不参与解算过程；，其数据采集过程可由其他厂家的视觉深度传感器代替。

控制板接收传输的信息后进行实时解算：

21)由RGB图像信息进行灰度梯度分析，识别物体轮廓；

22)对物体轮廓进行分类，识别出属于人体外貌的轮廓特征；

23)根据人体轮廓图像，确定人体肢体骨骼走向及关节位置，转化为连杆和节点坐标，此时获得的是二位平面上的数据；

24)控制器处理深度传感器信息，由深度传感器的空间深度数据，确定步骤23)中节点坐标与传感器的距离，在步骤23)中解算的二维坐标中加入第三个维度作为深度维度，形成三维空间中笛卡尔坐标系下的三坐标数据；

25)通过空间几何方法，获得每一节点处连杆之间的夹角，即实际对应的人肢体关节弯曲程度；

26)将夹角数据经过映射，变换为机械臂各个关节的角度数据；

27)步骤21-26实时进行，所形成的关节的角度数据连续变化，根据连续变化的数据计算各个电机/舵机所需的运行状态，形成动作指令，即静止在指定位置或以指令速度运动；

28)图像和深度数据解算过程中，如接收到交互对象有效的语音指令，则在此步骤将语音指令的解算结果加入动作指令；

29)将机械臂各个关节的动作指令分别发送给相对应关节的驱动器，由驱动器驱动执行电机/舵机运动。

在语音控制中，利用语音检测电路将声波信号转化为二进制量化数据，通过解算识别语音指令内容，如“你好”“谢谢”“再见”等，将这些语音信息转换为特定的控制指令传输给控制电路，实现机械臂的挥手、招手、握手等简单动作，其控制指令为预置的能够完成指定动作的机械臂控制代码。

控制器接收Kinect麦克风采集的声音数据。其中Kinect本身包含麦克风，在这里只用作语音采集，可以由其他厂家同类型麦克风替代。解算过程由控制器完成。语音指令解算分为语音识别和指令转化。其中语音识别技术较为成熟且开源，这里直接使用，将麦克风采集到的声音数据识别为具体的语句和文字，供指令转化使用。

所述的控制板接收Kinect麦克风采集的声音数据，语音指令解算分为语音识别和指令转化，将麦克风采集到的声音数据识别为具体的语句和文字，供指令转化使用；

所述的指令转化为：首先判断语音识别出的语句关键词是否有效，有效的判定为与指令库中的数据匹配，匹配到目标则为有效；

指令库中的数据特征值由用户对数据库进行编写，包含但不仅限于：停止、启动、跟随、避让、X关节移动到Y处；

获取到的有效语句关键词转化为动作指令采用数据库查询的方式，由预置在数据库中的对应动作决定动作指令输出。

在实时人机动作交互控制住中，是在以上两种控制方式的基础上，将与机械臂互动对象的肢体动作和语音指令结合起来，根据指令内容与人实时协作或人机实时交互，在完成指令任务的同时响应人的语音及肢体信息，如人机传递物品，避免碰撞伤害人类等。

下面给出具体的实施例。

步骤一：搭建多自由度的机械臂与机械手，如图1、图2所示；

步骤二：用中央处理器作为控制板与驱动板连接，开发机械手的控制程序。

步骤三：控制板与kinect传感器相连，使用体感程序完成人体动作捕捉，将人上肢姿态通过算法还原成手臂各个关节运动角度和角速度等信息，转化成机械臂控制指令，通过通信传输给控制板。

步骤四：控制板收到机械臂控制指令以后，解码转换为机械臂的每个关节的运动信息，控制各个关节配合完成跟随人手臂的动作或者完成人机交互。

以上给出的实施例是实现本发明较优的例子，本发明不限于上述实施例。本领域的技术人员根据本发明技术方案的技术特征所做出的任何非本质的添加、替换，均属于本发明的保护范围。

Claims (5)

1.一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，包括以下操作：

1)搭建多自由度的仿生机械臂和机械手，其中的关节由电机驱动，手指由舵机拉线牵引，电机和舵机分别由驱动板提供动力源；

2)以中央处理器作为控制板，将其分别与驱动板、Kinect视觉深度传感器相连接；Kinect视觉深度传感器包括RGB摄像机、空间深度摄像机和语音检测电路；

3)Kinect视觉深度传感器识别辨别目标人手臂的二维肢体轮廓，获取肢体轮廓的二维信息；利用空间深度摄像机捕获的空间深度信息，将肢体轮廓的二维信息扩展为三维空间方位信息，然后将三维空间方位信息作为肢体模仿的输入信息发送给控制板；

4)控制板将接收的信息解算，获得仿生机械臂的位置、角度、速度信息，转化成控制指令，发送给驱动板；

5)驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成跟随目标人手臂的动作，完成肢体模仿控制；

所述的驱动板根据电机或舵机额定电压和电流提供动力，根据接收控制板的控制信号，传输相应的电压给电机或舵机，使电机和舵机到达指定的位置或按照指定速度移动，完成机械臂的动作。

所述的控制板接收Kinect麦克风采集的声音数据，语音指令解算分为语音识别和指令转化，将麦克风采集到的声音数据识别为具体的语句和文字，供指令转化使用；

所述的指令转化为：首先判断语音识别出的语句关键词是否有效，有效的判定为与指令库中的数据匹配，匹配到目标则为有效；

指令库中的数据特征值由用户对数据库进行编写，包含但不仅限于：停止、启动、跟随、避让、X关节移动到Y处；

获取到的有效语句关键词转化为动作指令采用数据库查询的方式，由预置在数据库中的对应动作决定动作指令输出。

2.如权利要求1所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，所述的Kinect视觉深度传感器的语音检测电路还接收目标声波信号，并将其转化为二进制量化数据发送给控制板；

控制板将接收的信息解算后识别目标声波信号的语音指令内容，再根据语音指令内容调取相应的控制指令传输给驱动板，控制指令为预置的能够完成指定动作的机械臂控制代码；

驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成语音指令内容，完成语音控制。

3.如权利要求2所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，将肢体模仿控制和语音控制相结合，完成实时人机动作交互：

Kinect视觉深度传感器捕获交互目标的肢体动作的同时，还接收交互目标的语音指令，将捕获的信号发送给控制板；

控制板将交互目标肢体动作和语音指令结合起来，控制板优先生成肢体模仿控制指令，在完成模仿控制指令的同时响应语音指令；

驱动板根据指令内容与人实时协作或人机实时交互。

4.如权利要求1所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，所述的Kinect视觉深度传感器通过对目标即时采集，对人肢体动作连续采集识别，获得的肢体三维空间方位信息；

控制板将肢体关节和骨骼分别映射为三维空间中的节点及连杆，关节位置对应节点坐标，骨骼长度对应连杆长度；然后解算获得相应的目标肢体动作的方位、角度、速度信息；解算出包括对应仿生机械臂各个关节自由度在内的控制指令数据，将控制指令数据传输给控制板，实现仿生机械臂对目标肢体动作的模仿。

5.如权利要求1或4所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，控制板收到的信息为视觉深度传感器采集的RGB彩色图像和空间深度信息，其中Kinect作为视觉深度传感器，只负责图像采集和空间深度信息采集，不参与解算过程；

控制板接收传输的信息后进行实时解算：

21)由RGB图像信息进行灰度梯度分析，识别物体轮廓；

22)对物体轮廓进行分类，识别出属于人体外貌的轮廓特征；

23)根据人体轮廓图像，确定人体肢体骨骼走向及关节位置，转化为连杆和节点坐标，此时获得的是二位平面上的数据；

24)控制器处理深度传感器信息，由深度传感器的空间深度数据，确定步骤23)中节点坐标与传感器的距离，在步骤23)中解算的二维坐标中加入第三个维度作为深度维度，形成三维空间中笛卡尔坐标系下的三坐标数据；

25)通过空间几何方法，获得每一节点处连杆之间的夹角，即实际对应的人肢体关节弯曲程度；

26)将夹角数据经过映射，变换为机械臂各个关节的角度数据；

27)步骤21-26实时进行，所形成的关节的角度数据连续变化，根据连续变化的数据计算各个电机/舵机所需的运行状态，形成动作指令，即静止在指定位置或以指令速度运动；

28)图像和深度数据解算过程中，如接收到交互对象有效的语音指令，则在此步骤将语音指令的解算结果加入动作指令；

29)将机械臂各个关节的动作指令分别发送给相对应关节的驱动器，由驱动器驱动执行电机/舵机运动。