CN106313072A

CN106313072A - 一种基于Kinect的体感控制的类人型机器人

Info

Publication number: CN106313072A
Application number: CN201610887864.9A
Authority: CN
Inventors: 刘国平; 胡竹; 龚昕蓓; 李松; 黄繁章; 江子奔
Original assignee: Nanchang University
Current assignee: Nanchang University
Priority date: 2016-10-12
Filing date: 2016-10-12
Publication date: 2017-01-11

Abstract

一种基于Kinect的体感控制的类人型机器人由Kinect感知与上位机处理部分、STM32下位机部分，以及人型机械骨架部分三个部分组成。本发明借助Kinect实现更自然，灵活的控制，人机交互友好；机器人具有实时远程模仿控制功能、示教重现功能、手势控制功能三大功能，功能丰富。通过局域网控制，能实现较大范围的远程控制，运动灵活稳定；采用MAXCON公司的RE系列伺服电机控制机械臂，电机上的行星减速器使其能提供大扭矩输出，稳定带动大且重的机械双臂，电机尾部的编码器获得的角速度信息用于机械臂的闭环控制，结合PID算法使机械臂获得精确稳定的姿态，做出来的动作和操作者的动作更相似；娱乐性更强。

Description

一种基于Kinect的体感控制的类人型机器人

技术领域

本发明涉及一种基于Kinect的体感控制的类人型机器人，属于服务型机器人或者类人机器人领域。

背景技术

近年来，机器人技术在持续不断的发展过程中已经广泛应用在航空航天、医疗、教育、服务行业等领域。在这个过程中，机器人由遥不可及变得普通人可以接触到。服务机器人是一种半自主或全自主工作的机器人，它能完成有益于人类健康的服务工作，包括迎宾机器人、教育机器人。

Kinect是微软公司为XBOX360游戏机专门开发的一款体态感知的外部设备，起初名为Natal。利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体控制游戏，并且实现与互联网玩家互动，分享图片、影音信息。具有性价比高，自然而舒适的视觉交互方式等优点使其深受大众喜欢。

现有的服务型机器人比较有代表性的有由日本软银集团和法国AldebaranRobotics研发的Pepper以及法国Aldebaran Robotics研发的NAO机器人。Pepper机器人体型和人类体型差不多，身高4英尺，拥有一个由三个滚轮所组成的旋转底座。它能综合考虑周围环境，并积极主动地作出反应。并且配备了语音识别技术、呈现优美姿态的关节技术，以及分析表情和声调的情绪识别技术，可与人类进行交流。他的动作是基于云端的动作库，不具有实时模仿学***台上编程并且拥有一个开放式的编程构架，所以不同的软件模块可以更好的相互作用，不论使用者的专业水平如何，都能够通过图像编程平台来为NAO机器人编程，深受学生和科研工作者的喜欢，并且国内也有相关研究者将Kinect用于NAO机器人上用于模仿人体动作。但NAO机器人因为体型较小，而且采用了双腿的结构设计，使该机器人不能快速移动，稳定性不太好，可能会出现跌倒现象，使该机器人只能用于家中等比较小的范围内。

发明内容

本发明的发明目的在于针对现有技术不足，提供一种基于Kinect的体感控制的类人型机器人。将更自然的人机交互方式引入服务型机器人，并且将Pepper和NAO机器人的优点进行融合，并且利用Kinect的语音识别功能实现机器人各个功能的切换，使服务型机器人具有更丰富的功能，更自然舒适的人机交互方式应用到机器人上，加强了服务机器人的娱乐性。

本发明所述机器人由Kinect感知与上位机处理部分、STM32下位机部分以及人型机械骨架部分三个部分组成；

所述Kinect感知与上位机处理部分包括Kinect深度传感器模块、四元麦克风阵列语音识别模块和个人PC；

所述Kinect深度传感器模块用于采集人体骨骼信息；语音识别模块用于采集语音命令，用于功能切换；个人PC则是起中间信息桥梁作用，将Kinect深度传感器模块获取的骨骼信息和语音信息经过处理再通过局域网方式发送至STM32下位机部分，交由STM32下位机完成相应功能；

所述STM32下位机部分包括电源、电源板、STM32控制主板和伺服电机控制器；STM32下位机部分获取到局域网中的数据后，通过CAN通信网络控制伺服电机动作；

所述人型机械骨架包括麦克朗姆轮移动底盘、铝方管身体主干骨架、铝合金头部骨架和五自由度钣金机械双臂。

所述麦克朗姆轮移动底盘由四个RE40伺服电机、四个麦克朗姆轮和悬挂机构组成；由RE40伺服电机通过联轴器、阶梯轴、法兰盘与前两个麦克朗姆轮连接，后两个麦克朗姆轮与RE40伺服电机安装在悬挂支架上，悬挂支架一端与底盘机架铰接，另一端与悬挂器铰接，悬挂器再与底盘机架铰接，起到避震防滑的作用；

所述铝方管身体主干骨架由铝方管焊接而成，包括两部分，其一是身体支座与底盘机架用螺栓固定，其二是身体骨架与身体支座铰接，并且与曲柄，连杆组成曲柄摇杆机构，动力由支座上的RE35伺服电机1提供，完成弯腰动作功能；

所述铝合金头部骨架与铝方管身体主干骨架铰接，并由舵机1驱动曲柄摇杆机构完成点头动作；

所述五自由度钣金机械臂的自由度分配分别是胸部的一个使机械臂绕x轴旋转的RE35伺服电机2，肩部的一个使机械臂绕z轴旋转的RE35伺服电机3，肘部有两个自由度，上面的是使肘部下手臂绕y轴旋转的RE25伺服电机1，下面的是使腕部上手臂绕x轴旋转的RE25伺服电机2。腕部有一个使手掌绕y轴旋转的腕部舵机。胸部的RE35伺服电机2直接通过联轴器，阶梯轴带动整个机械臂转动。肩部的RE35伺服电机3的输出轴连接法兰，法兰与肩部机架固定，RE35伺服电机3与肘部上手臂连接，当电机转动，RE35伺服电机3带动自己与肘部上手臂一起转动。肘部上手臂通过推力轴承与肘部下手臂连接，由RE25伺服电机1输出轴直接带动肘部下手臂转动，RE25伺服电机1与肘部上手臂固接；肘部的RE25伺服电机2则连接了个直角换向器，直角换向器的输出轴与肘部下手臂机架固定，RE25伺服电机2转动，带动自身和腕部上手臂转动，RE25伺服电机2与腕部上手臂固接。腕部舵机直接驱动手掌绕y轴旋转。

本发明所述机器人工作过程如下：STM32主控板获取到由上位机通过局域网发送来的数据后，控制相应伺服电机转动。四个RE40伺服电机驱动麦克朗姆轮控制底盘的前进后退与转向。RE35伺服电机1通过曲柄摇杆机构使身体骨架绕身体支座上的支座转动，完成弯腰动作。舵机1通过曲柄摇杆机构使铝合金头部骨架绕身体骨架上的支座转动，完成点头动作。胸部的RE35伺服电机2的输出轴直接带动整个机械臂绕x轴转动。肩部的RE35伺服电机3通过反作用力带动肘部上手臂绕z轴转动。RE25伺服电机1输出轴直接带动肘部下手臂绕y轴转动。肘部的RE25伺服电机2则连接了个直角换向器，通过反作用力带动自身和腕部上手臂绕x轴转动，腕部舵机则直接驱动手掌绕y轴旋转。

本发明中的机器人主要具有以下几个功能：1.实时远程模仿控制功能：进入该功能，你可以在Kinect前做出动作，在远处的机器人实时做出同样的动作，并且搭载在机器人上的摄像头反馈回所处环境的图像至电脑屏幕上作为你控制的参考信息。2.示教重现功能：进入该功能，你可以将在实时模仿功能中比较喜欢的舞蹈动作存储在磁盘中，进入该功能模块可以让该机器人再现你上次存储的动作。3.手势控制功能：进入该功能，你可以利用原先设定的手势指令控制机器人的前进后退，左右移动，刹车等功能，该功能结合实时远程模仿功能可以实现机器人的远程控制。该机器人丰富的功能和自然的交互方式具有很好的娱乐性。

本发明所述机器人具有以下优点：借助Kinect来实现更加自然的交互方式来控制，实现更精确，灵活的控制，人机交互友好；机器人具有实时远程模仿控制功能、示教重现功能、手势控制功能三大功能，功能丰富。并且利用Kinect自身的语音识别进行机器人多功能的切换，方便快捷。采用麦克朗姆轮底盘，使机器人能进行全方位的快速移动，运动更加灵活，稳定。可用于活动范围较大的户外控制。采用MAXCON公司的RE系列伺服电机控制机械臂，电机上的行星减速器使其能提供大扭矩输出，稳定带动大且重的机械双臂，电机尾部的编码器获得的角速度信息用于机械臂的闭环控制，结合PID算法使机械臂获得精确稳定的姿态，做出来的动作和操作者的动作更相似；机器人的体型稍大于成年男子体型,采用铝合金方管搭建身体主干部分的骨架，机械臂部分采用硬铝板搭建，给人带来强大的视觉冲击，娱乐性更强。

附图说明

图1是本发明中基于Kinect的体感控制的类人型机器人程序框架图；

图2是本发明中基于Kinect的体感控制的类人型机器人的斜轴侧视图；

图3是本发明中基于Kinect的体感控制的类人型机器人的主视图；

图4是本发明中基于Kinect的体感控制的类人型机器人的右视图（拆去左臂及其电机）；

图5是本发明中基于Kinect的体感控制的类人型机器人左臂的主视图；

图6是本发明中基于Kinect的体感控制的类人型机器人左臂的左视图；

图7是本发明中基于Kinect的体感控制的类人型机器人底盘的主视图；

图中：1-RE40伺服电机，2-麦克朗姆轮，3-悬挂支架，4-悬挂器，5-底盘机架，6-身体骨架，7-身体支座，8- RE35伺服电机1，9-铝合金头部骨架，10-舵机1，11-推力轴承，12- RE35伺服电机2，13- RE35伺服电机3，14- RE25伺服电机1，15- RE25伺服电机2，16-腕部舵机，17-法兰，18-直角换向器，19-手掌。

具体实施方式

结合附图，对发明作如下说明

如图1和图2所示，本发明所述机器人由Kinect感知与上位机处理部分、STM32下位机部分以及人型机械骨架部分三个部分组成；

麦克朗姆轮移动底盘由四个RE40伺服电机（1）和麦克朗姆轮（2），悬挂机构组成，前两个麦克朗姆轮（2）由RE40伺服电机（1）通过联轴器，阶梯轴，法兰盘与麦克朗姆轮连接，后两个麦克朗姆轮（2）与RE40伺服电机（1）安装在悬挂支架（3）上，悬挂支架一端与底盘机架（5）铰接，另一端与悬挂器（4）铰接，悬挂器（4）再与底盘机架（5）铰接，起到避震防滑的作用。铝方管身体骨架则是由铝方管焊接而成，有两部分，一是身体支座（7）与底盘机架（5）用螺栓固定，二是身体骨架（6）与身体支座（7）铰接，并且与曲柄，连杆组成曲柄摇杆机构，动力由身体支座（7）上的RE35伺服电机1（8）提供，完成弯腰动作功能。铝合金头部骨架（9）与身体骨架（6）铰接，并由舵机1（10）驱动曲柄摇杆机构完成点头动作。五自由度钣金机械臂的自由度分配分别是胸部的一个使机械臂绕x轴旋转的RE35伺服电机2（12），肩部的一个使机械臂绕z轴旋转的RE35伺服电机3（13），肘部有两个自由度，上面的是使肘部下手臂绕y轴旋转的RE25伺服电机1（14），下面的是使腕部上手臂绕x轴旋转的RE25伺服电机2（15）。腕部有一个使手掌（19）绕y轴旋转的腕部舵机（16）。胸部的RE35伺服电机2（12）直接通过联轴器，阶梯轴带动整个机械臂转动。肩部的RE35伺服电机3（13）的输出轴连接法兰（17），法兰（17）与肩部机架固定，RE35伺服电机3（13）与肘部上手臂连接，当电机转动，RE35伺服电机3（13）带动自己与肘部上手臂一起转动。肘部上手臂通过推力轴承（11）与肘部下手臂连接，由RE25伺服电机1（14）输出轴直接带动肘部下手臂转动，RE25伺服电机1（14）与肘部上手臂固接；肘部的RE25伺服电机2（15）则连接了个直角换向器（18），直角换向器（18）的输出轴与肘部下手臂机架固定，RE25伺服电机2（15）转动，带动自身和腕部上手臂转动，RE25伺服电机2（15）与腕部上手臂固接。腕部舵机（16）直接驱动手掌（19）绕y轴旋转。

如图1，在一个实施例中，机器人启动时进入的是语音模块，当接受到语音命令“Change Mode”时，语音触发，进入选择功能界面，发出语音命令“实时模仿功能”进入实时模仿模块，Kinect开始获取人体骨骼点信息，由个人PC端处理Kinect获取的深度信息，利用各骨骼点在Kinect坐标系里的绝对坐标计算出各关节电机的旋转角度，通过局域网发送至STM32下位机，STM32通过CAN总线通信根据伺服电机的ID号发送各个伺服电机旋转角度。RE35伺服电机1（8）通过曲柄摇杆机构使身体骨架（6）绕身体支座上（7）的支座转动，完成弯腰动作。舵机1（10）通过曲柄摇杆机构使铝合金头部骨架（9）绕身体骨架（6）上的支座转动，完成点头动作。胸部的RE35伺服电机2（12）的输出轴直接带动整个机械臂绕x轴转动。肩部的RE35伺服电机3（13）通过反作用力带动肘部上手臂绕z轴转动。RE25伺服电机1（14）输出轴直接带动肘部下手臂绕y轴转动。肘部的RE25伺服电机2（15）则连接了个直角换向器（18），通过反作用力带动自身和腕部上手臂绕x轴转动。腕部舵机（16）则直接驱动手掌（19）绕y轴旋转。完成实时模仿功能。

如图1，在一个实施例中，机器人启动时进入的是语音模块，当接受到语音命令“Change Mode”时，语音触发，进入选择功能界面，发出语音命令“示教再现功能”进入示教再现模块，Kinect开始获取人体骨骼点信息，由个人PC端完成坐标转换，利用各骨骼点在Kinect坐标系里的绝对坐标计算出各关节电机的旋转角度，并将这些角度信息以时间链方式记录存进缓冲区，若过程中有语音命令“Save Action”，则将缓冲区的信息存入个人PC的磁盘，若过程中有语音命令“End Save”，则清除缓冲区，延时3秒后再次进入学习模式。“Save Action”命令执行完后，机器人手臂先复位至初始状态，然后个人PC通过局域网将磁盘里的电机角度发送至STM32下位机，STM32通过CAN总线通信根据伺服电机的ID号发送各个伺服电机旋转角度。RE35伺服电机1（8）通过曲柄摇杆机构使身体骨架（6）绕身体支座上（7）的支座转动，完成弯腰动作。舵机1（10）通过曲柄摇杆机构使铝合金头部骨架（9）绕身体骨架（6）上的支座转动，完成点头动作。胸部的RE35伺服电机2（12）的输出轴直接带动整个机械臂绕x轴转动。肩部的RE35伺服电机3（13）通过反作用力带动肘部上手臂绕z轴转动。RE25伺服电机1（14）输出轴直接带动肘部下手臂绕y轴转动。肘部的RE25伺服电机2（15）则连接了个直角换向器（18），通过反作用力带动自身和腕部上手臂绕x轴转动。腕部舵机（16）则直接驱动手掌（19）绕y轴旋转。机器人不断重复作这个存储的动作信息，直至再次有语音触发命令输入。完成示教重现功能。

如图1，在一个实施例中，机器人启动时进入的是语音模块，当接受到语音命令“Change Mode”时，语音触发，进入选择功能界面，发出语音命令“手势控制功能”进入手势控制模块模块，Kinect开始获取人体骨骼点信息，STM32主控板获取到由上位机通过局域网发送来的数据后，控制相应伺服电机转动。四个RE40伺服电机（1）驱动麦克朗姆轮控制底盘的前进后退与转向。当操作员左手上举，右手下垂，四个RE40伺服电机（1）均正转，机器人前进；当操作员左手下垂，右手上举，四个RE40伺服电机（1）均反转，机器人后退；当操作员左手，右手均下垂时，四个RE40伺服电机（1）均自锁，机器人开始刹车停止；当操作员左手向左平伸，掌心向前张开，右手下垂时，左前方和右后方RE40伺服电机（1）反转后退，左后方和右前方RE40伺服电机（1）正转前进，机器人向左平动；当操作员左手向左平伸，拳头握紧，右手下垂时，左前方和左后方RE40伺服电机（1）反转后退，右前方和右后方RE40伺服电机（1）正转前进，机器人向左转动；当操作员右手向右平伸，掌心向前张开，左手下垂时，左前方和右后方RE40伺服电机（1）正转前进，左后方和右前方RE40伺服电机（1）反转后退，机器人向右平动。当操作员右手向右平伸，拳头握紧，左手下垂时，右前方和右后方RE40伺服电机（1）反转后退，左前方和左后方RE40伺服电机（1）正转前进，机器人向右转动，完成手势控制功能。

Claims

1.一种基于Kinect的体感控制的类人型机器人，其特征在于：所述机器人由Kinect感知与上位机处理部分、STM32下位机部分以及人型机械骨架部分三个部分组成；

2.根据权利要求1所述的一种基于Kinect的体感控制的类人型机器人，其特征在于：所述麦克朗姆轮移动底盘由四个RE40伺服电机、四个麦克朗姆轮和悬挂机构组成；由RE40伺服电机通过联轴器、阶梯轴、法兰盘与前两个麦克朗姆轮连接，后两个麦克朗姆轮与RE40伺服电机安装在悬挂支架上，悬挂支架一端与底盘机架铰接，另一端与悬挂器铰接，悬挂器再与底盘机架铰接，起到避震防滑的作用。

3.根据权利要求1所述的一种基于Kinect的体感控制的类人型机器人，其特征在于：所述铝方管身体主干骨架由铝方管焊接而成，包括两部分，其一是身体支座与底盘机架用螺栓固定，其二是身体骨架与身体支座铰接，并且与曲柄，连杆组成曲柄摇杆机构，动力由支座上的RE35伺服电机1提供，完成弯腰动作功能。

4.根据权利要求1所述的一种基于Kinect的体感控制的类人型机器人，其特征在于：所述铝合金头部骨架与铝方管身体主干骨架铰接，并由舵机1驱动曲柄摇杆机构完成点头动作。

5.根据权利要求1所述的一种基于Kinect的体感控制的类人型机器人，其特征在于：所述五自由度钣金机械臂的自由度分配分别是胸部的一个使机械臂绕x轴旋转的RE35伺服电机2，肩部的一个使机械臂绕z轴旋转的RE35伺服电机3，肘部有两个自由度，上面的是使肘部下手臂绕y轴旋转的RE25伺服电机1，下面的是使腕部上手臂绕x轴旋转的RE25伺服电机2，腕部有一个使手掌绕y轴旋转的腕部舵机，胸部的RE35伺服电机2直接通过联轴器，阶梯轴带动整个机械臂转动，肩部的RE35伺服电机3的输出轴连接法兰，法兰与肩部机架固定，RE35伺服电机3与肘部上手臂连接，当电机转动，RE35伺服电机3带动自己与肘部上手臂一起转动，肘部上手臂通过推力轴承与肘部下手臂连接，由RE25伺服电机1输出轴直接带动肘部下手臂转动，RE25伺服电机1与肘部上手臂固接；肘部的RE25伺服电机2则连接了个直角换向器，直角换向器的输出轴与肘部下手臂机架固定，RE25伺服电机2转动，带动自身和腕部上手臂转动，RE25伺服电机2与腕部上手臂固接，腕部舵机直接驱动手掌绕y轴旋转。