CN102814814A

CN102814814A - 一种双臂机器人基于Kinect的人机交互方法

Info

Publication number: CN102814814A
Application number: CN2012102673153A
Authority: CN
Inventors: 张平; 杜广龙; 李泽玲
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2012-07-31
Filing date: 2012-07-31
Publication date: 2012-12-12
Anticipated expiration: 2032-07-31
Also published as: CN102814814B

Abstract

本发明公开了一种不接触的双臂机器人基于Kinect的人机交互方法，它允许操作者通过自然的人手三维动作控制六自由度虚拟机器人来完成操作任务；该范明基于视觉的人机交互来帮助操作者控制机器人、了解机器人动作和周围环境。该发明实现了基于视觉引导的半自主共享控制，而视觉引导的半自主共享控制则使得具有目标抓取任务的末端执行器获得了更精确的位置和范围，使得抓取更精确。

Description

一种双臂机器人基于Kinect的人机交互方法

技术领域

本发明涉及人机交互技术领域，特别涉及一种双臂机器人基于Kinect的人机交互方法。

背景技术

当人类不适合出现在机器人现场时，在非结构化动态环境中利用操作员操纵远程机器人是十分必要的。

为达成目标操作任务，遥操作使用的机械和其他接触接口需要不自然的人类动作，它们往往会妨碍人体动作。

现有的基于视觉的人机交换方式要么只用到人手的少数自由度,要么需要操作者做大幅度运动,操作起来非常费力。

通常使用的遥操作机械式人机接口包括了多种操作员佩戴的装置，比如骨骼式机械装置，工具手套，电磁或惯性动作跟踪传感器，或者肌电灵敏度传感器。然而，这些佩戴的装置，传感器还有它们的连线可能妨碍操作员灵活的动作。其他接触式的接口比如仿机器人机械手，转盘，摇杆，电脑鼠标和计算机图形界面等都需要操作员不自然的动作或者需要操作者学习如何操作。基于视觉的交互技术使用了手势识别和语音识别结合的控制方式，它允许操作者更自然直观的给出命令而没有物理装置上的限制。然而在这种控制下，被控的机器人的动作都是由一些简单的命令组成，比如确定末端执行器的位置和方位，抓取还有一系列更小的任务如上移下移，旋转，暂停，继续还有改变操作的模式。当要求的机器人操作器动作的复杂度比较高的时候，这个技术都会难以操作。单摄像头的手部动作跟踪已经被应用在机器人遥操作和遥操作的模拟上。然而，动作命令只局限在真正的末端执行器自由度的子集里。此外，那些与特定的操作任务无关的手势被用来改变机器人的操作模式，所以这些都造成了操作任务的交流不自然。理想地，一种自然的不用将复杂的任务分解为有限指令和没有接触式物理装置限制的方法被人们所需要。

发明内容

本发明的发明目的是针对现有人机交互方法的技术不足，提供一种双臂机器人基于Kinect的人机交互方法。

为实现上述发明目的，本发明采用的技术方案为：

提供一种双臂机器人基于Kinect的人机交互方法，其中,Kinect为3D体感摄影机；包括以下步骤：

S1、通过3D体感摄影机对操作者的手臂建立坐标系；

S2、通过计算机对操作者的手臂图像进行骨架提取；

S3、通过包含了手臂的图像分析确定食指和拇指的位置；

S4、使用临界阻尼振动模型解决突变问题；

S5、使用过阻尼振动模型进行抖动处理。

优选地，所述步骤S1包括：

S11、首先建立基本坐标系，标定食指尖，拇指尖，食指尖和拇指尖之间的部位为还有上手臂为。

优选地，所述步骤S2包括以下步骤：

S21、使用Kinect获取深度图像，对深度图像进行骨架提取。

优选地，所述步骤S3包括以下步骤：

S31、设操作者的手臂映射点为P，其中，不同的部位标注为P1~ PN；首先建立手掌包围盒：先连接P4与P5得到连线P45；然后以P5为底面中心点，连线P45为中心轴；建立一个长为L，宽为W，高为H的手掌包围盒B；通过统计发现，该手掌包围盒B若要将手掌包围其中； L，W和H只的取值如下：

（1）；其中，

为线段P45的长度；

S32、对手掌包围盒B中的所有点B’,计算其到P5之间的距离,则B2点为包围盒B中离P5最远的点：

（2）；

S33、连接P5与B2得到连线PB，对于包围盒B中的所有点B’，计算其到连线PB的距离，则B1点为包围盒B中离连线PB最远的点：

（3）

S34、选取胳膊人体手臂关节点作为参考点，在左胳膊点上建立左参考系

,

,

，在右胳膊点上建立右参考系，

,

；

则P8相对于左参考系

,

,

的坐标为：

（4）；

P5相对于右参考系

，

,

的坐标为：

（5）；

S35、左手到左机器人运动空间映射点的计算；右手到右机器人运动空间映射点的计算；

其中，设左手相对于左肩膀的运动空间为: ,

,

；左机器人的运动空间为：

,

,

；则左手到左机器人运动空间映射点为：

（6）；

其中，设右手相对于右肩膀的运动空间为：

,

,

，右机器人的运动空间为：

,

,

；则右手到右机器人运动空间映射点为：

（7）。

优选地，所述步骤S4包括以下步骤：

S41、在手臂映射点P与机器人末端E之间虚拟弹性力F，并虚拟机械手末端质量为M；手臂映射点P位置并不是直接等同于机械手末端E，而是通过弹性力F来拉拢；其中，手臂映射点P作为驱动源，机械手末端E作为被驱动对象，弹性力F作用于机械手末端E上使得机械手末端E趋向手臂映射点P；弹性力F满足以下关系：

（8）；

其中，K为胡克系数，

为弹性力F的作用范围半径，D为手臂映射点与机器人末端E的距离；当手臂映射点与机器人末端的距离超过时，则机械手末端不再受到弹性力F牵引；故当出现人体手臂关节点提取失败或错误的时候，人体手臂关节点前后位置出现突变，导致手臂映射点P也发生突变现象；此时，手臂映射点P与机械手末端E的距离必定大于

，弹性力F为0，则机械手末端E不再受手臂映射点P牵引，从而过滤了人体手臂关节点提取失败或错误带来的突变影响；

S42、若弹性力F为0时，机械手末端E继续运动，则会导致***不可控；为防止上述情况，在机械手末端E虚拟阻力μ，阻力μ满足如下关系：

（9）；其中，

为阻尼系数，

；

当机械手末端E与手臂映射点P的距离小于

时，阻力μ与两点的相对速度v成正比；v为0时，机械手末端E停止靠近手臂映射点P；当机械手末端E与手臂映射点P的距离大于

时，阻力为无穷大，机械手末端马上停止运动；则此时的动力学方程为：

（10）；其中，

；

S43、设

，采样时间为

；为了让机械手末端E在每个采样时间内达到手臂映射点P，则令

，此时距离函数为：

（10）；

其中，，

为积分常数，此时机械手末端E不会做周期运动，在一个采样时间内回到平衡位置，即手臂映射点。

优选地，所述步骤S4中，当

时，认为人体手臂关节点提取失败导致人体手臂关节点位置发生突变现象，此时机械手末端E所受的牵引力为0，而由于阻力无穷大，此时机械手末端E立刻停止运动；当

时，此时机器人控制***为一个临界阻尼振动。

优选地，所述步骤S5使用了过阻尼振动模型；过阻尼振动模型为：当手臂映射点P在机械手末端E振动时,手臂映射点P对机械手末端E产生的引力不足以抵消机械手末端E受到的阻力,从而不能驱动机械手末端E运动，

设时，此时距离函数为：

（11）；

其中，

，

为积分常数，由初始条件决定；这种情况为过阻尼振动，无振动发生；从而消除抖动现象。

本发明相对于现有技术，具有以下有益效果：Kinect是一种3D体感摄影机(开发代号“Project Natal”)，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。本发明提出了一种不接触的双臂机器人基于Kinect的人机交互方法，它允许操作者通过自然的人手三维动作控制六自由度虚拟机器人来完成操作任务；该范明基于视觉的人机交互来帮助操作者控制机器人、了解机器人动作和周围环境。该发明实现了基于视觉引导的半自主共享控制，而视觉引导的半自主共享控制则使得具有目标抓取任务的末端执行器获得了更精确的位置和范围，使得抓取更精确。

附图说明

图1人体人体手臂关节点示意图；

图2为左手坐标系建模图；

图3为右手坐标系建模图。

具体实施方式

下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。除非特别说明，本发明采用的材料和加工方法为本技术领域常规材料和加工方法。

本发明提供一种双臂机器人基于Kinect的人机交互方法，其中,Kinect为3D体感摄影机；包括以下步骤：

S1、通过3D体感摄影机对操作者的手臂建立坐标系；

S2、通过计算机对操作者的手臂图像进行骨架提取；

S3、通过包含了手臂的图像分析确定食指和拇指的位置；

S4、使用临界阻尼振动模型解决突变问题；

S5、使用过阻尼振动模型进行抖动处理。

步骤S1中首先建立了一个基本的Kinect坐标系，目标是标定食指尖(I)，拇指尖(T)，食指尖和拇指尖之间的部位(B)还有上手臂(U)的位置。

步骤S2使用Kinect获取的深度图像进行骨架提取，如图1。

所述步骤S3包括以下步骤：

S31、首先需要建立的是手掌包围盒：连接P4与P5得到连线P45,然后以P5为底面中心点，连线P45为中心轴，建立一个长为L，宽为W，高为H的手掌包围盒B；如图2和3所示；该手掌包围盒B可以把手掌包围其中，通过统计发现，L，W和H只需要取以下值就可以使得手掌包围盒包围手掌：

（1）；其中，

为线段P45的长度。

S32、对包围盒B中的所有点B’,计算其到P5之间的距离,则B2点为包围盒B中离P5最远的点：

（2）；

（3）；

,

,

，在右胳膊点上建立右参考系

，

,，。

则P8相对于左参考系

,

,的坐标为：

（4）；

则P5相对于右参考系

，

,

的坐标为：

（5）。

S35、设左手相对于左肩膀的运动空间为:

,,

；右手相对于右肩膀的运动空间为：

,

,，左机器人的运动空间为：

,

,;右机器人的运动空间为：,

,；

则左手到左机器人运动空间映射点为：

（6）；

则右手到右机器人运动空间映射点为：

（7）。

所述步骤S4包括以下步骤：

S41、在手臂映射点P与机器人末端E之间虚拟弹性力F，并虚拟机械手末端质量为M，人手映射点P位置并不是直接等同于机械手末端E，而是通过弹性力F来拉拢；人手的映射点P作为驱动源，机械手末端E作为被驱动对象，弹性力F作用于机械手末端E上使得机械手末端E趋向人手的映射点P。弹性力F满足以下关系：

（8）；

其中，K为胡克系数，

为作用力范围半径，D为人手的映射点与机器人末端的距离,当人手的映射点与机器人末端的距离超过

时，则机械手末端不再受到弹性力牵引,类似于弹簧伸展的长度超过极限断开。故当出现人体手臂关节点提取失败或错误的时候，人体手臂关节点前后位置出现突变，导致手臂映射点P也发生突变现象，此时手臂映射点P与机械手末端E的距离必定大于，弹性力为0，则机械手末端不再受手臂映射点牵引，从而过滤了人体手臂关节点提取失败或错误带来的突变影响。

S42、当机械手末端E非常靠近手臂映射点或机械手末端与手臂映射点的距离大于时，弹性力基本为0，而此时机械手末端具有一定的速度，如果不受其他力的影响，机械手末端会继续朝某个方向不断的运动，导致***不可控。

为了解决这个问题，本文对机械手末端在运动时施加虚拟阻力μ，阻力μ满足一下情况：

（9）；其中

为阻尼系数，

。当机械手末端E与手臂映射点P的距离小于

时，阻力与两点的相对速度v成正比，机械手末端E靠近手臂映射点到一定程度后会停止靠近；当机械手末端E与手臂映射点P的距离大于

时，阻力为无穷大，机械手末端马上停止运动；此时的动力学方程为：（10）；其中，

。

S43、令，为了让机械手末端E在每个采样时间内达到手臂映射点P，则令

，此时距离函数为：

（10）

其中

，

为积分常数，此时机械手末端不会做周期运动，在一个采样时间内回到平衡位置（手臂映射点）。

S44、假设算法的采样时间为,机械手末端E与手臂映射点P的距离大小为D,则当

时，认为人体手臂关节点提取失败导致人体手臂关节点位置发生突变现象，此时机械手末端E所受的牵引力为0，而由于阻力无穷大，则认为此时机械手末端E立刻停止运动。当

时，此时***为一个临界阻尼振动。

所述步骤S5使用了过阻尼振动模型。当手臂映射点P在机械手末端E的小范围内振动时,手臂映射点P对机械手末端E产生的引力不足以抵消机械手末端E受到的阻力,从而不能驱动机械手末端E运动.这就是过阻尼振动模型。令

时，此时算法模型为过阻尼振动模型，距离函数为：

（11）；

其中

，

为积分常数，由初始条件来决定。这种情况为过阻尼振动，无振动发生；从而消除抖动现象。

上述实施例仅为本发明的较佳实施例，并非用来限定本发明的实施范围。即凡依本发明内容所作的均等变化与修饰，都为本发明权利要求所要求保护的范围所涵盖。