CN108098780A - 一种新型的机器人仿人运动*** - Google Patents

Abstract

本发明公开了一种新型的机器人仿人运动***，所述仿人***由人体动作捕捉部分、人‑机动作映射部分及多关节式机器人部分组成；其中，人体动作捕捉部分与人‑机动作映射部分相关连；人‑机动作映射部分与多关节式机器人部分以无线局域网通信方式相连。本发明方案通过Kinect传感器采集人体动作的图像和深度信息，获取人体动作信息，利用相应技术实现人体动作姿态识别，建立人‑机动作映射关系，最后利用运动控制实现机器人的仿人运动，有效地降低了传统机器人对运动控制的效率及精度的严格要求，实现了人机交流过程的简单化、自然化。

Description

一种新型的机器人仿人运动***

技术领域

本发明属于机器人的人机交互，涉及一种新型的机器人仿人运动***。

背景技术

科学技术的发展日新月异，近百年来发展起来的机器人如今已风靡全球，并渗透到各行各业，时刻影响着我们的生活。

随着机器人应用从工业领域向医疗、服务、娱乐、教育等行业不断地扩展和深入，对机器人的运动控制也提出了新的要求。传统的工业机器人对运动控制的效率和精度有严格要求，往往需要专业人员进行复杂的编程和校准，才能满足最终的使用要求。然而，对家庭服务机器人等其它领域而言，面向的是普通人群，使用者和服务对象往往缺乏相关的专业背景知识，因而，机器人操作的简单易用性、人机交互能力、运动安全性等方面的要求尤为突出。

为了使人机交流更加简单、自然、友好，国内外研究人员在人机交互方式方面进行了广泛而深入的研究，提出语音、手势、眼动、人体姿态动作等种类更多、更加自然的人机互动方式。

申请公布号为CN105997097A的发明专利申请公开了一种“人体下肢动作姿态再现***及再现方法”，该***包括：用于使***正常工作的电源模块；用于采集人体动作信号的数据采集模块；用于处理从数据采集模块获取的数据信号的信号调理模块；用于控制与协调整个***的微控制器模块；用于接收微控制器模块中的数据并将数据传送给动作姿态分析机的无线通讯模块；用于复现人体下肢运动轨迹的动作姿态分析机。该发明通过传感器获取相关数据并进行矢量分析，能够完整再现人体下肢动作的实时效果，但被模仿者需佩戴相应传感器设备及专门的电源模块，使用时不方便。

申请公布号为CN103605375A的发明专利申请公开了“一种仿生机器人的控制方法及装置”，该方法包括：采集人体的关节运动信息，人体的关节运动信息中包括人体关节运动角度；根据人体关节运动角度，生成运动指令，运动指令中包括人体关节运动角度；将运动指令发送给机器人，以使机器人根据运动指令中包括的人体关节运动角度进行相应的关节运动。该发明虽可保存运动指令，使机器人模仿人体关节运动，并根据保存指令一直进行流水线作业，保证生产的产品精确度高，但其无人-机动作坐标系及上臂各部位旋转角度映射，很难保证人体手臂和机器人手臂各关节的运动动作的一致性与相似性。

发明内容

本发明目的在于提供一种新型的机器人仿人运动***，通过Kinect传感器采集人体动作的图像和深度信息，获取人体动作信息，利用相应技术实现人体动作姿态识别，建立人-机动作映射关系，最后利用运动控制实现机器人的仿人运动，有效地降低了传统机器人对运动控制的效率及精度的严格要求，实现了人机交流过程的简单化、自然化。

为解决上述技术问题，本发明采用如下的技术方案：一种新型的机器人仿人运动***，该***包括：人体动作捕捉部分、人-机动作映射部分及多关节式机器人部分；其中，所述人体动作捕捉部分与所述人-机动作映射部分相关连；所述人-机动作映射部分与所述多关节式机器人部分以无线局域网通信方式相连。

进一步地，所述人体动作捕捉部分通过采集人体动作的图像和深度信息，获取人体动作信息，利用关节点识别和骨架追踪技术，实现人体动作姿态识别。

进一步地，所述人-机动作映射部分在分析人体关节和机器人机构差异性的基础上，进行人-机动作映射，实现机器人运动控制。

进一步地，所述多关节式机器人部分接收运动控制指令，执行相应的关节运动，实现仿人运动。

本发明与现有技术相比具有以下的有益效果：

本发明方案结合人体动作姿态识别技术、人-机动作映射算法及机器人运动控制策略，实现机器人的仿人运动，有效地降低了传统机器人对运动控制的效率及精度的严格要求，实现了人机交流过程的简单化、自然化。

附图说明

图1是新型的机器人仿人运动***结构框图。

图2是用于采集人体动作信息的Kinect设备坐标系。

图3是基准坐标系下的人体关节示意图。

图4是基准坐标系下的手臂动作姿态特征。

图5是人体肩关节的可动范围。

图6是人体肘关节的可动范围。

图7是机器人连杆坐标系。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种新型的机器人仿人运动***，该***包括：人体动作捕捉部分、人-机动作映射部分及多关节式机器人部分；其中，所述人体动作捕捉部分与所述人-机动作映射部分相关连；所述人-机动作映射部分与所述多关节式机器人部分以无线局域网通信方式相连。

其中，

(1)所述人体动作捕捉部分通过采集人体动作的图像和深度信息，获取人体动作信息，利用关节点识别和骨架追踪技术，实现人体动作姿态识别；

本发明采用微软Kinect传感器作为3D摄像机进行人体动作获取。Kinect利用视觉和红外传感，通过OpenNI获取人体动作的彩色和深度图像序列，进而利用基于NiTE中间件的开发工具包追踪人体骨架，并实时计算Kinect坐标系中当前人体姿态下的各关节点的位置信息。Kinect坐标系参照图2。

参照图3，选取头(H)躯干(T)、左右肩(LS、RS)、左右肘(LE、RE)及其左右手(LH、RH)等关节点信息来分析人体上肢的运动。通过关节点的变化过程来分析人体手臂动作姿态的变化。此外，通过Kinect还可检测人体手掌，进行张开/握紧状态Stat的识别。

为了避免人***置及站姿变化对手臂动作检测产生干扰，提高动作捕捉***的灵活性和适应性，在计算人体手臂关节动作的角度之前，首先需要实时修正人体基准坐标系C_B。例如：在人体左臂动作分析中，人体基准坐标系C_B以左肩关节点P_LS作为坐标原点O_B，X轴正方向为右肩到左肩的方向矢量P_RSP_LS，Y轴正方向为躯干至双肩中点的方向矢量P_TP_N，Z轴正方向为X轴方向矢量与Y轴方向矢量的叉乘，即P_RSP_LS×P_TP_N，三者构成符合右手矢量定则。

左臂各关节点在Kinect坐标系C_W中的三维坐标^WP_i可以转化为人体基准坐标系C_B下的位置坐标^BP_i。例如：人体基准坐标系C_B中，肘关节的坐标为

人体手臂的关节角度可以直观地反映人体动作姿态，便于仿人运动的人-机动作映射和机器人运动控制，因而，通过空间矢量方法对采集的人体关节点数据进行处理，求取关节的转动角度，以实现人体动作姿态识别。

参照图4，表征肩部运动的关节角度有α、β和μ，α反映大臂在水平方向上的摆动角度，角度β反映大臂在竖直方向上的俯仰运动，μ反映大臂以自身为轴的旋转角度。表征肘部运动的关节角度为γ，反映肘部的大、小臂之间的夹角。

大臂在水平方向上的摆角α的计算公式如下：

大臂在竖直方向上的俯仰角β的计算公式如下：

手臂以大臂为轴的旋转角μ由过大臂的竖直平面的法向量和大臂与小臂所在平面的法向量共同决定，计算公式为：

式中，·为点乘，×为叉乘。

大臂和小臂的夹角γ可以通过大臂矢量O_B ^BP_LE和小臂矢量^BP_LE ^BP_LH计算出来：

通过表征肩、肘运动的关节角度α、β、μ和γ，可以有效地识别人体手臂的运动姿态，作为仿人运动控制的依据。

(2)所述人-机动作映射部分在分析人体关节和机器人机构差异性的基础上，进行人-机动作映射，实现机器人运动控制；

人-机动作映射就是在分析人体关节和机器人关节差异的基础上，建立一定的映射关系，实现机器人手臂对人体动作的模仿，从而完成机器人手臂的运动控制。

人体关节多为球形关节，每个关节包含有两到三个自由度，各个关节的运动范围也不尽相同。参照图5、6，肩关节的运动方式包括：前屈/后伸、外展/内收、水平屈曲/水平伸展、旋外/旋内；肘关节的运动方式包括：屈曲/伸展、旋前/旋后。运动的角度范围如图所示，参考的基本轴采取站立位，由于个体差异以及测试、表示方法不同，关节角度可能存在10°～15°的误差。

在进行手臂动作姿态识别时，根据传感能力，将肩关节水平屈曲/水平伸展动作简化为在大臂在水平方向上的摆动角度α；将肩关节前屈/后伸和外展/内伸动作简化为大臂在竖直方向上的俯仰角β；将肩关节旋内/旋外动作简化为手臂以大臂为轴的旋转角μ；肘关节的屈曲/伸展动作由角度γ表示；肘关节的旋前/旋后需由手掌方向加以判别，目前尚无法辨识。

不同于人体关节，机器人关节一般分为转动关节和移动关节，每个关节包含有一个自由度。参照图7，本发明使用四自由度机械手臂，包含四个转动关节和一个二指手爪。根据实际尺寸大小建立连杆坐标系，机械手臂的D-H参数如下表：

机械手臂各相邻连杆之间的D-H变换矩阵为：

则机械手臂正向运动学方程为：

式中，p为手爪的位置矢量，由基座坐标系的原点指向手爪中心；n为机器人手爪的法线矢量，大小和方向由oXa规定；o为手爪的方向矢量，方向为一个指尖指向另一个指尖；a为手爪的接近矢量，方向为手爪进入物体的方向。据此，通过[n,o,a,p]可以描述机器人手爪相对于基座标系的位姿。

为了使机器人手臂动作与人体手臂动作尽可能地保持相似性，进而通过自然地模仿人体动作来实现机器人运动控制，将肩关节的水平屈曲/伸展运动，通过大臂在水平方向上的转动角度α，映射至机器人关节1的角度θ₁；将肩关节的前屈/后伸和外展/内伸运动，通过肩关节在垂直平面中的转动角度β，映射至机器人关节2的角度θ₂；将肘关节的屈曲/伸展运动，通过转动角度γ，映射至机器人关节3的角度θ₃。将肘关节的旋后/旋前运动，映射至机器人关节4，为了便于抓取物品，机器人关节4可以由操作对象的方向来确定；本发明中暂令θ₄＝0°。

由此得到机器人关节角度θ₁、θ₂、θ₃与人体关节角度α、β、γ之间的人-机映射规则如下表：

需要指出的是，受四自由度机械手臂运动能力的限制，机器人的上臂和下臂只能在竖直平面内运动。因而，在机器人手臂仿人运动过程中，无法复现肩关节的旋内/旋外运动，人-机关节映射规则中亦无法包含人体手臂以大臂为轴的旋转角度信息μ。

(3)所述多关节式机器人部分接收运动控制指令，执行相应的关节运动，实现仿人运动。

根据人-机映射关系，为实现机器人手臂各关节的运动控制，建立了机器人运动关节的角度θ₁、θ₂、θ₃与人体手臂关节角度α、β、γ之间的控制关系：

式中，k_i表示缩放因子，b_i为补偿量。α、β、γ为通过人体动作姿态识别的矢量法计算出来的人体关节角度信息。

人体手臂和机器人手臂关节在结构构成、运动范围、运动方向等方面存在差异。综合考虑多种因素，引入缩放因子k_i，以调整实际运动范围和运动方向等方面的差异；改变补偿量b_i，可调整由于关节坐标系不同所引起的初始位置等方面的差异，进而保证人体手臂和机器人手臂动作的一致性和相似性。

根据不同的衡量标准，缩放因子k_i和补偿量b_i可以有不同的选取原则。

在以机器人实际操作为目的时，应充分利用人体手臂和机器人手臂的运动空间为目标，保证人体手臂与机器人手臂在运动方向和运动趋势方面的一致性，于是，本发明提出运动范围最大化的复现控制策略，在保证运动一致性的前提下，以牺牲运动相似性为代价，充分利用人体手臂和机器人手臂的运动空间。

为了使运动范围最大化，控制关系的确定规则如下：对于关节角α，手臂大臂水平方向有效摆动-30°～120°时，机器人关节1在-120°～120°范围内左右旋动。对于关节角β，手臂大臂垂直方向摆动30°～180°，机器人关节2在90°～0°范围内俯仰运动。对于关节角γ，肘关节伸屈0°～120°时，机械手臂关节3在-60°～0°范围内做俯仰运动。手臂控制幅度与机器人手臂运动范围对照表如下：

此时，人-机手臂关节控制关系为：

即

运动范围最大化的复现控制中，人体手臂和机器人手臂的运动方式和运动空间都不受限制。虽然损失了一些动作相似性，但大臂水平转动、大臂垂直俯仰和肘部屈伸等动作，与关节1、关节2、关节3在运动方向和运动趋势等方面保持了较好的一致性，具有控制关系简单的特性。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种新型的机器人仿人运动***，其特征在于，所述仿人运动***包括：人体动作捕捉部分、人-机动作映射部分及多关节式机器人部分；其中，所述人体动作捕捉部分与所述人-机动作映射部分相关连；所述人-机动作映射部分与所述多关节式机器人部分以无线局域网通信方式相连。

2.根据权利要求1所述的一种新型的机器人仿人运动***，其特征在于，所述人体动作捕捉部分通过采集人体动作的图像和深度信息，获取人体动作信息，利用关节点识别和骨架追踪等技术，实现人体动作姿态识别。

3.根据权利要求1所述的一种新型的机器人仿人运动***，其特征在于，所述人-机动作映射部分在分析人体关节和机器人机构差异性的基础上，进行人-机动作映射，实现机器人运动控制。

4.根据权利要求1所述的一种新型的机器人仿人运动***，其特征在于，所述多关节式机器人部分接收运动控制指令，执行相应的关节运动，实现仿人运动。