CN112959330B - 基于主从动态运动基元的机器人双臂运动人机对应装置及方法 - Google Patents

基于主从动态运动基元的机器人双臂运动人机对应装置及方法 Download PDF

Info

Publication number
CN112959330B
CN112959330B CN202110145594.5A CN202110145594A CN112959330B CN 112959330 B CN112959330 B CN 112959330B CN 202110145594 A CN202110145594 A CN 202110145594A CN 112959330 B CN112959330 B CN 112959330B
Authority
CN
China
Prior art keywords
motion
robot
arm
track
wrist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110145594.5A
Other languages
English (en)
Other versions
CN112959330A (zh
Inventor
熊蓉
梁煜伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110145594.5A priority Critical patent/CN112959330B/zh
Publication of CN112959330A publication Critical patent/CN112959330A/zh
Application granted granted Critical
Publication of CN112959330B publication Critical patent/CN112959330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于主从动态运动基元的机器人双臂运动人机对应装置及方法,包括双臂双手动作描述模型、示教数据采集***、示教数据预处理***和机器人程序生成***;机器人程序生成***以主从建模方式使用动态运动基元从所接收的示教数据中学习,并结合机器人的结构、运动约束和避障要求,生成机器人运动程序。允许相对运动轨迹发生形变、位移和旋转,同时能够保持相对运动轨迹的路径形状、运动节奏,从而在新生成的动作中保留人演示动作中双臂肘部、腕部之间的相对运动关系;使用动态运动基元,能够保留原轨迹的路径形状,并且能够通过调整起点、终点位置将原轨迹泛化到不同的位置上,得到具有不同程度形变、位移或旋转的新轨迹。

Description

基于主从动态运动基元的机器人双臂运动人机对应装置及 方法
技术领域
本发明涉及示教学习技术、人机对应技术和机器人运动学习技术,具体地说,涉及一种基于主从动态运动基元的机器人双臂运动人机对应装置及方法。
背景技术
随着机器人技术的不断发展和工业机器人在工厂生产中的广泛使用,人们产生了更多将机器人应用到日常生活中的需求,如动作表演、迎宾指路等等。为了实现更方便快捷的机器人编程,并且能够让机器人完成更多复杂的动作,传统的机器人编程方法已经无法满足需求,因此催生了对更智能化和自动化的示教学习方法的研究与应用。
示教学习技术不需要用户手动编程,只要用户演示提供一个动作的示教数据,机器人就可以从中学习得到相应的策略,然后自动生成同样的动作,这种方法大大减轻了人的负担。但是示教学习技术往往不考虑人和机器人之间的结构差异、尺寸差异以及机器人执行能力等问题。
人机对应技术正是可以满足这些要求的一个重要发展方向。人机对应问题研究的是如何将一个人的运动迁移到机器人上,保留所需要的运动特性,同时考虑人机结构差异、人机尺寸差异和机器人可执行性约束。
将示教学习技术和人机对应技术相结合,能够实现机器人对复杂双臂运动的学习和执行。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种基于主从动态运动基元的机器人双臂运动人机对应装置及方法,实现将人的复杂双臂运动迁移到机器人上。本发明是通过以下技术方案来实现的:
本发明公开了一种基于主从动态运动基元的机器人双臂运动人机对应装置,包括双臂双手动作描述模型、示教数据采集***、示教数据预处理***和机器人程序生成***;
双臂双手动作描述模型包括手臂运动模型和手部运动模型;
示教数据采集***包括手臂运动采集模块和手部运动采集模块;
示教数据预处理***包括时间同步模块和坐标转换模块;
机器人程序生成***包括主从动态运动基元学习模块和人机对应模块;
双臂双手动作描述模型、示教数据采集***、示教数据预处理***和机器人程序生成***依次信号相连。
作为进一步地改进,本发明所述的双臂双手动作描述模型,用于对人的双臂和双手运动进行描述;
示教数据采集***,用于按照双臂双手动作描述模型,获取人演示的包含双臂和双手运动的示教动作数据,并将获取后的数据发送给示教数据预处理***;
示教数据预处理***,用于对从示教数据采集***接收到的人的示教动作数据做预处理,并将处理后的示教数据发送给机器人程序生成***;
机器人程序生成***以主从建模方式使用动态运动基元从所接收的示教数据中学习,并结合机器人的结构、运动约束和避障要求,生成机器人运动程序。
作为进一步地改进,本发明所述的手臂运动模型用于描述人和机器人手臂运动状态,手部运动模型用于描述人和机器人的手部运动状态;
手臂运动采集模块用于根据手臂运动模型采集人演示动作过程中手臂的运动数据,手部运动采集模块用于根据手部运动模型采集人演示动作过程中手部的运动数据;
时间同步模块用于根据各传感器数据的时间戳进行时间同步,坐标转换模块用于将人的示教数据转换成适合于机器人局部坐标系的运动数据;
主从动态运动基元学习模块用于从示教数据中学习,得到动态运动基元的参数,人机对应模块用于根据动态运动基元参数、机器人结构、机器人运动约束和避障要求,生成机器人可以执行的运动程序。
作为进一步地改进,本发明所述的手臂运动模型以笛卡尔空间下的肘部三维位置和腕部位姿描述单只手臂的状态;
手部运动模型使用人手模型描述手部运动,作为从示教数据到机器人灵巧手的过渡模型。
作为进一步地改进,本发明所述的人手模型用于对不同类型手部运动传感器采集得到的示教数据采用统一的数据形式进行描述,并用于转换成不同类型机器人灵巧手对应的运动。
作为进一步地改进,本发明所述的
手臂运动采集模块采用动作捕捉传感器,获取左右臂的腕部位姿和肘部位置数据,包括光学运动捕捉***;
手部运动采集模块采用手部运动捕捉传感器,包括获取手指关节角度数据的数据手套。
作为进一步地改进,本发明所述的主从动态运动基元学习模块包括如下步骤:
1)、用示教数据中左右臂各自的腕部位置轨迹、腕部姿态轨迹和肘部位置轨迹,计算左右臂腕部相对位置轨迹、左右臂腕部相对姿态轨迹、左臂肘腕相对位置轨迹和右臂肘腕相对位置轨迹;
2)、用动态运动基元对1)右臂位置轨迹和相对位置轨迹进行学习,得到对应的权重参数,动态运动基元的表达式如式1)和式2) 所示:
Figure BDA0002930114700000041
Figure BDA0002930114700000042
其中τ为时间伸缩系数,K为弹性系数,D为阻尼系数,wi是待学习的权重参数,
Figure BDA0002930114700000043
是均值为μi、宽度为hi的高斯核函数,g是期望的目标位置,y0是起点位置,α是调整***收敛速度的系数;
3)、用面向姿态轨迹的动态运动基元变体模型对步骤1)右臂姿态轨迹和相对姿态轨迹进行学习,得到对应的权重参数,如式3)、式4)和式5)所示:
Figure BDA0002930114700000051
Figure BDA0002930114700000052
Figure BDA0002930114700000053
其中Rg为期望的目标旋转矩阵,η=τω为缩放后的角速度,ω=log(RgRT)为在单位时间内将R变成Rg目标的角速度,
Figure BDA0002930114700000054
为缩放矩阵,R0为初始的旋转矩阵,
Figure BDA0002930114700000055
为待学习的参数。
作为进一步地改进,本发明所述的人机对应模块包括如下步骤的循环优化过程:
1)、使用主从动态运动基元学习模块得到的右臂位置轨迹、右臂姿态轨迹、相对位置轨迹和相对姿态轨迹对应的动态运动基元参数,根据给定的新起点和新终点,生成新的泛化轨迹;
2)、对步骤1)得到的右臂腕部位姿轨迹和相对位姿轨迹进行叠加,得到左臂腕部位姿轨迹、左臂肘部位置轨迹和右臂肘部位置轨迹;
3)、将步骤1)和2)得到的左右臂腕部位姿轨迹和肘部位置轨迹作为参考轨迹,结合机器人的运动约束和避障要求,通过图优化算法,进行双臂机器人的运动规划,求出机器人的关节轨迹,优化问题描述如式6)所示的非线性最小二乘问题:
Figure BDA0002930114700000061
其中eT(n)为双臂、双手的跟踪目标,eC(n)表示机器人的避障约束, eL(n)表示机器人的关节上下限约束,eS(n,n+1)为平滑性约束;优化完成后根据机器人的关节轨迹判断是否满足机器人可执行的要求,如已满足则结束循环优化,否则进行步骤4);
4):根据机器人正运动学,对步骤3)得到的机器人关节轨迹,求出机器人实际执行动作时的左右臂腕部位姿轨迹和肘部位置轨迹,与动态运动基元生成并叠加得到的参考轨迹作差,得到位置和姿态的平均偏差;
5)、将步骤4)得到的偏差施加到动态运动基元的起点和终点上;
6)、以步骤5)调整后的动态运动基元起点、终点位置为初始值,做如下的优化,
Figure BDA0002930114700000062
其中GS={(si,gi),i∈IDMP}为动态运动基元的起点si、终点gi的集合, IDMP={RWP,RWO}∪Orel和Irel={LRWP,LRWO,REWP,LEWP}为指示轨迹的ID,RWP和RWO分别表示右臂腕部姿态,LRWP和LRWO分别表示左右臂腕部相对位置和相对姿态,REWP和LEWP分别表示右臂肘腕相对位置和左臂肘腕相对位置;比例损失eSCL、朝向损失eORI和相对变化损失eREL分别惩罚新轨迹的尺寸变化、起止点朝向变化和相对轨迹的位置大小,表达式如下所示:
Figure BDA0002930114700000071
Figure BDA0002930114700000072
Figure BDA0002930114700000073
KSCL,KORI和KREL为这三项损失函数对应的权重系数;si(0)和gi(0)表示初始时各动态运动基元的起点、终点;在优化完成后得到一组新的动态运动基元起点、终点位置,跳到步骤1)进行下一轮优化过程。
对比现有的技术,本发明的有益效果在于:
1)、机器人程序生成***以主从建模方式使用动态运动基元从所接收的示教数据中学习,并结合机器人的结构、运动约束和避障要求,生成机器人运动程序。允许相对运动轨迹发生形变、位移和旋转,同时能够保持相对运动轨迹的路径形状、运动节奏,从而在新生成的动作中保留人演示动作中双臂肘部、腕部之间的相对运动关系;使用动态运动基元,能够保留原轨迹的路径形状,并且能够通过调整起点、终点位置将原轨迹泛化到不同的位置上,得到具有不同程度形变、位移或旋转的新轨迹。
2)、本发明所述的手臂运动模型以笛卡尔空间下的肘部三维位置和腕部位姿描述单只手臂的状态,把人的大臂、小臂和手部视作独立的刚体,构建简化的三连杆手臂模型,则腕部位姿和肘部位置总共9 个自由度的信息可以充分描述手臂模型的状态;加入了肘部位置的信息,可以充分捕捉示教动作的仿人性。
手部运动模型使用人手模型描述手部运动,作为从示教数据到机器人灵巧手的过渡模型,可以适配不同类型的手部运动传感器和灵巧手,提高易用性,避免依赖于特定型号的设备。
3)、本发明所述的人机对应模块的循环优化过程中,用动态运动基元对人的示教数据建模和泛化,实现了对示教轨迹的非线性映射,将得到的左右臂腕部位姿轨迹和肘部位置轨迹作为参考轨迹;结合机器人的运动约束和避障要求,通过图优化算法,进行双臂机器人的运动规划,求出机器人的关节轨迹,通过主从建模方式学习得到的动态运动基元可以用于生成在不同空间位置上、具有不同形变程度并且保持了原示教动作轨迹路径形状的新轨迹,所以利用优化算法,结合机器人的运动约束和避障要求,从这些新轨迹中进行筛选,可以智能地从动态运动基元生成并叠加得到的新轨迹中找到能够让机器人执行并且路径形状与示教动作轨迹相近的机器人轨迹,大大提升了机器人运动学习效果——即可执行性和仿人性两个要求。
附图说明
图1为本发明基于主从动态运动基元的机器人双臂运动人机对应装置中双臂双手动作描述模型的手臂运动模型的示意图;
图中,1是肩膀,2是大臂,3是肘部,4是小臂,5是腕部,6是手部;
图2为本发明基于基于主从动态运动基元的机器人双臂运动人机对应装置中双臂双手动作描述模型的手部运动模型的示意图;
图中,7是远端指间关节,8是近端指间关节,9是掌指关节;
图3为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中示教数据采集***的示意图;
图4为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中示教数据预处理***的示意图;
图5为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中主从动态运动基元学习模块的示意图;
图6为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中人机对应模块的示意图。
具体实施方式
下面,结合说明书附图,通过具体实施方式对本发明的技术方案作进一步的描述:
本发明公开了一种基于主从动态运动基元的机器人双臂运动人机对应方法,包括双臂动作描述、示教数据采集、示教数据预处理和机器人程序生成,各个部分又包含了为实现特定功能而使用的软件算法和硬件装置。
本发明公开了一种基于主从动态运动基元的机器人双臂运动人机对应方法,包括以下步骤:
1、根据双臂双手动作描述模型,使用示教数据采集***,获取人演示的双臂运动示教数据,对示教数据进行预处理,并将处理后的示教数据发送给机器人程序生成***。
2、机器人程序生成***以主从建模方式使用动态运动基元从所接收的示教数据中学习,并结合机器人的结构、运动约束和避障要求,生成机器人运动程序。
其中双臂双手动作描述模型包括手臂运动模型和手部运动模型,示教数据采集***包括但不限于手臂运动采集模块和手指运动采集模块,示教数据预处理过程包括但不限于时间同步模块和坐标转换模块,机器人程序生成***包括主从动态运动基元学习模块和人机对应模块。
为了充分捕捉手臂运动的仿人性并实现一种便于迁移的描述,本发明以一个简化的三连杆模型描述手臂形状,分析了充分描述简化模型所需的自由度数目,以此设计了手臂运动模型。图1为本发明基于主从动态运动基元的机器人双臂运动人机对应装置中双臂双手动作描述模型的手臂运动模型的示意图;其中大臂2、小臂4和手部6分别视为独立的刚体,要描述三个独立刚体在空间中的状态需要3*6=18 个独立变量,假设机械臂基座(人肩膀1)位置和机械臂(人手臂) 尺寸已知,可以得到大臂2连杆位置、小臂4连杆位置和手部6连杆位置总共9条约束方程,因此要完整描述三连杆手臂模型的状态需要 18-9=9个独立变量,本发明以笛卡尔空间下的肘部3三维位置和腕部5位姿(三维位置和姿态信息)总共9个自由度的信息描述单只手臂的状态。
为了便于适配不同型号的手部运动传感器和机器人灵巧手,本发明引入一个人手模型,用关节角度描述手指运动,作为从示教数据到机器人灵巧手的过渡模型,图2为本发明基于基于主从动态运动基元的机器人双臂运动人机对应装置中双臂双手动作描述模型的手部运动模型的示意图;其中人手模型具有20个自由度,包括五指的掌指关节9(1个屈曲/伸展自由度和1个外展/内收自由度)、近端指间关节8(1个屈曲/伸展自由度)和远端指间关节7(1个屈曲/伸展自由度),将利用不同类型手部运动传感器采集得到的数据转换成人手模型对应的运动,在使用时,可以再通过人机对应转换到不同类型机器人灵巧手上。
为了获取相应的人的示教数据,本发明根据双臂双手动作描述模型,构建了示教数据采集***,图3为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中示教数据采集***模块的示意图;其中手臂运动采集模块采用动作捕捉传感器,获取人演示动作时左右臂的腕部位姿和肘部位置数据,包括但不限于OptiTrack光学运动捕捉***;手部运动采集模块采用手部运动捕捉传感器,采集人演示动作过程中手指关节角度数据,包括但不限于Wiseglove数据手套。考虑到不同的传感器具有不同的输出频率,本发明使用示教数据采集***获得人的示教动作数据后,对所采集的数据进行预处理,图4为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中示教数据预处理***的示意图;其中时间同步模块根据各传感器数据的时间戳进行时间同步,此外,由于所获得的人体示教数据所在的世界坐标系未必和机器人相同,人体各部位和机器人对应部位的局部坐标系未必相同,坐标转换模块会对示教数据做三维位置变换和局部坐标系变换,得到能够用于机器人的运动数据。
为了实现对人的示教数据学习,本发明设计了机器人程序生成***中主从动态运动基元学习模块,图5为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中主从动态运动基元学习模块的示意图;借助动态运动基元的泛化能力,通过以主从方式从示教数据中学习,即对右臂腕部位置轨迹、右臂腕部姿态轨迹、左右臂腕部相对位置轨迹、左右臂腕部相对姿态轨迹、左臂肘腕相对位置轨迹和右臂肘腕相对位置轨迹进行学习,在机器人轨迹中保留原轨迹的路径形状、运动节奏和相对运动关系,具体包括如下步骤:
步骤1-1:用示教数据中左右臂各自的腕部位置轨迹、腕部姿态轨迹和肘部位置轨迹,计算左右臂腕部相对位置轨迹、左右臂腕部相对姿态轨迹、左臂肘腕相对位置轨迹和右臂肘腕相对位置轨迹。
步骤1-2:用动态运动基元对步骤1-1所述的右臂位置轨迹和相对位置轨迹进行学习,得到对应的权重参数,所采用的的动态运动基元如式1)和式2)所示:
Figure BDA0002930114700000131
Figure BDA0002930114700000132
其中τ为时间伸缩系数,K为弹性系数,D为阻尼系数,wi是待学习的权重参数,
Figure BDA0002930114700000133
是均值为μi、宽度为hi的高斯核函数, g是期望的目标位置,y0是起点位置,α是调整***收敛速度的系数;
步骤1-3:用面向姿态轨迹的动态运动基元变体模型对步骤1-1 所述的右臂姿态轨迹和相对姿态轨迹进行学习,得到对应的权重参数,如式3)、式4)和式5)所示:
Figure BDA0002930114700000134
Figure BDA0002930114700000135
Figure BDA0002930114700000136
其中Rg为期望的目标旋转矩阵,η=τω为缩放后的角速度,ω=log(RgRT)为在单位时间内将R变成Rg目标的角速度,
Figure BDA0002930114700000137
为缩放矩阵,R0为初始的旋转矩阵,
Figure BDA0002930114700000141
为待学习的参数。
由于以主从方式用动态运动基元从示教数据中学习,使得用动态运动基元生成并叠加得到的参考轨迹保留了原轨迹路径形状、运动节奏和相对运动关系,并且能够泛化到不同的起点、终点位置上,所以本发明在此基础上,构建了机器人程序生成***中人机对应模块,图 6为本发明基于主从动态运动基元的机器人双臂运动人机对应方法中人机对应模块的示意图。采用一个循环优化的过程,利用图优化方法,结合机器人的可执行性约束和避障要求,从动态运动基元(DMP)生成并叠加得到的不同参考轨迹中选择,得到一条适合于机器人执行且与原轨迹之间相似性尽可能高的机器人轨迹,具体步骤如下所述:
步骤2-1:使用主从动态运动基元学习模块得到的右臂位置轨迹、右臂姿态轨迹、相对位置轨迹和相对姿态轨迹对应的动态运动基元参数,根据给定的新起点和新终点,生成新的泛化轨迹;
步骤2-2:对步骤2-1得到的右臂腕部位姿轨迹和相对位姿轨迹进行叠加,得到左臂腕部位姿轨迹、左臂肘部位置轨迹和右臂肘部位置轨迹;
步骤2-3:将步骤2-1和2-2得到的左右臂腕部位姿轨迹和肘部位置轨迹作为参考轨迹,结合机器人的运动约束和避障要求,通过图优化算法,进行双臂机器人的运动规划,求出机器人的关节轨迹,优化问题描述如式6)所示的非线性最小二乘问题:
Figure BDA0002930114700000142
Figure BDA0002930114700000151
其中eT(n)为双臂、双手的跟踪目标,eC(n)表示机器人的避障约束, eL(n)表示机器人的关节上下限约束,eS(n,n+1)为平滑性约束;优化完成后根据机器人的关节轨迹判断是否满足机器人可执行的要求,如已满足则结束循环优化,否则进行步骤2-4;
步骤2-4:根据机器人正运动学,对步骤2-3得到的机器人关节轨迹,求出机器人实际执行动作时的左右臂腕部位姿轨迹和肘部位置轨迹,与动态运动基元生成并叠加得到的参考轨迹作差,得到位置和姿态的平均偏差;
步骤2-5:用步骤2-4得到的偏差调整动态运动基元的起点和终点位置;
步骤2-6:以步骤2-5调整后的动态运动基元起点、终点位置为初始值,做如下的优化,
Figure BDA0002930114700000152
其中GS={(si,gi),i∈IDMP}为动态运动基元起点si、终点gi的集合, IDMP={RWP,RWO}∪Irel和Irel={LRWP,LRWO,REWP,LEWP}为指示轨迹的ID,RWP和RWO分别表示右臂腕部姿态,LRWP和LRWO分别表示左右臂腕部相对位置和相对姿态,REWP和LEWP分别表示右臂肘腕相对位置和左臂肘腕相对位置;比例损失eSCL、朝向损失eORI和相对变化损失eREL分别惩罚新轨迹的尺寸变化、起止点朝向变化和相对轨迹的位置大小;在优化完成后得到一组新的动态运动基元起点、终点位置,跳到步骤2-1进行下一轮优化过程。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件和必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备执行本发明各个实施例或者实施例的某些部分所述的方法,计算机设备可以是个人计算机,服务器,或者网络设备等。
描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的,作为模块或单元示意的部件可以是或者也可以不是物理模块,既可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明可用于众多通用或专用的计算***环境或配置中。例如:个人计算机、服务器计算机、多处理器***、基于微处理器的***、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (5)

1.一种基于主从动态运动基元的机器人双臂运动人机对应方法,其特征在于,所述的对应方法通过以下装置实现:所述的装置包括双臂双手动作描述模型、示教数据采集***、示教数据预处理***和机器人程序生成***;
所述的双臂双手动作描述模型包括手臂运动模型和手部运动模型;
所述的示教数据采集***包括手臂运动采集模块和手部运动采集模块;
所述的示教数据预处理***包括时间同步模块和坐标转换模块;
所述的机器人程序生成***包括主从动态运动基元学习模块和人机对应模块;
所述的双臂双手动作描述模型、示教数据采集***、示教数据预处理***和机器人程序生成***依次信号相连;
所述的双臂双手动作描述模型,用于对人的双臂和双手运动进行描述;
所述的示教数据采集***,用于按照双臂双手动作描述模型,获取人演示的包含双臂和双手运动的示教动作数据,并将获取后的数据发送给示教数据预处理***;
所述的示教数据预处理***,用于对从示教数据采集***接收到的人的示教动作数据做预处理,并将处理后的示教数据发送给机器人程序生成***;
所述的机器人程序生成***以主从建模方式使用动态运动基元从所接收的示教数据中学习,并结合机器人的结构、运动约束和避障要求,生成机器人运动程序;
所述的手臂运动模型用于描述人和机器人手臂运动状态,手部运动模型用于描述人和机器人的手部运动状态;
所述的手臂运动采集模块用于根据手臂运动模型采集人演示动作过程中手臂的运动数据,手部运动采集模块用于根据手部运动模型采集人演示动作过程中手部的运动数据;
所述的时间同步模块用于根据各传感器数据的时间戳进行时间同步,坐标转换模块用于将人的示教数据转换成适合于机器人局部坐标系的运动数据;
所述的主从动态运动基元学习模块用于从示教数据中学习,得到动态运动基元的参数,人机对应模块用于根据动态运动基元参数、机器人结构、机器人运动约束和避障要求,生成机器人可以执行的运动程序;
所述的人机对应模块包括如下步骤的循环优化过程:
1)、使用主从动态运动基元学习模块得到的右臂位置轨迹、右臂姿态轨迹、相对位置轨迹和相对姿态轨迹对应的动态运动基元参数,根据给定的新起点和新终点,生成新的泛化轨迹;
2)、对步骤1)得到的右臂腕部位姿轨迹和相对位姿轨迹进行叠加,得到左臂腕部位姿轨迹、左臂肘部位置轨迹和右臂肘部位置轨迹;
3)、将步骤1)和2)得到的左右臂腕部位姿轨迹和肘部位置轨迹作为参考轨迹,结合机器人的运动约束和避障要求,通过图优化算法,进行双臂机器人的运动规划,求出机器人的关节轨迹,优化问题描述如式6)所示的非线性最小二乘问题:
Figure FDA0003566725870000031
其中eT(n)为双臂、双手的跟踪目标,eC(n)表示机器人的避障约束,eL(n)表示机器人的关节上下限约束,eS(n,n+1)为平滑性约束;优化完成后根据机器人的关节轨迹判断是否满足机器人可执行的要求,如已满足则结束循环优化,否则进行步骤4);
4):根据机器人正运动学,对步骤3)得到的机器人关节轨迹,求出机器人实际执行动作时的左右臂腕部位姿轨迹和肘部位置轨迹,与动态运动基元生成并叠加得到的参考轨迹作差,得到位置和姿态的平均偏差;
5)、将步骤4)得到的偏差施加到动态运动基元的起点和终点上;
6)、以步骤5)调整后的动态运动基元起点、终点位置为初始值,做如下的优化,
Figure FDA0003566725870000032
其中GS={(si,gi),i∈IDMP}为动态运动基元的起点si、终点gi的集合,IDMP={RWP,RWO}∪Orel和Irel={LRWP,LRWO,REWP,LEWP}为指示轨迹的ID,RWP和RWO分别表示右臂腕部姿态,LRWP和LRWO分别表示左右臂腕部相对位置和相对姿态,REWP和LEWP分别表示右臂肘腕相对位置和左臂肘腕相对位置;比例损失eSCL、朝向损失eORI和相对变化损失eREL分别惩罚新轨迹的尺寸变化、起止点朝向变化和相对轨迹的位置大小;在优化完成后得到一组新的动态运动基元起点、终点位置,跳到步骤1)进行下一轮优化过程。
2.如权利要求1所述的基于主从动态运动基元的机器人双臂运动人机对应方法,其特征在于,
所述的手臂运动模型以笛卡尔空间下的肘部三维位置和腕部位姿描述单只手臂的状态;
所述的手部运动模型使用人手模型描述手部运动,作为从示教数据到机器人灵巧手的过渡模型。
3.根据权利要求2所述的基于主从动态运动基元的机器人双臂运动人机对应方法,其特征在于,所述的人手模型用于对不同类型手部运动传感器采集得到的示教数据采用统一的数据形式进行描述,并用于转换成不同类型机器人灵巧手对应的运动。
4.如权利要求1所述的基于主从动态运动基元的机器人双臂运动人机对应方法,其特征在于,
所述的手臂运动采集模块采用动作捕捉传感器,获取左右臂的腕部位姿和肘部位置数据,包括光学运动捕捉***;
所述的手部运动采集模块采用手部运动捕捉传感器,包括获取手指关节角度数据的数据手套。
5.如权利要求1所述的基于主从动态运动基元的机器人双臂运动人机对应方法,其特征在于,
所述的主从动态运动基元学习模块包括如下步骤:
1)、用示教数据中左右臂各自的腕部位置轨迹、腕部姿态轨迹和肘部位置轨迹,计算左右臂腕部相对位置轨迹、左右臂腕部相对姿态轨迹、左臂肘腕相对位置轨迹和右臂肘腕相对位置轨迹;
2)、用动态运动基元对1)所述的右臂位置轨迹和相对位置轨迹进行学习,得到对应的权重参数,动态运动基元的表达式如式1)和式2)所示:
Figure FDA0003566725870000051
Figure FDA0003566725870000052
其中τ为时间伸缩系数,K为弹性系数,D为阻尼系数,wi是待学习的权重参数,
Figure FDA0003566725870000053
是均值为μi、宽度为hi的高斯核函数,g是期望的目标位置,y0是起点位置,α是调整***收敛速度的系数;
3)、用面向姿态轨迹的动态运动基元变体模型对步骤1)所述的右臂姿态轨迹和相对姿态轨迹进行学习,得到对应的权重参数,如式3)、式4)和式5)所示:
Figure FDA0003566725870000061
Figure FDA0003566725870000062
Figure FDA0003566725870000063
其中Rg为期望的目标旋转矩阵,η=τω为缩放后的角速度,ω=log(RgRT)为在单位时间内将R变成Rg目标的角速度,
Figure FDA0003566725870000064
为缩放矩阵,R0为初始的旋转矩阵,
Figure FDA0003566725870000065
为待学习的参数。
CN202110145594.5A 2021-02-02 2021-02-02 基于主从动态运动基元的机器人双臂运动人机对应装置及方法 Active CN112959330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145594.5A CN112959330B (zh) 2021-02-02 2021-02-02 基于主从动态运动基元的机器人双臂运动人机对应装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145594.5A CN112959330B (zh) 2021-02-02 2021-02-02 基于主从动态运动基元的机器人双臂运动人机对应装置及方法

Publications (2)

Publication Number Publication Date
CN112959330A CN112959330A (zh) 2021-06-15
CN112959330B true CN112959330B (zh) 2022-05-17

Family

ID=76272037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145594.5A Active CN112959330B (zh) 2021-02-02 2021-02-02 基于主从动态运动基元的机器人双臂运动人机对应装置及方法

Country Status (1)

Country Link
CN (1) CN112959330B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114536351B (zh) * 2022-04-27 2022-07-15 季华实验室 冗余双臂机器人示教方法、装置、电子设备及***
CN116901055B (zh) * 2023-05-19 2024-04-19 兰州大学 仿人手交互控制方法和装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444738B (zh) * 2016-05-24 2019-04-09 武汉科技大学 基于动态运动基元学习模型的移动机器人路径规划方法
CN106078752B (zh) * 2016-06-27 2019-03-19 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN107363813B (zh) * 2017-08-17 2020-08-04 北京航空航天大学 一种基于可穿戴设备的桌面工业机器人示教***和方法
KR102001214B1 (ko) * 2017-10-31 2019-10-01 충남대학교산학협력단 가상 현실 기반 양팔로봇 교시 장치 및 방법
CN108284436B (zh) * 2018-03-17 2020-09-25 北京工业大学 具有模仿学习机制的远程机械双臂***及方法
CN110142769B (zh) * 2019-04-11 2021-10-15 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教***
CN112207835B (zh) * 2020-09-18 2021-11-16 浙江大学 一种基于示教学习实现双臂协同作业任务的方法

Also Published As

Publication number Publication date
CN112959330A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
Zeng et al. Simultaneously encoding movement and sEMG-based stiffness for robotic skill learning
Miyamoto et al. A kendama learning robot based on bi-directional theory
Zanchettin et al. Achieving humanlike motion: Resolving redundancy for anthropomorphic industrial manipulators
CN112959330B (zh) 基于主从动态运动基元的机器人双臂运动人机对应装置及方法
Artemiadis et al. EMG-based teleoperation of a robot arm in planar catching movements using ARMAX model and trajectory monitoring techniques
Fang et al. Skill learning for human-robot interaction using wearable device
Yang et al. Humanoid motion planning of robotic arm based on human arm action feature and reinforcement learning
Rosado et al. Reproduction of human arm movements using Kinect-based motion capture data
Natale et al. Learning precise 3d reaching in a humanoid robot
Liao et al. Dynamic skill learning from human demonstration based on the human arm stiffness estimation model and Riemannian DMP
Rigotti et al. Modeling and driving a reduced human mannequin through motion captured data: A neural network approach
Li et al. An efficient motion generation method for redundant humanoid robot arm based on the intrinsic principles of human arm motion
Kawaharazuka et al. Hardware Design and Learning-Based Software Architecture of Musculoskeletal Wheeled Robot Musashi-W for Real-World Applications
Kawaharazuka et al. Adaptive robotic tool-tip control learning considering online changes in grasping state
Deng et al. Human-like posture correction for seven-degree-of-freedom robotic arm
Yamane Kinematic redundancy resolution for humanoid robots by human motion database
Su et al. Machine learning driven human skill transferring for control of anthropomorphic manipulators
Lin et al. The arm planning with dynamic movement primitive for humanoid service robot
CN116160441A (zh) 一种基于人臂运动预测的机器人遥操作避碰方法
CN115781666A (zh) 一种用于机器人全身模仿***的控制方法
Bing et al. System design and experiment of bionics robotic arm with humanoid characteristics
Tee et al. Singularity-robust modular inverse kinematics for robotic gesture imitation
Yuan et al. Design and input saturation control with full-state constraints of lightweight tendon-driven musculoskeletal arm
Kuang et al. Research on biomimetic coordination action of service robot based on stereo vision
Skoglund Programming by demonstration of robot manipulators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant