CN110142769B - 基于人体姿态识别的ros平台在线机械臂示教*** - Google Patents

基于人体姿态识别的ros平台在线机械臂示教*** Download PDF

Info

Publication number
CN110142769B
CN110142769B CN201910287288.8A CN201910287288A CN110142769B CN 110142769 B CN110142769 B CN 110142769B CN 201910287288 A CN201910287288 A CN 201910287288A CN 110142769 B CN110142769 B CN 110142769B
Authority
CN
China
Prior art keywords
module
robot
human body
posture
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910287288.8A
Other languages
English (en)
Other versions
CN110142769A (zh
Inventor
禹鑫燚
胡晨佳
董云帆
欧林林
王正安
周晨
章焕锭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910287288.8A priority Critical patent/CN110142769B/zh
Publication of CN110142769A publication Critical patent/CN110142769A/zh
Application granted granted Critical
Publication of CN110142769B publication Critical patent/CN110142769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

基于人体姿态识别的ROS平台在线机械臂示教***，搭建在开源机器人操作平台ROS之上，包括：用于采集人体姿态数据的IMU模块、图像预处理模块以及关节识别模块，用于求解人体实时姿态与位置的人体姿态求解模块，用于控制机械臂动作的机器人行为决策模块与机器人IO模块。其中，机器人决策模块根据求得的人体姿态数据发出控制指令，该指令通过机器人IO模块发送至机械臂以实现实时示教。还包括信息显示模块。本发明提供一种对操作人员技术水平要求低、精度高、操作环境限制小的在线机械臂示教***。

Description

基于人体姿态识别的ROS平台在线机械臂示教***
技术领域
本发明设计一种在线机械臂示教***，尤其是一种基于人体姿态识别的ROS平台在线机械臂示教***。
背景技术
近年，我国机器人行业飞速发展，以长三角、珠三角地区城市为首，全国已有36个城市将机器人作为当地产业发展重点，财政补助额度大幅增长。浙江省省级财政已累计安排近6亿资金支持“机器换人”技术改造，出台工业机器人购置奖励补贴政策，省与地方1:2配套，购置工业机器人按价格10％补贴。根据预测，2020年我国工业机器人本体的市场规模将达到380亿元。《机器人产业发展规划(2016-2020年)》指出，到2020年，我国工业机器人使用密度将超过150台/万人。
目前我国机器人行业主要集中在机器人本体和继承端。工业机器人的编程软件主要由国外企业开发，价格昂贵且对中文的支持也不好等劣势极大地阻碍了我国“机器换人”技术改造。目前机器人的示教方式主要有离线示教、虚拟示教及直接示教三种。其中离线示教对操作人员的技术水平要求较高；虚拟示教需要先构建复杂的作业环境，操作繁琐且成本较高；直接示教虽然操作简单、成本低，但无法用于高精度作业。因此一款灵活精确且具有普遍推广性的机器人示教***是目前工业机器人市场所缺乏的，极具实用意义。
相较与传统的机器人示教***，如申请号201710396562.6设计的对机械臂的主从模式示教***，该示教***要求操作人员拖动主控机械臂使从动机械臂按照主控机械臂示教轨迹运行，虽然能很好的适用于非重复性和实时控制要求较高的工作，但由于操作人员与机械臂直接接触而存在一定安全隐患。本发明通过人体进行示教，操作人员只需穿戴相应的传感器，上位机通过传感器获取人体运动的实时轨迹信息向机械臂发出控制指令使之进行相同的动作，不存在安全隐患，可远程在线示教，且示教过程更加简单。申请号201711088599.9设计的基于手势控制的机械臂示教***也采用了对工作端安装传感器来获取运动信息的方式，但控制精度不高。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于ROS开发的新型机器人示教***。
本发明通过基于视觉和IMU的人体动作捕捉技术来进行示教，让机器人的使用变得更加方便灵活，提高示教效率，降低***成本的同时也保证了机器人动作再现的精度，让机器人能够运用于更多场景，以达到可以使用一个特定的示教***用极低的价格解决机器人示教问题。
本发明为解决现有技术问题所采用的技术方案是：
一种基于人体姿态识别的ROS平台在线机械臂示教***，搭建在开源机器人操作平台ROS之上，包括：用于采集人体姿态数据的IMU模块、图像预处理模块以及关节识别模块，用于求解人体实时姿态与位置的人体姿态求解模块，用于控制机械臂动作的机器人行为决策模块与机器人IO模块；其中，机器人决策模块根据求得的人体姿态数据发出控制指令，该控制指令通过机器人IO模块发送至机械臂以实现实时示教；
IMU模块，用于对IMU传输给上位机的信息进行解析，解析完成后把测量数据转换至参考坐标系下，并将加速度信息和旋转信息提供给人体姿态的优化求解器中。
图像预处理模块，用于确定参考坐标系的位置，并将参考坐标系发布至tf空间中。tf(Transform Frame)是软件库，它可以处理机器人不同位置坐标系，机器人不同部位和世界的坐标系以tree structure的形式存储起来，tf可以使任何两个坐标系之间的点和向量相互转化。此外，该模块还用于为关节识别模块提供各个相机的彩色图像在降采样并拼接后的图像，并将图像发布给关节位置识别模块。
关节位置识别模块，用于对所有画面中的人物的关节位置进行位置识别，通过对从预处理模块中获得的多个相机的拼接图像进行识别，使得同一画面即使出现多人的情况下也不会明显的降低算法的性能。通过对输出的结果进行置信度过滤，并去除与上一帧识别结果相差过大的对象，最后将唯一剩余的对象的关节数据发布给人体姿态求解模块。
信息显示模块，用于实时显示3D的人体姿态和机器人姿态，同时能够将人体姿态模块求解的三维姿态结果重新投影至相机拍摄的图像中，以便操作人员观察自身姿态识别是否正常。同时，该模块也会显示机器人的行动目标，以此操作人员可监控示教状态。
人体姿态求解模块，用于接收IMU模块和关节位置识别模块提供的信息并解算重构出人体的姿态，在每一帧信息求解结束后会将人体的姿态和位置信息以参考坐标系为准发布至tf空间中。
机器人行为决策模块，用于根据tf空间中机器人自身与周边操作人员的情况来进行行为决策，给出机器人的运动目标，并向机器人IO模块发出控制指令。此外该模块也会对操作人员不合理的指示进行过滤或重新定向，并向操作人员发出提示或警告。
机器人IO模块，用于求解机械臂基座位姿态，并通过正运动学求解，向tf空间实时发送机器人的空间运动状态。此外，该模块也提供了控制机器人的接口，对机器人的控制指令可以通过该模块进行实际的执行。
优选地，所述的IMU模块提供的旋转信息、加速度信息和关节识别模块提供的2D关节位置信息共同用于该***中人体姿态的解算。
优选地，所述的信息显示模块通过接收人体姿态求解模块和机械臂IO模块提供的信息可反馈给操作者自身的动作姿态和机械臂再现的姿态，为操作者实时监控示教***搭建了平台，增强了***的可靠性，安全性。
选有的，所述的机器人行为决策模块内置控制算法以实现平滑运动。同时可对不合理操作指示进行过滤或重新定向，并向操作人员发出提示或警告。
本发明的优点和积极效果是：
本发明使用的示教者动作捕捉为视觉数据采集和IMU信息采集相结合的技术，视觉和IMU的结合既削减了只使用IMU人体捕捉的线性加速度易造成的误差，提高了示教***的精确度，又保留了IMU人体捕捉技术低成本、高效率、高灵活度的优点。较之于离线示教和虚拟示教，示教者只需要在相机下佩戴IMU惯性测量单元执行示教动作即可完成整个示教过程，降低了操作人员的技术水平要求和***成本，具有简单、高效、低成本的特点。相比于直接示教，该技术使用了2D关节位置信息、旋转信息和加速度信息共同计算人体姿态，因此具备高精度、操作环境限制小的优势，使得该***在绝大部分场合都能成功进行示教。
本发明的技术、算法具有横向领先型，涵盖了机器人标定算法、数据采集技术、人体姿态识别和动作捕捉技术，并将研究成果集成于机器人中，搭建成一个完成的机器人示教***。多种算法融合了经典的传统算法和新颖的深度学习算法，不仅拥有较高的检测率，还具备较强的实时性和智能交互性。
本发明能够让机器人通过视觉学习作业人员的行为来完成轨迹规划，避免了繁琐的离线编程以及对作业人员的编程能力，仅需要一名富有经验的操作人员完成一遍动作即可，缓解了急缺人才资源的社会问题。
附图说明
图1是本发明的***框图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于人体姿态识别的ROS平台在线机械臂示教***，如图1所示，包括彩色摄像机Microsoft KinectV2两台，基于JY901和蓝牙模块制作的IMU五个，安装Ubuntu***的计算机一台，Universal Robot公司生产的UR5机械臂一台。相机与计算机通过USB连接传输数据，IMU与电脑通过蓝牙进行数据传输，机械臂通过局域网与计算机相连接。本***中计算机的CPU使用Intel Core i7-7800K 3.50Ghz，GPU使用的是Nvidia TITAN Xp。
结合图1，本发明专利的原理及使用过程如下：
图像预处理模块首先将被彩色相机识别的AR标识ArUco Marker#0作为整个***的参考坐标系和IMU的参考坐标系。然后操作者可根据自己需要跟踪的骨骼需求对肢体进行IMU的粘贴，在本实例中，操作者在背部，上臂和手背分别粘贴了IMU，用于估计上肢的姿态。在开始采集操作者的姿态信息前，操作者需要按照预先设定的姿势站立来进行一次对IMU和跟踪骨骼之间固定的旋转变换的标定；在标定过程中，操作者的站立方向需与参考坐标系的方向一致以保证加速度信息能被正确的利用。IMU通过蓝牙以16进制数据包的形式向上位机发送测量数据，上位机将数据解析后将数据传输到人体姿态求解模块中。关节位置识别模块使用了CPM(Convolutional Pose Machine)对预处理模块输出的图像中的人体关节位置进行识别，并将关节位置信息输出至人体姿态求解模块。人体姿态求解模块结合IMU模块和关节位置识别模块输出的信息，对人体姿态进行求解。这之后人体姿态求解模块的结果将通过tf空间传递到机器人行为决策模块当中，通过已知的人体姿态，用逆运动学解出需要向机械臂发送的示教指令，通过IO模块的输出后实现示教。其中该流程中的信息显示模块可以接收人体姿态求解模块和机器人IO模块的信息，以此向操作者显示自身姿态在ROS平台上求解后的变化和机器人最终执行的真实示教动作，如图1所示。
要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他等同实施方式，同样属于本发明的保护范围。

Claims (2)

1.一种基于人体姿态识别的ROS平台在线机械臂示教***，搭建在开源机器人操作平台ROS之上，包括彩色摄像机Microsoft KinectV2两台，基于JY901和蓝牙模块制作的IMU五个，安装Ubuntu***的计算机一台，Universal Robot公司生产的UR5机械臂一台；彩色摄像机与计算机通过USB连接传输数据，IMU与电脑通过蓝牙进行数据传输，机械臂通过局域网与计算机相连接，计算机包括：用于采集人体姿态数据的IMU模块、图像预处理模块以及关节识别模块，用于求解人体实时姿态与位置的人体姿态求解模块，用于控制机械臂动作的机器人行为决策模块与机器人IO模块；其中，机器人决策模块根据求得的人体姿态数据发出控制指令，该控制指令通过机器人IO模块发送至机械臂以实现实时示教，其特征在于：包括：
IMU模块，包括惯性测量单元IMU，为人体姿态求解模块提供IMU的测量数据；求解硬件***内部信息，以数据包形式向上位机发送测量数据，上位机拥有解包模块将数据就行解析；解包完成后把测量数据转换至参考坐标系下，并将加速度信息和旋转信息提供给人体姿态的优化求解器中；
图像预处理模块，用于确定参考坐标系的位置，并将参考坐标系发布至tf空间中；tf(Transform Frame)是软件库，它可以处理机器人不同位置坐标系，机器人不同部位和世界的坐标系以tree structure 的形式存储起来，tf可以使任何两个坐标系之间的点和向量相互转化；图像预处理模块还用于为关节识别模块提供各个相机的彩色图像在降采样并拼接后的图像，并将图像发布给关节位置识别模块；
关节位置识别模块，用于对所有画面中的人物的关节位置进行位置识别，通过对从图像预处理模块中获得的多个相机的拼接图像进行识别，使得同一画面即使出现多人的情况下也不会明显的降低算法的性能；通过对输出的结果进行置信度过滤，并去除与上一帧识别结果相差过大的对象，最后将唯一剩余的对象的关节数据发布给人体姿态求解模块；
信息显示模块，用于将人体姿态模块求解的三维姿态结果重新投影至相机拍摄的图像中，以便操作人员和监控人员可以观察自身姿态识别是否正常；信息显示模块也会显示机器人目前姿态和行动目标，辅助操作人员监控示教状态；
人体姿态求解模块，用于接收IMU模块和关节位置识别模块提供的信息并解算重构出人体的姿态，在每一帧信息求解结束后会将人体的姿态和位置信息以参考坐标系为准发布至tf空间中；
机器人行为决策模块，用于根据tf空间中机器人自身与周边操作人员的情况来进行行为决策，给出机器人的运动目标，并向机器人IO模块发出控制指令；机器人行为决策模块也会对操作人员不合理的指示进行过滤或重新定向，并向操作人员发出提示或警告；
机器人IO模块，用于求解机械臂基座姿态，并通过正运动学求解，向tf空间实时发送机器人的空间运动状态；此外，机器人IO模块也提供了控制机器人的接口，对机器人的控制指令可以通过该模块进行实际的执行；
所述的IMU模块提供的旋转信息、加速度信息和关节识别模块提供的2D关节位置信息共同用于人体姿态的解算；
所述的信息显示模块通过接收人体姿态求解模块和机械臂IO模块提供的信息可反馈给操作者自身的动作姿态和机械臂再现的姿态，为操作者实时监控示教***搭建了平台。
2.根据权利要求 1所述的基于人体姿态识别的ROS平台在线机械臂示教***，其特征在于：所述的机器人行为决策模块内置控制算法以实现平滑运动；同时对不合理操作指示进行过滤或重新定向，并向操作人员发出提示或警告。
CN201910287288.8A 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教*** Active CN110142769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910287288.8A CN110142769B (zh) 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910287288.8A CN110142769B (zh) 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教***

Publications (2)

Publication Number Publication Date
CN110142769A CN110142769A (zh) 2019-08-20
CN110142769B true CN110142769B (zh) 2021-10-15

Family

ID=67589637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910287288.8A Active CN110142769B (zh) 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教***

Country Status (1)

Country Link
CN (1) CN110142769B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111231892A (zh) * 2019-12-29 2020-06-05 的卢技术有限公司 一种基于人脸和手势识别的汽车自动解锁控制方法及***
CN111823215A (zh) * 2020-06-08 2020-10-27 深圳市越疆科技有限公司 一种工业机器人的同步控制方法及装置
CN112959330B (zh) * 2021-02-02 2022-05-17 浙江大学 基于主从动态运动基元的机器人双臂运动人机对应装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104552299A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种机器人离线示教装置及补偿示教方法
CN108127673A (zh) * 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互***
EP3368954A1 (de) * 2015-10-30 2018-09-05 Kaba Ag Verfahren, steuerungssystem und bewegungsvorgabemittel zum steuern der bewegungen von gelenkarmen eines industrieroboters
KR20190027490A (ko) * 2017-09-07 2019-03-15 전자부품연구원 옥내 소화전 사용 훈련을 위한 키넥트 센서 및 imu 기반 모션 트래킹 방법
CN109465832A (zh) * 2018-12-18 2019-03-15 哈尔滨工业大学（深圳） 高精度视觉和imu紧融合定位方法与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104552299A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种机器人离线示教装置及补偿示教方法
EP3368954A1 (de) * 2015-10-30 2018-09-05 Kaba Ag Verfahren, steuerungssystem und bewegungsvorgabemittel zum steuern der bewegungen von gelenkarmen eines industrieroboters
KR20190027490A (ko) * 2017-09-07 2019-03-15 전자부품연구원 옥내 소화전 사용 훈련을 위한 키넥트 센서 및 imu 기반 모션 트래킹 방법
CN108127673A (zh) * 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互***
CN109465832A (zh) * 2018-12-18 2019-03-15 哈尔滨工业大学（深圳） 高精度视觉和imu紧融合定位方法与***

Also Published As

Publication number Publication date
CN110142769A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及***
Park et al. Deep learning-based smart task assistance in wearable augmented reality
CN110142769B (zh) 基于人体姿态识别的ros平台在线机械臂示教***
CN110216674B (zh) 一种冗余自由度机械臂视觉伺服避障***
US20160128450A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN111526118A (zh) 一种基于混合现实的远程操作引导***及方法
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
Kohn et al. Towards a real-time environment reconstruction for VR-based teleoperation through model segmentation
CN105965519A (zh) 一种视觉引导下的离合器下料定位方法
US20130202212A1 (en) Information processing apparatus, information processing method, and computer program
US11504846B2 (en) Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof
CN107122045A (zh) 一种基于混合现实技术的虚拟人机示教***及方法
CN109848964A (zh) 基于光学动作捕捉的示教机器人数据采集***
CN113219926A (zh) 基于数字孪生***的人机共融制造单元安全风险评估方法
Liu et al. A mixed perception-based human-robot collaborative maintenance approach driven by augmented reality and online deep reinforcement learning
Collett et al. Augmented reality visualisation for player
CN114800524B (zh) 一种人机交互协作机器人主动避碰的***及方法
CN111898552A (zh) 一种判别人员关注目标物的方法、装置及计算机设备
Broun et al. Bootstrapping a robot’s kinematic model
Redžepagić et al. A sense of quality for augmented reality assisted process guidance
CN112181135B (zh) 一种基于增强现实的6-dof视触觉交互方法
CN112947752B (zh) 一种基于智能设备的协同式人机交互控制方法
Ma et al. A framework for interactive work design based on digital work analysis and simulation
Sanjeewa et al. Understanding the hand gesture command to visual attention model for mobile robot navigation: service robots in domestic environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant