CN107738256A - 一种手把手仿人示教机器人编程*** - Google Patents

一种手把手仿人示教机器人编程*** Download PDF

Info

Publication number
CN107738256A
CN107738256A CN201710964621.5A CN201710964621A CN107738256A CN 107738256 A CN107738256 A CN 107738256A CN 201710964621 A CN201710964621 A CN 201710964621A CN 107738256 A CN107738256 A CN 107738256A
Authority
CN
China
Prior art keywords
robot
teaching
point position
image
teach
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710964621.5A
Other languages
English (en)
Inventor
张剑
王勇
郑柱
李泽龙
毕文健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Academy Of South Data Sciences
Original Assignee
Foshan Academy Of South Data Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Academy Of South Data Sciences filed Critical Foshan Academy Of South Data Sciences
Priority to CN201710964621.5A priority Critical patent/CN107738256A/zh
Publication of CN107738256A publication Critical patent/CN107738256A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种手把手仿人示教机器人编程***，包括：示教机器人，用于执行工序动作；数据采集***，用于采集机器人在执行工序动作时关节臂的姿态信息，并发送姿态信息；程序编译***，用于将数据采集***采集的信息在计算机中进行程序编制，并传送到机器人；空间点位采集模块用于完成机器人的示教过程，其通过体感设备识别和捕捉人体肢体动作，获得肢体运动轨迹中的空间点位，以提供给数据处理模块。本发明通过优化的采集识别处理和模块搭建，能够大幅提高识别范围和识别精度，提高示教效率和效果。

Description

一种手把手仿人示教机器人编程***
技术领域
本发明涉及一种编程***，具体是一种手把手仿人示教机器人编程***。
背景技术
以现有的人与机器人间的交互方式，为使机器人按照人的意图进行工作，必须预先向机器人发出指令来规定机器人所要完成的动作以及任务的具体内容，这一过程称为机器人示教或对机器人进行编程。
机器人示教主要包括在线示教和离线编程。在线示教指通常所说的手把手示教，由人直接扳动机器人的手臂对机器人进行示教，如示教盒和示教和操作杆示教。在这种示教中，为了示教方便以及获取信息的快捷而准确，操作者可以选择在不同的坐标系下示教，例如，可以选择关节坐标系，直角坐标系以及工具坐标系或用户坐标系下进行示教。在线示教具有示教过程简单，不需要环境模型；对实际的机器人进行示教时，可以修正机械结构带来的误差等优越性，但也存在一定的技术问题。如机器人的在线示教编程过程繁琐、效率低；示教的精度完全靠示教者的经验目测决定，对于复杂路径难以取得令人满意的示教果；对于一些需要根据外部信息进行实时决策的应用无能为力。
离线编程可以克服在线示教的局限性。离线编程又称离线示教，离线示教与在线示教不同，操作者不对实际作业的机器人直接进行示教，而是脱离实际作业环境生成示教数据，间接地对机器人进行示教。在离线编程中，通过使用计算机内存储的机器人模型(CAD模型)，不要求机器人实际产生运动，便能在示教结果的基础上对机器人的运动进行仿真，从而确定示教内容是否恰当及机器人是否按照示教者期望的方式运动。
机器人离线示教通过机器人离线编程***实现，离线编程不仅要在计算机上建立起机器人***的物理模型，而且要对其进行编程和动画仿真，以及对编程结果后置处理。一般说来。机器人离线编程***包括以下一些主要模块：传感器、机器人***CAD建模、离线编程、图形仿真、人机界面以及后置处理等。其中编程模块一般包括机器人及设备的作业任务描述(包括路径点的设定)、建立变换方程、求解未知矩阵及编制任务程序等。在进行图形仿真以后，根据动态仿真的结果，对程序做适当的修正，以达到满意效果，最后在线控制机器人运动以完成作业。传感器模块的主要作用为减少仿真模型与实际模型之间的误差，增加***操作和程序的可靠性，提高编程效率。后置处理的主要任务是把离线编程的源程序编译为机器人控制***能够识别的目标程序。即当作业程序的仿真结果完全达到作业的要求后，将该作业程序转换成目标机器人的控制程序和数据，并通过通信接口下装到目标机器人控制柜，驱动机器人去完成指定的任务。
目前获取机器人运动轨迹的传统方式一般为在线示教或者离线编程，过程极为繁琐，而且其示教或编程方式较为复杂，示教或编程识别精度和范围有限，示教效率不高。
发明内容
本发明的目的在于提供一种手把手仿人示教机器人编程***，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种手把手仿人示教机器人编程***，包括：
示教机器人，用于执行工序动作；
数据采集***，用于采集机器人在执行工序动作时关节臂的姿态信息，并发送姿态信息；
程序编译***，用于将数据采集***采集的信息在计算机中进行程序编制，并传送到机器人；
空间点位采集模块用于完成机器人的示教过程，其通过体感设备识别和捕捉人体肢体动作，获得肢体运动轨迹中的空间点位，以提供给数据处理模块；
数据处理模块用于对所述空间点位进行滤波和光顺处理，获得适合机器人运动的运动轨迹，并将处理后的空间点位坐标提供给离线编程模块；
离线编程模块用于对运动轨迹中的空间点的坐标进行坐标变换和后置处理，以生成机器人可以执行的代码，用于输出至机器人实现示教。
作为本发明进一步的方案：所述空间点位采集模块通过轮廓识别方式进行特征点位的采集。
作为本发明进一步的方案：所述通过轮廓识别方式进行特征点位的采集包括：获取人体左手手部的空间点位坐标与体感设备视野内RGB彩色图像，以获取到的RGB图像为背景，在RGB图像上画出人体左手手部的连线，以用于实时生成可视化图像。
作为本发明进一步的方案：所述空间点位采集模块通过图像识别的方式进行特征点位的采集。
作为本发明再进一步的方案：所述通过图像识别的方式进行特征点位的采集包括：以多个球体作为手持外设装置识别对象，使得各个球心处的位置作为特征点的位置，并以各球之间的位置关系表示机器人执行元件姿态；通过体感设备获取得到手持外设装置的RGB彩色图像及其深度图像；将得到的RGB图像转换为二进制灰度图像，识别灰度图像中的所有圆形轮廓，并获得每个轮廓的圆心在RGB图像中的位置；在二进制灰度图像中识别轮廓并获得各个球心坐标的位置，然后转换到在RGB图像中各球心所在像素的位置，通过判断RGB图像中该像素的RGB数值即各球的颜色便可辨别出各个特征点
与现有技术相比，本发明的有益效果是：本发明通过优化的采集识别处理和模块搭建，能够大幅提高识别范围和识别精度，提高示教效率和效果。
附图说明
图1为手把手仿人示教机器人编程***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种手把手仿人示教机器人编程***，包括：
示教机器人，用于执行工序动作；
数据采集***，用于采集机器人在执行工序动作时关节臂的姿态信息，并发送姿态信息；
程序编译***，用于将数据采集***采集的信息在计算机中进行程序编制，并传送到机器人；
空间点位采集模块用于完成机器人的示教过程，其通过体感设备识别和捕捉人体肢体动作，获得肢体运动轨迹中的空间点位，以提供给数据处理模块；
数据处理模块用于对所述空间点位进行滤波和光顺处理，获得适合机器人运动的运动轨迹，并将处理后的空间点位坐标提供给离线编程模块；
离线编程模块用于对运动轨迹中的空间点的坐标进行坐标变换和后置处理，以生成机器人可以执行的代码，用于输出至机器人实现示教。
所述空间点位采集模块通过轮廓识别方式进行特征点位的采集。
所述通过轮廓识别方式进行特征点位的采集包括：获取人体左手手部的空间点位坐标与体感设备视野内RGB彩色图像，以获取到的RGB图像为背景，在RGB图像上画出人体左手手部的连线，以用于实时生成可视化图像。
所述空间点位采集模块通过图像识别的方式进行特征点位的采集。
所述通过图像识别的方式进行特征点位的采集包括：以多个球体作为手持外设装置识别对象，使得各个球心处的位置作为特征点的位置，并以各球之间的位置关系表示机器人执行元件姿态；通过体感设备获取得到手持外设装置的RGB彩色图像及其深度图像；将得到的RGB图像转换为二进制灰度图像，识别灰度图像中的所有圆形轮廓，并获得每个轮廓的圆心在RGB图像中的位置；在二进制灰度图像中识别轮廓并获得各个球心坐标的位置，然后转换到在RGB图像中各球心所在像素的位置，通过判断RGB图像中该像素的RGB数值即各球的颜色便可辨别出各个特征点。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种手把手仿人示教机器人编程***，其特征在于，包括：
示教机器人，用于执行工序动作；
数据采集***，用于采集机器人在执行工序动作时关节臂的姿态信息，并发送姿态信息；
程序编译***，用于将数据采集***采集的信息在计算机中进行程序编制，并传送到机器人；
空间点位采集模块用于完成机器人的示教过程，其通过体感设备识别和捕捉人体肢体动作，获得肢体运动轨迹中的空间点位，以提供给数据处理模块；
数据处理模块用于对所述空间点位进行滤波和光顺处理，获得适合机器人运动的运动轨迹，并将处理后的空间点位坐标提供给离线编程模块；
离线编程模块用于对运动轨迹中的空间点的坐标进行坐标变换和后置处理，以生成机器人可以执行的代码，用于输出至机器人实现示教。
2.根据权利要求1所述的手把手仿人示教机器人编程***，其特征在于，所述空间点位采集模块通过轮廓识别方式进行特征点位的采集。
3.根据权利要求1所述的手把手仿人示教机器人编程***，其特征在于，所述通过轮廓识别方式进行特征点位的采集包括：获取人体左手手部的空间点位坐标与体感设备视野内RGB彩色图像，以获取到的RGB图像为背景，在RGB图像上画出人体左手手部的连线，以用于实时生成可视化图像。
4.根据权利要求1所述的手把手仿人示教机器人编程***，其特征在于，所述空间点位采集模块通过图像识别的方式进行特征点位的采集。
5.根据权利要求1所述的手把手仿人示教机器人编程***，其特征在于，所述通过图像识别的方式进行特征点位的采集包括：以多个球体作为手持外设装置识别对象，使得各个球心处的位置作为特征点的位置，并以各球之间的位置关系表示机器人执行元件姿态；通过体感设备获取得到手持外设装置的RGB彩色图像及其深度图像；将得到的RGB图像转换为二进制灰度图像，识别灰度图像中的所有圆形轮廓，并获得每个轮廓的圆心在RGB图像中的位置；在二进制灰度图像中识别轮廓并获得各个球心坐标的位置，然后转换到在RGB图像中各球心所在像素的位置，通过判断RGB图像中该像素的RGB数值即各球的颜色便可辨别出各个特征点。
CN201710964621.5A 2017-10-17 2017-10-17 一种手把手仿人示教机器人编程*** Pending CN107738256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710964621.5A CN107738256A (zh) 2017-10-17 2017-10-17 一种手把手仿人示教机器人编程***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710964621.5A CN107738256A (zh) 2017-10-17 2017-10-17 一种手把手仿人示教机器人编程***

Publications (1)

Publication Number Publication Date
CN107738256A true CN107738256A (zh) 2018-02-27

Family

ID=61237430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710964621.5A Pending CN107738256A (zh) 2017-10-17 2017-10-17 一种手把手仿人示教机器人编程***

Country Status (1)

Country Link
CN (1) CN107738256A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113710430A (zh) * 2019-03-07 2021-11-26 万德博茨有限公司 方法、***和非易失性存储介质
CN114029949A (zh) * 2021-11-08 2022-02-11 北京市商汤科技开发有限公司 机器人动作编辑方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204322082U (zh) * 2014-12-26 2015-05-13 佛山市新鹏机器人技术有限公司 一种基于示教机器人的离线编程示教装置
CN105500370A (zh) * 2015-12-21 2016-04-20 华中科技大学 一种基于体感技术的机器人离线示教编程***及方法
CN106965199A (zh) * 2017-05-08 2017-07-21 北京艾利特科技有限公司 一种体感示教终端及示教方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204322082U (zh) * 2014-12-26 2015-05-13 佛山市新鹏机器人技术有限公司 一种基于示教机器人的离线编程示教装置
CN105500370A (zh) * 2015-12-21 2016-04-20 华中科技大学 一种基于体感技术的机器人离线示教编程***及方法
CN106965199A (zh) * 2017-05-08 2017-07-21 北京艾利特科技有限公司 一种体感示教终端及示教方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113710430A (zh) * 2019-03-07 2021-11-26 万德博茨有限公司 方法、***和非易失性存储介质
CN114029949A (zh) * 2021-11-08 2022-02-11 北京市商汤科技开发有限公司 机器人动作编辑方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Ostanin et al. Interactive robot programing using mixed reality
CN105291138B (zh) 一种增强虚拟现实浸入感的视觉反馈平台
CN106041928B (zh) 一种基于工件模型的机器人作业任务生成方法
Aleotti et al. Robust trajectory learning and approximation for robot programming by demonstration
CN105945942A (zh) 一种机器人离线编程***及方法
CN105500370B (zh) 一种基于体感技术的机器人离线示教编程***及方法
CN110815189B (zh) 基于混合现实的机器人快速示教***及方法
Oprea et al. A visually realistic grasping system for object manipulation and interaction in virtual reality environments
CN110434856B (zh) 一种焊接控制方法、装置、存储介质及焊接机器人
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN109262609A (zh) 基于虚拟现实技术的机械臂远程控制***及方法
CN106313049A (zh) 一种仿人机械臂体感控制***及控制方法
CN107272447A (zh) 一种仿真方法、仿真装置以及机器人仿真***
CN107257946B (zh) 用于虚拟调试的***
CN106529838A (zh) 虚拟装配方法及装置
CN107577159A (zh) 扩增实境仿真***
CN107738256A (zh) 一种手把手仿人示教机器人编程***
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教***
Mayer et al. Automation of manual tasks for minimally invasive surgery
Dyck et al. Mixed mock-up–development of an interactive augmented reality system for assembly planning
Aleotti et al. Trajectory reconstruction with nurbs curves for robot programming by demonstration
Cichon et al. Robotic teleoperation: Mediated and supported by virtual testbeds
CN111113426A (zh) 一种基于cad平台的机器人离线编程***
CN115481489A (zh) 基于增强现实的白车身与生产线适配性验证***及方法
Marín et al. A predictive interface based on virtual and augmented reality for task specification in a Web telerobotic system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180227

RJ01 Rejection of invention patent application after publication