CN106182042B - 借助相机选择设备或对象 - Google Patents

借助相机选择设备或对象 Download PDF

Info

Publication number
CN106182042B
CN106182042B CN201610346582.8A CN201610346582A CN106182042B CN 106182042 B CN106182042 B CN 106182042B CN 201610346582 A CN201610346582 A CN 201610346582A CN 106182042 B CN106182042 B CN 106182042B
Authority
CN
China
Prior art keywords
effector system
portable terminal
camera
effector
executor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610346582.8A
Other languages
English (en)
Other versions
CN106182042A (zh
Inventor
格哈德·希藤曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Publication of CN106182042A publication Critical patent/CN106182042A/zh
Application granted granted Critical
Publication of CN106182042B publication Critical patent/CN106182042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/106—Programme-controlled manipulators characterised by positioning means for manipulator elements with articulated links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39444—Display of position, of shape of robot and tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)

Abstract

本发明涉及一种借助便携式终端设备操控操纵器***的方法，一种相应的便携式终端设备以及一种机器人***。在此，该便携式终端设备包括3D相机，该3D相机优选是全光相机。在此，根据本发明的方法还包括借助便携式终端设备的3D相机从待操控的操纵器***的至少一个部分起检测三维图像，并识别该操纵器***的至少一个可操控的对象。

Description

借助相机选择设备或对象
技术领域
本发明涉及一种借助便携式终端设备选择和操控操纵器***的方法，本发明还涉及一种相应的便携式终端设备以及一种操纵器***。
背景技术
操纵器、特别是工业机器人是可自由编程的程控操作设备。这种操纵器可以由多个可移动的、彼此链接的节肢或轴组成，由此定义了运动学链(kinematische Kette)。
为了能够使用操纵器，通常必须将其投入运行中并为其编程。在调试阶段将产生用于此后对操纵器程序进行编程的前提条件。另外，例如在调试时还将校准操纵器，使操纵器的末端执行器或工具(例如夹持器)参数化，调准移动平台的一个或多个激光扫描仪，定义操纵器的工作和禁止区域，使受机器人引导的或静止的相机参数化，或者还定义坐标系，例如基本坐标系。
在创建操纵器程序的过程中，可以形成各种针对设备和/或对象应用的不同指令并以所期望的顺序排列。在此例如可以定义为，操纵器应当以一定的方式在起始点和目标点之间行进，可移动平台应当沿着一定的轨迹运动，末端执行器应当执行所期望的操作，或者应当通过照相机来拍摄图像等。
对操纵器的调试或编程经常在现场借助于便携式终端设备进行。为了构建待执行的任务和/或操纵器的可控制的对象，操作设备的操作面通常采用树形结构/或菜单结构。在此，这种结构可以表现为不同的，并且例如针对功能或者针对对象或设备来划分。当然，这种树形结构的使用在大多数情况下是不明显的，因为通常必须描绘或提供较大数量的设备、对象和/或任务。因此对于使用者想要执行的各种任务而言，按照正确的菜单点进行搜寻经常表现为很艰难：使用者或操作者必须费力地根据树形结构来确定方位，直至其找到合适的元件。
发明内容
因此，本发明的目的在于提出一种方法，利用该方法能够简单且直观地选择操纵器控制任务。在此，本发明的目的特别是在于提出一种能够在无需较大成本的情况下直接操控操纵器或机器人的方法。此外，本发明的目的还在于提出一种操作设备和一种操纵器***，利用该操作设备和操纵器***可以操控操纵器，在此至少部分地排除了前述的缺点。
该目的和在以下的说明书中所见的其他目的通过一种借助便携式终端设备操控操纵器***的方法来实现。
本发明的一个方面包括一种借助便携式终端设备操控操纵器***的方法。在此，操纵器***可以包括多个操纵器或者说机器人，例如安装在无人驾驶自主运输车辆上的关节臂机器人。便携式终端设备例如也可以是机器人操作设备，或者也可以是移动消费设备(例如平板电脑、智能手机、智能手表等)。在任何情况下，优选便携式终端设备包括相机，该相机使得能够检测主题的图像。特别优选相机是3D相机，其能够检测主题的三维图像。
根据本发明的方法包括：借助便携式终端设备的相机检测待操控的操纵器***的至少一个部分的图像。例如可以检测操纵器***的机器人臂，或者例如检测应当受到操控的夹持器。优选检测操纵器***的应当受到操控的那一部分的图像。
此外，该方法还包括：基于检测到的图像来确定操纵器***的特征。在此，操纵器***的这些特征或者属性对于操纵器***而言是非常有代表性的，从而能够借助所确定的特征来反映(识别)操纵器***。
此外，该方法还包括：基于所确定的特征识别操纵器***的至少一个可操控的对象，以及对操纵器***进行操控。由此，可以借助所确定的特征来识别可操控的对象(例如操纵器的夹持器)。
因此，根据本发明的方法允许在例如建立应用任务的各个阶段中，直观地选择并操控所需要的操纵器***的设备或对象，以便例如使对象被参数化、行动、诊断等。在此，不需要艰难地搜寻菜单树和/或指令列表。便携式终端设备的使用者仅仅必须借助相机来检测图像，由此能够自动地识别操纵器***的一个或多个可操控的对象。在此，用户可以有利地相对于操纵器***处于任何位置和方向，并在任何时间通过例如激活相机来获取操纵器***的操纵器或者对象或设备的与背景相关或无关的功能或信息。
优选相机是3D相机，并且借助于该3D相机检测的图像是三维图像。此外，在此使用3D相机的优点在于，使得便携式终端设备的操作者也可以相对于待操控的操纵器***位于较远的(并因此更安全的)距离上。有利的是仅仅必须检测一个图像，因为所产生的三维图像包含有足够的信息来实施根据本发明的方法。
根据本发明的方法还包括：提供待操控的操纵器***的参考数据组。特别优选这种数据组的提供可以包括借助便携式终端设备示教操纵器***的至少可操控的对象。例如，用户可以在学习模式下示教操纵器***的一个或所有的设备或对象。在此，例如可以借助3D相机从多个方向对各个设备或对象成像，并根据该成像定义各个设备或对象。该参考数据组用于随后识别待操控的操纵器***或者说该***的对象。
此外，优选确定操纵器***的特征还包括执行图像识别过程，该图像识别过程是基于所检测到的三维图像和优选提供的参考数据组来识别特征。因此，例如可以通过将三维图像与所提供的参考数据组进行比较来识别也包含在三维图像中的特征。例如，该特征可以是夹持器的有代表性的一部分夹持器。由此可以在操作成本不高的情况下操控操纵器***。
优选便携式终端设备包括显示装置，该显示装置又优选包括触摸板。在此，这种触摸板(或者触摸屏、触摸显示器、对接触灵敏的屏幕或接触屏幕)可以是输入和输出设备的组合，操作人员可以通过对部分触摸板或屏幕的接触实现与它们的互动。此外，优选该方法还包括：在便携式终端设备的显示装置上显示所检测到的三维图像。由此使得便携式终端设备的使用者能够立即看到至少一部分待操控操纵器***的图像，并且有利地确定是否检测到合适的图像，即，例如是否检测到操纵器***的应当***控的对象。
此外，优选该方法还包括：在便携式终端设备的显示装置上显示光学标识，该光学表示指定(spezifiziert)操纵器***的被识别的对象。由此可以在显示装置上直接看出哪个对象被识别或者说被确认。由此，能够以简单、直观的方式为使用者提供直接的反馈或直接的回应。
此外，优选对操纵器***的操控包括：由便携式终端设备的使用者来选择所识别的操纵器***的对象。即，使用者借助便携式终端设备主动地选择出所识别的并且优先要***控的对象。为此，例如使用者可以在触摸板上点击已被识别的对象(例如夹持器)，并进一步优选利用相应的光学标识在显示装置(即触摸板)上标记并指定。随后，作为对点击的回应，例如夹持器可以被打开或关闭。因此，优选对所识别的操纵器***的对象的选择包括：在便携式终端设备的显示装置上选择光学标识。即，使用者可以直接确认，所示出图像的哪一个对象能够被选择并操控。
优选有操纵器***的至少两个对象被识别，并在便携式终端设备的显示装置上显示至少两个光学标识，在此，每个光学标识指定操纵器***的一个被识别出的对象。由此，操纵器***具有至少两个可操控的对象，并且使用者可以直观地直接确认其能够选择并操控哪个对象，在此有利的是无需对菜单树等实行艰难的搜寻。
优选对操纵器***的操控包括对操纵器***的被识别的对象的操控。也就是说，能够有利地准确操控被识别的对象。例如，使用者可以为便携式终端设备如下地取向：检测对象(例如夹持器)的三维图像，对其进行识别并直接实施操控，从而例如在该夹持器打开的情况下夹持器使其闭合，反之亦然。因此对于特定的任务而言，通过这种方式可以非常直观、有效地利用操纵器***，而不必艰难地在菜单树或指令树中确定方位。如果有多于一个的可操控对象被识别，则优选可以直接地操控离所检测到的三维图像的图像中心最近的那个对象。因此，使用者可以通过对3D相机的合适取向来影响：应当借助根据本发明的方法对操纵器***的哪个对象进行操控。
优选对操纵器***的操控包括查询、提供、建立和/或改变操纵器***的数据，在此，优选这些数据描述了以下所述的至少一项：对操纵器***的校正和/或定向，对末端执行器的参数化，对操纵器和/或末端执行器的校准，对工作区域的设定，对操纵器***的对象的参数化，对坐标系的定义或程序流程。在此，坐标系可以例如是基础坐标系、机器人坐标系、工具坐标系或法兰坐标系，在此不限于该列表。因此，借助根据本发明的方法可以直观地实施对操纵器的启动。借助于该方法，特别是可以在对操纵器编程时设定程序流程。在此，这种程序流程可以描述出各个轨迹点以及在这些轨迹点之间的运动。通过例如建立和/或改变描述程序流程的数据，编程者可以借助该方法简单并直观地实施对操纵器的编程。在此，本领域技术人员明白的是：通过使编程者例如离线地对操纵器进行编程，并根据所建立的程序流程使操纵器在之后的时间点上运动，可以间接地实现对操纵器***的操控。
优选对操纵器***的操控包括建立、改变和/或实施一功能或一程序，由此可以有利地执行以下所述中的至少一项：使末端执行器动作(例如使夹持器张开或闭合)，使操纵器***的对象运动，控制操纵器***的对象，使操纵器运动，控制操纵器或改变程序流程。因此例如可以简单、直观地实现对操纵器的编程。
此外，优选该方法还包括在考虑到所确定特征的条件下借助显示装置显示取决于背景的数据。在此，进一步优选在考虑到使用者输入的情况下来显示取决于背景的数据。因此，这种在显示装置上所进行的显示例如可以取决于是选择启动模式还是编程模式。在启动模式中，当选择夹持器时，例如可以显示出夹持器的几何尺寸测量值、重量值、重心、惯性值、体积模型、入口/出口的分配等。通过例如选择激光扫描仪，可以显示出用于校准该激光的菜单。相反在编程模式中，如果应该选择夹持器，则可以显示出编程者能够利用夹持器执行的动作(例如打开/闭合夹持器)夹持器。通过在编程模式中选择机器人臂，可以显示机器人臂能够实施的可能的动作(例如线性运动)。这些取决于背景的信息能够附加地辅助操作者，并允许直观地进行工作。
优选3D相机是基于光场传感器原理的全光相机(plenoptische Kamera)。这种光场传感器由微镜头的场景组成，并且保持光和被拍摄对象的颜色。此外，还可以检测光线进入的方向。因此，借助于光场传感器可以改变图像的焦点，并且可以建立所拍摄对象的3D模型。优选对三维图像的检测包括借助于全光相机从待操控的操纵器***的至少一部分起检测四维的光场。由此，可以基于所检测到的高精度图像来确定操纵器***的特征。
本发明的另一个方面涉及一种便携式终端设备，包括相机和设备控制器，在此将设备控制器设计为，管理根据本发明的用于操控操纵器***的方法。在此优选该便携式终端设备可以具有较小的尺寸，因为不再需要繁琐地显示树形结构。在此优选相机是3D相机。
本发明的另一个方面涉及一种操纵器***，其包括操纵器和便携式终端设备，该便携式终端设备包括相机，在此，该操纵器***还具有操纵器控制器，该操纵器控制器被设计用于执行根据本发明的用于操控操纵器***的方法。在此优选相机是3D相机。特别优选便携式终端设备的相机是光场相机。
附图说明
下面参照附图对本发明进行详细的说明。其中：
图1示例性示出了一种操纵器***；
图2和图3示例性示出了便携式终端设备的视图，和
图4示意性地示出了根据本发明的用于操控操纵器***的方法的示例性流程图。
其中，附图标记列表如下：
10 操纵器***
11 关节臂机器人
12 夹持器
13 自主运输车辆
14，15，16 传感器
20 便携式终端设备
21 触摸显示器(触摸板)
22 按键
30 操作者
41，42，43，43′，44，45，46 标记
具体实施方式
在图1中示例性示出了一种操纵器***10，该操纵器***由关节臂机器人11和自主运输车辆13组成。在此，该操纵器***10包括多个可操控的对象，例如关节臂机器人11本身、关节臂机器人11的夹持器12、自主运输车辆13本身或者各种传感器14、15、16，这些传感器例如可以包括激光扫描仪。为了在本发明的思想下操控操纵器***10，包括有3D相机的便携式终端设备的使用者借助3D相机拍摄图像。
在图2中示例性示出了这种便携式终端设备20，其具有触摸显示器并且由操作者30操作。在触摸显示器21上显示出借助便携式终端设备20检测到的如图1所示操纵器***10的图像。根据本发明的思想，需要识别操纵器***10的多个可操控对象，并通过相应的标记41、42、43、44、45、46在触摸显示器中标出或者说列出。为了选出所识别的对象，操作者30例如可以在触摸显示器上点击所期望的待操控对象的标识，以便能够直观地挑选和相应地操控该对象。如在图3中通过附图标记43′所示，所选出的可操控对象可以利用特别的标识来标出，该特别标识的颜色例如不同于其他的标识。例如，选择自主运输车辆13，其仅通过标识43′被标出，该标识的颜色与其他的标识不同。替代地，也可以自动地挑选最靠近图像中心的对象。
便携式终端设备20具有3D相机(未示出)，也具有不同的按键22，所述按键可以用于控制便携式终端设备，例如变焦、激活相机功能或者控制不同的进程，例如控制根据本发明的用于操控操纵器***的方法的各个进程。
在图4中示出了根据本发明的用于操控操纵器***的方法的示例性流程。下面将参照在其他附图中示出的组件对该方法进行说明，但是并不局限于此。
该方法开始于步骤51，在该步骤中示教(eingelernt)应用区域的设备或对象。为此，借助于便携式终端设备20的3D相机从多个方向记录设备或对象(例如操纵器***10的可操控组件)，并基于这些记录来示教这些设备或对象。
在步骤52中，应用者可以针对所学习的对象再附加地定义子对象。例如，如果将一机器人臂示教为可操控对象，则可以将该机器人臂的各个关节定义为子对象。同样，例如可以将夹持器的左夹钳或右夹钳定义为夹持器的子对象。在步骤53中，可以为所学习的对象或者所定义的子对象分配确定的动作或任务。
在步骤54中，应当针对所期望的对象选择或者说执行一动作或一任务。在本示例中，应当操控自主运输车辆13。为此，操作者30按下便携式终端设备20的相应按键22，以激活3D相机的照相功能。相机的取景器对准操纵器***10的展示或包含待操控对象的那一部分。终端设备20的显示部分或触摸显示器21显示出所选择的图像区。
在步骤55中，基于所检测到的三维图像确定操纵器***10的至少一个特征，并对操纵器***的包含在所检测到的图像中的所有可操控对象进行识别并在触摸显示器上例如通过蓝色的符号相应地标出。随后，操作者30选择所期望的待操控对象并对其进行操控。为此，例如可以在选择后通过点击触摸显示器21而在触摸显示器21上显示出可能的动作的列表，该列表例如包括动作“使对象转动”。通过选择这个动作，可以通过相应的控制器如下地操控所选择的自主运输车辆工具13：使得该自主运输车辆转动。

Claims (16)

1.一种借助便携式终端设备(20)操控操纵器***(10)的方法，其中，所述便携式终端设备(20)包括相机，所述方法具有以下步骤：
借助所述便携式终端设备(20)的相机检测待操控的操纵器***(10)的至少一个部分；
基于所检测到的图像确定所述操纵器***(10)的特征，其中，由所述操纵器***的操纵器自身来限定所述特征；
基于所确定的特征来识别所述操纵器***(10)的至少一个能操控的对象(11，12，13，14，15，16)，并且
其中，所述便携式终端设备包括显示装置，
其中，所述方法还包括：在所述便携式终端设备的显示装置上显示所检测到的所述操纵器***的图像，
还包括：在所述便携式终端设备的显示装置上显示光学标识，所述光学标识指定所述操纵器***的被识别的能操控的对象，
响应于由使用者选择所述便携式终端设备上的所述光学标识来操控所述能操控的对象。
2.根据权利要求1所述的方法，还包括：
提供待操控的操纵器***(10)的参考数据组，
其中，确定所述操纵器***(10)的特征还包括执行图像识别过程，该图像识别过程基于所检测到的图像和所提供的参考数据组来识别特征。
3.根据权利要求1或2所述的方法，其中，所述相机是3D相机，并且所检测到的图像是三维图像。
4.根据权利要求2所述的方法，其中，所述提供参考数据组包括借助所述便携式终端设备(20)对所述操纵器***(10)的至少能操控的对象(11，12，13，14，15，16)进行示教。
5.根据权利要求1或2所述的方法，
其中，该显示装置包括触摸板(21)。
6.根据权利要求5所述的方法，其中，识别所述操纵器***(10)的至少两个能操控的对象(11，12，13，14，15，16)，并在所述便携式终端设备(20)的显示装置上显示至少两个光学标识(41，42，43，43′，44，45，46)，其中，每个光学标识(41，42，43，43′，44，45，46)指定所述操纵器***(10)的一个被识别的对象(11，12，13，14，15，16)。
7.根据权利要求1或2所述的方法，其中，对所述操纵器***(10)的操控包括：查询、提供、建立和/或改变所述操纵器***(10)的数据。
8.根据权利要求7所述的方法，其中，所述数据描述了以下所述的至少一项：
-对操纵器***的校正和/或定向，
-对末端执行器的参数化，
-对操纵器和/或末端执行器的校准，
-对工作区域的设定，
-对所述操纵器***的对象的参数化，
-对坐标系的定义，
-程序流程。
9.根据权利要求1或2所述的方法，其中，对所述操纵器***(10)的操控包括：建立、改变和/或实施一功能或一程序，由此能够有利地执行以下所述中的至少一项：
-使末端执行器动作，
-使所述操纵器***(10)的对象运动，
-控制所述操纵器***(10)的对象，
-使操纵器运动，
-控制操纵器，
-改变程序流程。
10.根据权利要求5所述的方法，其中，所述方法还包括：在考虑到所确定特征的情况下显示取决于背景的数据。
11.根据权利要求10所述的方法，其中，在考虑到使用者输入的情况下来显示取决于背景的数据。
12.根据权利要求1或2所述的方法，其中，所述相机是全光相机，并且其中，对图像的检测包括：借助所述全光相机从待操控的操纵器***(10)的至少一部分中检测四维光场。
13.一种便携式终端设备(20)，包括相机和设备控制器，其中，所述设备控制器被设计为，执行根据权利要求1至12中任一项所述的方法。
14.一种操纵器***，包括操纵器和便携式终端设备(20)，所述便携式终端设备包括相机，其中，所述操纵器***还具有操纵器控制器，所述操纵器控制器被设计为，执行根据权利要求1至12中任一项所述的方法。
15.根据权利要求13所述的便携式终端设备或根据权利要求14所述的操纵器***，其中，所述相机是3D相机。
16.根据权利要求13所述的便携式终端设备或根据权利要求14所述操纵器***，其中，所述相机是全光相机。
CN201610346582.8A 2015-05-29 2016-05-24 借助相机选择设备或对象 Active CN106182042B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015209899.0A DE102015209899B4 (de) 2015-05-29 2015-05-29 Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
DE102015209899.0 2015-05-29

Publications (2)

Publication Number Publication Date
CN106182042A CN106182042A (zh) 2016-12-07
CN106182042B true CN106182042B (zh) 2019-09-20

Family

ID=56081306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610346582.8A Active CN106182042B (zh) 2015-05-29 2016-05-24 借助相机选择设备或对象

Country Status (5)

Country Link
US (1) US10095216B2 (zh)
EP (1) EP3098034B1 (zh)
KR (1) KR101860200B1 (zh)
CN (1) CN106182042B (zh)
DE (1) DE102015209899B4 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9964398B2 (en) 2015-05-06 2018-05-08 Faro Technologies, Inc. Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
JP6923361B2 (ja) * 2017-05-29 2021-08-18 株式会社ミツトヨ 位置計測装置の操作方法
WO2019186552A1 (en) * 2018-03-26 2019-10-03 Servotronix Automation Solutions Ltd. Teach pendant as an add-on
DE102018206019B4 (de) * 2018-04-19 2021-01-21 Kuka Deutschland Gmbh Robotersystem und Verfahren zum Betreiben des Robotersystems
US10830889B2 (en) 2018-05-02 2020-11-10 Faro Technologies, Inc. System measuring 3D coordinates and method thereof
DE202018105721U1 (de) * 2018-10-05 2020-01-20 Fruitcore Gmbh Roboter mit Antriebselement auf der Hauptwelle und Bedienvorrichtung für einen Roboter
WO2022026953A1 (en) * 2020-07-31 2022-02-03 The Johns Hopkins University Robotic system for remote operation of equipment in infectious environments
DE102020006304B3 (de) 2020-10-14 2022-01-13 Kuka Systems Gmbh Verfahren zum Einblenden von virtuellen Roboterdatenobjekten und Computerprogrammprodukt
US11609550B2 (en) 2022-06-22 2023-03-21 Brett Bond System and method for automated precision control of a computer numerical control (CNC) machine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447770A2 (de) * 2003-02-11 2004-08-18 KUKA Roboter GmbH Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
CN203317430U (zh) * 2013-06-25 2013-12-04 南通职业大学 一种工业机器人视觉拾取控制***
CN204347468U (zh) * 2014-12-15 2015-05-20 郑州新力光电技术有限公司 一种便携式新型机器人控制器

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6167464A (en) * 1998-09-23 2000-12-26 Rockwell Technologies, Llc Mobile human/machine interface for use with industrial control systems for controlling the operation of process executed on spatially separate machines
US6292713B1 (en) * 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US20040015079A1 (en) * 1999-06-22 2004-01-22 Teratech Corporation Ultrasound probe with integrated electronics
US6560513B2 (en) * 1999-11-19 2003-05-06 Fanuc Robotics North America Robotic system with teach pendant
US6507773B2 (en) * 2001-06-14 2003-01-14 Sharper Image Corporation Multi-functional robot with remote and video system
US20070061041A1 (en) * 2003-09-02 2007-03-15 Zweig Stephen E Mobile robot with wireless location sensing apparatus
DE102005061211B4 (de) 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
DE602005006749D1 (de) * 2005-04-19 2008-06-26 Comau Spa Verfahren zur Steuerung von industriellen Robotern und entsprechend gesteuerte Roboter, Robotersysteme und Computerprogramme
SE531329C2 (sv) * 2005-06-20 2009-02-24 Yaskawa Denki Seisakusho Kk Automatiskt maskinsystem och metod för att kontrollera dess kommunikation
WO2007080733A1 (ja) * 2006-01-13 2007-07-19 Matsushita Electric Industrial Co., Ltd. ロボットアームの制御装置及び制御方法、ロボット、及びプログラム
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8660690B2 (en) * 2008-03-28 2014-02-25 Daihen Corporation Robot control system
US8428781B2 (en) * 2008-11-17 2013-04-23 Energid Technologies, Inc. Systems and methods of coordination control for robot manipulation
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
TWI471755B (zh) * 2010-01-13 2015-02-01 Chao Lieh Chen 能操控電氣設備作動模式的操控裝置
DE102011018555A1 (de) * 2011-04-26 2012-10-31 Continental Automotive Gmbh Schnittstelle zur Datenübertragung in einem Kraftfahrzeug und Computerprogrammprodukt
DE102012002657A1 (de) * 2012-02-10 2013-08-14 Weber Maschinenbau Gmbh Breidenbach Vorrichtung mit erweiterter Realität
FR2990286B1 (fr) * 2012-05-07 2019-09-06 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative a un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP5812054B2 (ja) * 2012-08-23 2015-11-11 株式会社デンソー 操作デバイス
USD678378S1 (en) * 2012-11-06 2013-03-19 Kuka Roboter Gmbh Robot
US9767580B2 (en) * 2013-05-23 2017-09-19 Indiana University Research And Technology Corporation Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
KR101456172B1 (ko) * 2013-07-29 2014-10-31 인하대학교 산학협력단 이동로봇의 위치인식 장치, 방법 및 이동로봇
KR20150017832A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 3d 객체 제어 방법 및 그 장치
KR101966127B1 (ko) 2013-09-05 2019-04-05 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법
DE102013111334A1 (de) 2013-10-14 2015-04-16 Witron Logistik + Informatik Gmbh Mobile anlagensteuerung
JP6361213B2 (ja) * 2014-03-26 2018-07-25 セイコーエプソン株式会社 ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
US9586317B2 (en) * 2014-03-31 2017-03-07 Canon Kabushiki Kaisha Controlling method of robot system, program, recording medium, and robot system
CA2945189C (en) * 2014-04-10 2022-10-11 Quanser Consulting Inc. Robotic systems and methods of operating robotic systems
JP6350011B2 (ja) * 2014-06-20 2018-07-04 オムロン株式会社 ロボット制御システム
JP6269343B2 (ja) * 2014-06-23 2018-01-31 トヨタ自動車株式会社 車両用操作装置
KR101575597B1 (ko) * 2014-07-30 2015-12-08 엘지전자 주식회사 로봇 청소 시스템 및 로봇 청소기의 제어방법
JP6379874B2 (ja) * 2014-08-29 2018-08-29 株式会社安川電機 ティーチングシステム、ロボットシステムおよびティーチング方法
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
DE102015204280A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Aktivierung eines Aktuators eines Kraftfahrzeugs, zur Ausführung des Verfahrens eingerichtete Vorrichtung und Computerprogrammprodukt
US9625571B1 (en) * 2015-08-06 2017-04-18 X Development Llc Disabling robot sensors
JP6250901B2 (ja) * 2015-10-28 2017-12-20 ファナック株式会社 Ｃｎｃとロボット制御装置が通信ネットワークを介して接続されたロボットシステム
CA3019959C (en) * 2016-04-07 2024-06-18 Soft Robotics, Inc. Soft robotic actuators for positioning, packaging, and assembling
US10118297B2 (en) * 2016-06-29 2018-11-06 The Boeing Company Analysis of end effector operations by a robot

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447770A2 (de) * 2003-02-11 2004-08-18 KUKA Roboter GmbH Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
CN203317430U (zh) * 2013-06-25 2013-12-04 南通职业大学 一种工业机器人视觉拾取控制***
CN204347468U (zh) * 2014-12-15 2015-05-20 郑州新力光电技术有限公司 一种便携式新型机器人控制器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shepherd:An Interface for Overcoming Reference Frame Transformation in Robot Control;Kazuhiro Hosoi etc;《Preceeding of the 2006 IEEE International Conference on Robotis and Biomimetics December17-20 ,Kunming,China》;20061220;第908-913页 *

Also Published As

Publication number Publication date
KR101860200B1 (ko) 2018-05-23
US10095216B2 (en) 2018-10-09
CN106182042A (zh) 2016-12-07
KR20160140400A (ko) 2016-12-07
DE102015209899B4 (de) 2019-06-19
EP3098034B1 (de) 2021-03-03
DE102015209899A1 (de) 2016-12-01
US20160346936A1 (en) 2016-12-01
EP3098034A1 (de) 2016-11-30

Similar Documents

Publication Publication Date Title
CN106182042B (zh) 借助相机选择设备或对象
CN108527362B (zh) 机器人设置设备、机器人设置方法和计算机可读记录介质
JP3173042B2 (ja) ロボットの数値制御装置
US20190202058A1 (en) Method of programming an industrial robot
JP5897624B2 (ja) ワークの取出工程をシミュレーションするロボットシミュレーション装置
EP2608938B1 (en) Vision-guided alignment system and method
EP3126936B1 (en) Portable apparatus for controlling robot and method thereof
Šuligoj et al. Object tracking with a multiagent robot system and a stereo vision camera
US11833697B2 (en) Method of programming an industrial robot
CN104802186A (zh) 制作用于拍摄工件的机器人程序的机器人程序设计装置
JP6565175B2 (ja) ロボットおよびロボットシステム
CN111225143B (zh) 图像处理装置及其控制方法以及程序存储介质
D’Avella et al. ROS-Industrial based robotic cell for Industry 4.0: Eye-in-hand stereo camera and visual servoing for flexible, fast, and accurate picking and hooking in the production line
KR20180017074A (ko) 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택
US11724396B2 (en) Goal-oriented control of a robotic arm
Alzarok et al. Survey of the current practices and challenges for vision systems in industrial robotic grasping and assembly applications
Sreenath et al. Monocular tracking of human hand on a smart phone camera using mediapipe and its application in robotics
US11478932B2 (en) Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program
Wang et al. A human-robot collaboration system towards high accuracy
Puljiz et al. Concepts for end-to-end augmented reality based human-robot interaction systems
Fontana et al. Flexible vision based control for micro-factories
Gadensgaard et al. Human/robot multi-initiative setups for assembly cells
Landa-Hurtado et al. Kinect-based trajectory teaching for industrial robots
JP7509534B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
JP2012236266A (ja) ロボット制御システム、ロボットシステム及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant