CN112839764B - 用于焊接路径生成的***和方法 - Google Patents

用于焊接路径生成的***和方法 Download PDF

Info

Publication number
CN112839764B
CN112839764B CN201980066242.1A CN201980066242A CN112839764B CN 112839764 B CN112839764 B CN 112839764B CN 201980066242 A CN201980066242 A CN 201980066242A CN 112839764 B CN112839764 B CN 112839764B
Authority
CN
China
Prior art keywords
welding
dimensional
point cloud
paths
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980066242.1A
Other languages
English (en)
Other versions
CN112839764A (zh
Inventor
张竹荫
布雷特·L·利莫内
小拉尔夫·F·波利美尼
詹姆斯·D·英格里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teradyne Inc
Original Assignee
Teradyne Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teradyne Inc filed Critical Teradyne Inc
Publication of CN112839764A publication Critical patent/CN112839764A/zh
Application granted granted Critical
Publication of CN112839764B publication Critical patent/CN112839764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0241—Attachments between the welding or cutting element and the carriage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/16—Arc welding or cutting making use of shielding gas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36417—Programmed coarse position, fine position by alignment, follow line, path adaptive
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40519—Motion, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

本公开的实施方案涉及机器人***和方法。该***可包括机器人和与该机器人相关联的三维传感器设备，该三维传感器设备被配置为扫描焊接区域并生成所扫描的焊接区域。该***可包括处理器，该处理器被配置为接收所扫描的焊接区域并且至少部分地基于所扫描的焊接区域生成三维点云。该处理器可被进一步配置为在二维域中对该三维点云执行处理。该处理器可被进一步配置为生成一个或多个三维焊接路径并模拟该一个或多个三维焊接路径。

Description

用于焊接路径生成的***和方法
相关申请的交叉引用
本申请要求2018年10月12日提交的名称为“System and Method for Weld PathGenation”的美国实用新型申请第16/159197号的权益，该申请的内容以引用方式并入本文。
技术领域
本发明整体涉及机器人，并且更具体地涉及用于生成焊接路径的***和方法。
背景技术
机器人和机器人***正被用于越来越多的工业应用中。例如，机器人已用于辅助许多焊接任务。这些类型的***通常需要计算机辅助设计(“CAD”)模型，以便生成最准确且有效的焊接路径。这些现有***还涉及扫描零件的特定区域并且不扫描整个可能的焊接区域。
发明内容
在本公开的一个或多个实施方案中，提供了一种***。该***可包括机器人和与机器人相关联的一个或多个三维传感器设备，所述一个或多个三维传感器设备被配置为扫描焊接区域并生成所扫描的焊接区域。该***还可包括一个或多个处理器，所述一个或多个处理器被配置为接收所扫描的焊接区域并且至少部分地基于所扫描的焊接区域生成三维点云，所述一个或多个处理器被进一步配置为在二维域中对三维点云执行处理，所述一个或多个处理器被进一步配置为生成一个或多个三维焊接路径并且模拟所述一个或多个三维焊接路径。
可包括下列一个或多个特征。在二维域中处理三维点云可包括对焊接路径的二进制图像细化或至少部分地基于移动平均滤波器使焊接路径平滑化中的至少一者。在二维域中处理三维点云还可包括分析一个或多个环境或机器人约束。模拟所述一个或多个三维焊接路径可包括验证所述一个或多个三维焊接路径的可行性。如果所述一个或多个三维焊接路径未被验证，则所述一个或多个处理器可被进一步配置为在改变焊接台或焊接部件的位置之后再次模拟。在二维域中对三维点云执行处理可包括将三维点云转换为高度场。在二维域中对三维点云执行处理可包括将局部最小滤波器应用于高度场。二进制图像细化可包括移除一个或多个分支节点，其中分支节点对应于具有多于两个相邻像素的像素。该***还可包括图形用户界面，该图形用户界面被配置为允许用户选择滤波器大小、选择用于处理的点云、可视化焊接路径结果或保存所述一个或多个三维焊接路径。该***可使用一个或多个处理器在执行焊接过程时相对于重力保持焊接形成。保持焊接形成可至少部分地基于与机器人相关联的一个或多个额外自由度。
在本公开的另一个实施方案中，提供了一种方法。该方法可包括提供机器人并且使用与机器人相关联的一个或多个三维传感器设备扫描焊接区域以生成所扫描的焊接区域。该方法还可包括在一个或多个处理器处接收所扫描的焊接区域，并且至少部分地基于所扫描的焊接区域生成三维点云。该方法还可包括在二维域中处理三维点云以生成一个或多个三维焊接路径并且模拟所述一个或多个三维焊接路径。
可包括下列一个或多个特征。在二维域中处理三维点云可包括对焊接路径的二进制图像细化或至少部分地基于移动平均滤波器使焊接路径平滑化中的至少一者。在二维域中处理三维点云还可包括分析一个或多个环境或机器人约束。模拟所述一个或多个三维焊接路径可包括验证所述一个或多个三维焊接路径的可行性。如果所述一个或多个三维焊接路径未被验证，则所述一个或多个处理器可被进一步配置为在改变焊接台或焊接部件的位置之后再次模拟。在二维域中对三维点云执行处理可包括将三维点云转换为高度场。在二维域中对三维点云执行处理可包括将局部最小滤波器应用于高度场。二进制图像细化可包括移除一个或多个分支节点，其中分支节点对应于具有多于两个相邻像素的像素。该方法可允许用户选择滤波器大小、选择用于处理的点云、可视化焊接路径结果或保存所述一个或多个三维焊接路径。该方法可包括使用一个或多个处理器在执行焊接过程时相对于重力保持焊接形成，其中保持焊接形成至少部分地基于与机器人相关联的一个或多个额外自由度。
附图说明
为了更好地理解本公开的性质和目的，结合以下附图来参考下文的具体实施方式，其中：
图1是根据本公开的实施方案的焊接路径生成机器人***的框图；
图2是示出根据本公开的实施方案的焊接路径生成机器人***的多个自由度的图形用户界面；
图3是根据本公开的实施方案的焊接路径生成机器人方法的流程图；
图4是根据本公开的实施方案的焊接路径生成机器人方法的另一个流程图；
图5是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图6是根据本公开的实施方案的与焊接路径生成机器人方法一起使用的扫描仪；
图7是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图8是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图9是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图10是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图11是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图12是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图13是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图14是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；
图15是示出根据本公开的实施方案的焊接路径生成机器人方法的各方面的图；并且
图16是根据本公开的实施方案的焊接路径生成***的图形用户界面。
具体实施方式
本主题申请的实施方案可包括来自美国专利第6757587号、美国专利第7680300号、美国专利第8301421号、美国专利第8408918号、美国专利第8428781号、美国专利第9357708号、美国公布第2015/0199458号、美国公布第2016/0321381号和美国公布第2018/0060459号的概念，每一者的全部内容全文以引用方式并入本文。
现在参见图1，提供了用于生成一个或多个焊接路径的机器人***100的实施方案。***100可包括多个部件，所述多个部件中的一部分可被设计用于特定应用和/或任务。该***的第一部件可包括用于将新过程添加到数据库104的软件***102。一旦构建，数据库104可由操作员现场或远程重新使用。操作员可使用图形用户界面106从数据库104中选择元素以供控制软件108执行，如图1所示。可由专家离线将用于特定应用和/或任务(例如，焊接、机器人组装等)的程序添加到数据库104。该数据库104可在线与图形用户界面106和任务分配软件一起使用以为每个任务开发每个过程。该软件模块可包括但不限于训练、任务分配和执行特定任务等。所有这些可用于控制机器人硬件110的操作方式。机器人硬件110可响应于从控制软件108接收的控制，并且可包括一个或多个感测装置、扫描仪和/或其他各种装置，如下文进一步详细讨论。
在机器人***中，短语“自由度”可指机械设备或***可移动的特定、限定模式。自由度的数量可等于运动的独立位移或方面的总数目。例如，六个自由度(“6DOF”)场景可指刚性主体在三维空间中移动自由。具体地讲，主体可自由地改变位置，如在三个垂直轴中正向/反向(纵移)、向上/向下(垂移)、向左/向右(横移)平移，同时通过围绕三个垂直轴旋转进行取向变化，通常称为偏航(法向轴)、俯仰(横向轴)和横滚(纵向轴)。相比之下，将点放置在空间中可对应于三个自由度，指定不同连杆上的两个点之间的距离是一个自由度等。
在一些实施方案中，如本文所用，短语“机器人***”可包括一个、两个和/或任何数量的机器人的***。这样，整个机器人***DOF可以指单独机器人中的每个机器人上的DOF的总和。这可包括用于每个单轴关节的一个DOF和用于自由移动的基座的六个DOF。例如，对于包括两个机器人(一个具有6个DOF并且另一个具有5个DOF)的机器人***，可用的整个机器人***自由度可为11个DOF。
例如，现在参见图2，提供了来自图形用户界面200的3D渲染，该图形用户界面描绘了完整3D旋转和取向条件下与具有六个自由度的焊接工具进行对比的具有五个自由度的焊接工具。二者之间的差异为该五个自由度可通过松弛(relax)围绕一个轴线的旋转来获得。调整该特定模型以优化扫描和焊接过程。这涉及配置围绕扫描仪工具的边界体积，以及将该***与基主坐标系对准以使工具路径和点云出现在正确位置。还基于工具路径是如何从点云创建的来配置工具偏移。该路径是沿着接缝的底部创建的，因此配置了与顶端的偏移，以便不存在碰撞。如图2所示，可使用两个不同的约束设置来约束臂，其中每个约束设置使用不同的工具偏移，一个用于扫描部件并且一个用于焊接。用于扫描的自由度设置使用六自由度坐标系，并且焊接设置使用允许喷枪的顶端围绕顶端自由旋转的五自由度坐标系。这允许首先扫描部件，然后松弛焊接路径的自由度，这对于机器人来说在给定其工作空间包络的情况下更难实现。
在一些实施方案中，现在参见图3，提供了描绘具有符合焊接路径生成过程的多个操作的流程图的实施方案。如下文将进一步详细讨论，焊接路径生成过程10可包括扫描焊接区域并且生成点云数据302。该过程还可包括将点云数据转换为高度场304并且应用局部最小滤波器306。该过程还可包括执行二进制图像细化和分支移除308。所建立的高度场可被转换回三维空间310，再进行模拟312。
在一些实施方案中，现在参见图4，提供了符合焊接路径生成过程的另一个实施方案。该方法可包括提供一个或多个机器人或机器人***402，并且使用与所述一个或多个机器人相关联的一个或多个三维传感器设备扫描焊接区域以生成所扫描的焊接区域404。该***可包括处理器，该处理器被配置为接收所扫描的焊接区域406并且至少部分地基于所扫描的焊接区域生成三维点云408。处理器可被进一步配置为在二维域中对三维点云执行处理410。处理器可被进一步配置为生成一个或多个三维焊接路径并且模拟所述一个或多个三维焊接路径412。
现在参见图5，图5提供了示出符合焊接路径生成过程的实施方案。图5示出了激光扫描和后续焊接路径生成的示例。在一些实施方案中，激光线扫描仪502可用于预扫描焊接区域。在该特定示例中，扫描仪502可以安装到机器人***的端部。焊接路径生成过程可计算焊接路径和体积并提供该信息作为在线过程的输入，如下所述。图5的右部分示出了可使用该特定方法生成的所得点云504，此处具有0.2mm的分辨率。
现在参见图6，提供了可根据焊接路径生成过程使用的扫描***600的示例。例如，激光线扫描仪可用于预扫描焊接区域以及用于在线焊接坡口跟踪。激光线扫描仪可安装在机器人的端部执行器上，并且可被定位成在焊接区域前方几厘米处检测以避开任何光。它可用于校正远离预扫描数据的任何焊接路径偏差。
如图6所示，激光线扫描仪可被配置为与TIG喷枪和杆进给器结合操作。该扫描***仅以举例的方式提供，因为可根据焊接路径生成过程使用许多扫描仪。例如，二维可见光传感器或热传感器可用于监测焊接过程。因此，可见光传感器可用于记录整个过程。热信息可用于防止周围区域过热。TIG焊接的一个相关方面涉及将填充杆保持在坑中。这可使用电导率传感器监测以感测填充杆与金属之间的电导率。当填充杆位于坑中时，杆和金属被传导，否则它是开环。为了防止过度进给填充杆，可以监测进给力。如果填充杆进给过快，则它可碰撞金属并且力可增加。通过经由力传感器监测进给力以及填充杆与金属之间的电导率，填充杆可保持在坑中。
在一些实施方案中，扫描仪502可被配置为预扫描该区域并且找到用于离线规划和接缝跟踪的焊接路径以用于在线过程。在预扫描过程中，机器人或机器人***可用于线性地移动激光扫描仪并收集点云的点。扫描的分辨率可由用户指定，并且在这种情况下，使用0.25mm的间距。
在一些实施方案中，焊接路径生成过程可被配置为由点云产生焊接路径。例如，点云可被转换为高度场。然后可识别作为局部最小值的点。这之后可进行细化过程和分支移除，因此路径变得明确。路径上的点可用于计算具有限定的法线和切线的路径。
现在参见图7，提供了示出从三维点云到高度场的转换的示例。在该特定示例中，从点云到高度场的转换可以是相当有效的。点云可被转换为高度作为阵列条目中的值的二维阵列。在这种情况下，栅格的分辨率可为0.5mm，并且因此所得阵列大小为506×451。如果焊接路径从一侧可见，则该方法对于大多数情况可极为奏效。数据基本上被转换成二维图像并被发送到图像处理工具。在可能从一侧不可见焊接路径的情况下，诸如焊接以接合两个管道，可能需要不同的扫描图案。
现在参见图8，提供了示出应用于高度场二维阵列的局部最小滤波器的示例。结果以二进制图像示出。如上所述，为了识别所扫描的数据中的接缝，可应用局部最小滤波器。给定内核大小k、角数目和阈值t，滤波器可遍历二维阵列上的所有点以查看从内核的中心到边缘的高度差是否超过阈值。图8至图9示出了k＝10、角数目＝8并且阈值＝1.25mm的示例。可以看出，这是从扫描数据中选择局部最小值的相当有效的滤波器。唯一的缺点是所得的焊接路径相对较厚。
在一些实施方案中，焊接路径生成过程可利用二进制图像细化技术来减小区域的厚度而不改变长度。相比之下，图像侵蚀或膨胀可最终同时改变宽度和长度。在该特定示例中，细化过程的最终结果提供图像的具有一个像素的宽度的区域。从图10中可以看出，所得的图像块可能未准备好用作焊接路径，在需要移除的区域中存在分支。
在一些实施方案中，关于分支移除，目标是使每个图像块包括两个叶节点并且不包括分支节点。如本文所用，叶节点被称为仅具有一个相邻像素的像素。分支节点被称为具有多于两个相邻像素的像素。分支移除过程可包括但不限于创建相邻映射，该相邻映射用指示8个相邻像素的存在的代码来注册每个像素。这还会创建叶节点的列表和分支节点的列表。分支移除过程然后可遍历所有叶节点，从而移除短于预定义阈值的分支。分支移除过程还包括更新相邻映射并访问所有分支节点，并且移除不影响连接性的分支节点。该过程然后可应用细化方法并返回到相邻映射操作的创建，直到图像停止改变。
再次参见图10，提供了分支移除过程的示例。在这种情况下，分支节点被颜色编码为蓝色，这指示该像素具有多于两个相邻像素。分支像素被颜色编码为绿色并且将被移除。最后，在高度场上创建的路径可被转换回3D空间并与初始点云并排显示，如图11所示。
在一些实施方案中，在分支移除过程之后，每个图像块现在可恰好具有两个叶节点并且不具有分支节点。可以无任何模糊地将块中的像素从一个叶节点连接到另一个叶节点。可能需要附加信息诸如焊缝的法向以及路径的切向来对焊接头取向。在一些情况下，期望将焊接头定位成垂直于表面并且与路径的切向对齐。切向可计算为
Figure GDA0004266536190000091
其中pi为路径的第i个点。滤波器大小k有助于使原本有噪声的切线计算平滑化。然后可如下计算法向量：
Figure GDA0004266536190000092
Figure GDA0004266536190000093
其中vup为向上方向单位向量。图12示出了从三维点到路径的转换的示例。可添加法向和切向信息以用于焊接头取向。在所转换路径的该示例中，蓝色指示法线并且红色指示切线。
在一些实施方案中，焊接路径生成过程可利用一个或多个图形用户界面以允许用户控制该过程。例如，如果在焊接路径中识别出抖动，则该过程可允许应用移动平均滤波器和用于平滑化路径的对应图形用户界面。通过应用大小为7的移动平均滤波器，可以看出该路径在滤波之后平滑得多。在图16所示的示例中，用户可指定滤波器大小，开始处理点云，显示结果，然后将路径保存到文件。
在一些实施方案中，焊接路径生成过程可被配置为使用一个或多个额外的自由度来帮助控制相对于重力的焊接熔池形成。在这方面，重点在于由机器人保持的部件。例如，一个机器人/机构可被配置为保持焊接头，而另一个保持部件。因此，组合运动可允许焊接头沿着焊接路径移动并且/或者保持焊接熔池形成与重力方向相反。
应当指出的是，虽然本文包括的许多实施方案涉及生成焊接路径，但在不脱离本公开的范围的情况下，通过在焊接之前扫描获得的数据，其他操作也是可能的。例如，在焊接过程中可使用用于帮助抵抗重力的额外自由度。在一些实施方案中，这可在规划期间例如也在焊接之前确定。因此，焊接路径生成过程的实施方案可使用一个或多个处理器在执行焊接过程时相对于重力保持焊接形成。保持焊接形成可至少部分地基于与机器人相关联的一个或多个额外自由度。
除此之外和/或另选地，也可使用用于视觉伺服(例如，在预期由于环境变化而导致路径可能偏离规划路径时微调路径)的附加传感器和激光扫描仪。
如本领域的技术人员将理解的，本公开的各方面可体现为***、方法或计算机程序产品。因此，本公开的各方面可采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施方案的形式，所述软件和硬件方面在本文中可统称为电路“模块”或“***”。此外，本公开的各方面可采用体现在一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质具有体现在其上的计算机可读程序代码。
可利用一个或多个计算机可读介质的任何组合。该计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。例如，计算机可读存储介质可以是但不限于电子的、磁性的、光学的、电磁的、红外的或半导体***、装置或设备，或前述项的任何合适的组合。计算机可读存储介质的更具体的示例(不完全列表)将包括以下各项：具有一条或多条导线的电连接件、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、光纤、便携式紧凑光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备、或它们的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可包含或存储供指令执行***、装置或设备使用或与该指令执行***、装置或设备结合的程序。
计算机可读信号介质可包括其中体现有计算机可读程序代码的传播数据信号，例如，在基带中或作为载波的一部分的传播数据信号。
此类传播信号可采用多种形式中的任一种，包括但不限于电磁、光学或它们的任何合适组合。计算机可读信号介质可以是任何计算机可读介质，该任何计算机可读介质不是计算机可读存储介质并且可传送、传播或传输供指令执行***、装置或设备使用或与该指令执行***、装置或设备结合的程序。体现在计算机可读介质上的程序代码可使用任何适当的介质来传输，包括但不限于无线、有线、光纤电缆、RF等，或前述项的任何合适的组合。
用于执行本公开的各方面的操作的计算机程序代码可以一种或多种编程语言的任何组合来编写，包括面向对象的编程语言诸如Smalltalk、C++等，以及常规过程编程语言诸如“C”编程语言或类似编程语言。该程序代码可全部在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分在用户的计算机上以及部分在远程计算机上、或全部在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN)连接到用户的计算机，或者可连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
下面参考根据本公开的实施方案的方法、装置(***)和计算机程序产品的流程图和/或框图来描述本公开的各方面。应当理解，流程说明图和/或框图的每个框以及流程说明图和/或框图中的框的组合可通过计算机程序指令来实现。这些计算机程序指令可提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令还可存储在计算机可读介质中，该计算机可读介质可指示计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
该计算机程序指令还可被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
附图中的流程图和框图例示了根据本公开的各种实施方案的***、方法和计算机程序产品的可能具体实施的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以但不总是表示包括用于实现指定逻辑功能的一个或多个可执行指令的代码的模块、区段或部分。还应当指出的是，在一些可供选择的具体实施中，框中所指出的功能可不按附图中所述的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可基本上同时执行，或者这些框有时可以相反的顺序执行。还应当注意，框图和/或流程图图示中的每个框，以及框图和/或流程图图示中的框的组合，可由执行指定功能或动作的基于专用硬件的***，或专用硬件和计算机指令的组合来实现。
本文所用的术语仅用于描述特定具体实施的目的，并非旨在限制本公开。如本文所用，除非上下文另有明确指示，否则单数形式“一个”、“一种”和“所述”旨在也包括复数形式。还应当理解，当用于本说明书中时，术语“包括”和/或“包含”指定了所述特征、整数、步骤(不一定以特定顺序)、操作、元件、和/或部件，但不排除一个或多个其他特征、整数、步骤(不一定以特定顺序)、操作、元件、部件和/或其组的存在或添加。
可能存在于下文权利要求中的所有装置或步骤加上功能元件的相应结构、材料、动作和等同形式旨在包括用于与如具体要求保护的其他要求保护的元件结合来执行功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了本公开的说明书，但并非旨在穷举或限制于处于所公开的形式的公开内容。在不脱离本公开的范围和实质的情况下，许多修改、变型、替换以及它们的任何组合对于本领域的普通技术人员而言将是显而易见的。选择和描述了一个或多个具体实施以便最好地解释本公开的原理和实际应用，并且使得本领域的其他普通技术人员能够针对适合于所设想的特定用途的具有各种修改的一个或多个各种具体实施和/或一个或多个具体实施的任何组合来理解本公开。
因此，已经详细并参考本申请的一个或多个具体实施描述了本申请的公开内容，在不脱离所附权利要求书中限定的本公开的范围的情况下，将显而易见的是，一个或多个具体实施的修改、变型和任何组合(包括任何修改、变型、替换和它们的组合)是可能的。

Claims (16)

1.一种机器人***，所述***包括：
机器人；
与所述机器人相关联的一个或多个三维传感器设备，所述一个或多个三维传感器设备被配置为扫描焊接区域并生成所扫描的焊接区域；和
一个或多个处理器，所述一个或多个处理器被配置为接收所扫描的焊接区域并且至少部分地基于所扫描的焊接区域生成三维点云，所述一个或多个处理器被进一步配置为在二维域中对所述三维点云执行处理，其中在二维域中对所述三维点云执行处理包括：
将所述三维点云转换为高度场，
将局部最小滤波器应用于所述高度场，以及
对焊接路径的二进制图像细化来减小区域的厚度而不改变长度以提供所述图像的具有一个像素的宽度的区域，所述一个或多个处理器被进一步配置为生成一个或多个三维焊接路径并且模拟所述一个或多个三维焊接路径。
2.根据权利要求1所述的机器人***，其中在二维域中处理所述三维点云包括至少部分地基于移动平均滤波器使所述焊接路径平滑化。
3.根据权利要求1所述的机器人***，其中在二维域中处理所述三维点云包括分析一个或多个环境或机器人约束。
4.根据权利要求1所述的机器人***，其中模拟所述一个或多个三维焊接路径包括验证所述一个或多个三维焊接路径的可行性。
5.根据权利要求4所述的机器人***，其中如果所述一个或多个三维焊接路径未被验证，则所述一个或多个处理器被进一步配置为在改变焊接台或焊接部件的位置之后再次模拟。
6.根据权利要求2所述的机器人***，其中二进制图像细化包括移除一个或多个分支节点，其中分支节点对应于具有多于两个相邻像素的像素。
7.根据权利要求1所述的机器人***，所述***还包括：
显示图形用户界面，所述图形用户界面被配置为允许用户选择滤波器大小、选择用于处理的点云、可视化焊接路径结果或保存所述一个或多个三维焊接路径。
8.根据权利要求1所述的机器人***，其中所述一个或多个处理器被配置为使用一个或多个额外自由度在执行焊接过程时相对于重力保持焊接形成。
9.一种焊接路径生成方法，所述方法包括：
提供机器人；
使用与所述机器人相关联的一个或多个三维传感器设备扫描焊接区域以生成所扫描的焊接区域；
在一个或多个处理器处接收所扫描的焊接区域；
至少部分地基于所扫描的焊接区域生成三维点云；
在二维域中处理所述三维点云以生成一个或多个三维焊接路径，其中在二维域中对所述三维点云执行处理包括：
将所述三维点云转换为高度场，
将局部最小滤波器应用于所述高度场，以及
对焊接路径的二进制图像细化来减小区域的厚度而不改变长度以提供所述图像的具有一个像素的宽度的区域；以及
模拟所述一个或多个三维焊接路径。
10.根据权利要求9所述的焊接路径生成方法，其中在二维域中处理所述三维点云包括至少部分地基于移动平均滤波器使所述焊接路径平滑化。
11.根据权利要求9所述的焊接路径生成方法，其中在二维域中处理所述三维点云包括分析一个或多个环境或机器人约束。
12.根据权利要求9所述的焊接路径生成方法，其中模拟所述一个或多个三维焊接路径包括验证所述一个或多个三维焊接路径的可行性。
13.根据权利要求12所述的焊接路径生成方法，其中如果所述一个或多个三维焊接路径未被验证，则所述一个或多个处理器被进一步配置为在改变焊接台或焊接部件的位置之后再次模拟。
14.根据权利要求10所述的焊接路径生成方法，其中二进制图像细化包括移除一个或多个分支节点，其中分支节点对应于具有多于两个相邻像素的像素。
15.根据权利要求9所述的焊接路径生成方法，所述方法还包括：
显示图形用户界面，所述图形用户界面被配置为允许用户选择滤波器大小、选择用于处理的点云、可视化焊接路径结果或保存所述一个或多个三维焊接路径。
16.根据权利要求9所述的焊接路径生成方法，所述方法还包括：
使用一个或多个处理器在执行焊接过程时相对于重力保持焊接形成，其中保持所述焊接形成至少部分地基于与所述机器人相关联的一个或多个额外自由度。
CN201980066242.1A 2018-10-12 2019-10-09 用于焊接路径生成的***和方法 Active CN112839764B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/159,197 2018-10-12
US16/159,197 US11440119B2 (en) 2018-10-12 2018-10-12 System and method for weld path generation
PCT/US2019/055353 WO2020076922A1 (en) 2018-10-12 2019-10-09 System and method for weld path generation

Publications (2)

Publication Number Publication Date
CN112839764A CN112839764A (zh) 2021-05-25
CN112839764B true CN112839764B (zh) 2023-07-14

Family

ID=70162146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066242.1A Active CN112839764B (zh) 2018-10-12 2019-10-09 用于焊接路径生成的***和方法

Country Status (8)

Country Link
US (1) US11440119B2 (zh)
EP (1) EP3863791B1 (zh)
JP (1) JP7439073B2 (zh)
KR (1) KR20210058995A (zh)
CN (1) CN112839764B (zh)
BR (1) BR112021006894A2 (zh)
MX (1) MX2021004142A (zh)
WO (1) WO2020076922A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11407110B2 (en) * 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
US11648683B2 (en) 2021-02-24 2023-05-16 Path Robotics, Inc. Autonomous welding robots
CN113580145B (zh) * 2021-08-25 2023-11-10 山东大学 基于三维视觉信息的叶轮叶片焊接路径规划方法及***
CN113681119B (zh) * 2021-09-13 2023-08-15 上海柏楚电子科技股份有限公司 焊缝检测的数据处理方法、装置、焊接的控制方法、装置
US20230123712A1 (en) * 2021-10-18 2023-04-20 Path Robotics, Inc. Generating simulated weld paths for a welding robot
WO2023172673A1 (en) * 2022-03-09 2023-09-14 Worcester Polytechnic Institute Feature driven next view planning of 3-dimensional surfaces
US20230330764A1 (en) * 2022-04-19 2023-10-19 Path Robotics, Inc. Autonomous assembly robots
WO2023215962A1 (en) * 2022-05-13 2023-11-16 Maple Advanced Robotics Inc. Systems and methods for surface fitting, path planing, and surface processing of an object
WO2023235769A1 (en) * 2022-05-31 2023-12-07 Canvas Construction, Inc. Robotic material application and/or removal for components
US20230390934A1 (en) * 2022-06-06 2023-12-07 Lincoln Global, Inc. Weld angle correction device
WO2024045120A1 (en) * 2022-09-01 2024-03-07 Squaredog Robotics Limited System and method for self-adjustable welding
KR102607015B1 (ko) * 2023-09-11 2023-11-29 주식회사 위드포인츠 실시간 3d 센서 데이터 분석을 통한 용접선 자동인식 방법, 장치 및 컴퓨터프로그램

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833381A (en) * 1987-12-31 1989-05-23 Westinghouse Electric Corp. Optical automatic seam tracker and real time control system for an industrial robot
US6226395B1 (en) 1996-04-22 2001-05-01 Malcolm T. Gilliland Method and apparatus for determining the configuration of a workpiece
JP3368492B2 (ja) 1997-09-12 2003-01-20 株式会社日立製作所 溶接線検出方法およびその装置並びに溶接装置
JP3803755B2 (ja) 1999-12-29 2006-08-02 川崎重工業株式会社 ロボットシステムおよびその利用方法
FI117005B (fi) 2000-08-29 2006-05-15 Aker Finnyards Oy Hitsausjärjestely ja -menetelmä
JP3964687B2 (ja) 2002-01-24 2007-08-22 富士機械製造株式会社 物体形状認識方法及び装置
US6757587B1 (en) 2003-04-04 2004-06-29 Nokia Corporation Method and apparatus for dynamically reprogramming remote autonomous agents
JP4700267B2 (ja) 2003-08-21 2011-06-15 コマツエンジニアリング株式会社 自動溶接方法
JP2005271103A (ja) 2004-03-23 2005-10-06 Tookin:Kk 作業用ロボット及びそのキャリブレーション方法
US7680300B2 (en) 2004-06-01 2010-03-16 Energid Technologies Visual object recognition and tracking
JP4665191B2 (ja) 2005-03-19 2011-04-06 康二 三宅 ２値画像の細線化方式
US8301421B2 (en) 2006-03-31 2012-10-30 Energid Technologies Automatic control system generation for robot design validation
US7974737B2 (en) * 2006-10-31 2011-07-05 GM Global Technology Operations LLC Apparatus and method of automated manufacturing
DE102007008598A1 (de) 2007-02-19 2008-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatische Programmierung von Robotern zum Abschweißen gehefteter Profile auf Mikropaneelen mit Hilfe digitaler Bilderfassung
US8408918B2 (en) 2007-06-27 2013-04-02 Energid Technologies Corporation Method and apparatus for haptic simulation
US9357708B2 (en) 2008-05-05 2016-06-07 Energid Technologies Corporation Flexible robotic manipulation mechanism
US8428781B2 (en) 2008-11-17 2013-04-23 Energid Technologies, Inc. Systems and methods of coordination control for robot manipulation
US20130060369A1 (en) 2010-05-12 2013-03-07 Advant-Garde Technologie CFMA Inc. Method and system for generating instructions for an automated machine
WO2013074153A1 (en) 2011-11-17 2013-05-23 University Of Southern California Generating three dimensional models from range sensor data
CN102521853A (zh) * 2011-12-08 2012-06-27 苏州生物医学工程技术研究所 一种反投影权重锥束ct重建算法
CN102521835B (zh) * 2011-12-14 2013-09-18 武汉大学 一种基于空间三维模板的点云数据树高提取方法
CN102592284B (zh) * 2012-02-27 2014-08-06 上海交通大学 零件表面形貌三维高密度点云数据转化为灰度图像的方法
JP2016040520A (ja) 2013-01-10 2016-03-24 三洋電機株式会社 物体検出装置
JP6109317B2 (ja) 2013-08-22 2017-04-05 富士機械製造株式会社 基板の生産作業方法、基板の撮像条件決定方法、および基板の生産作業装置
US10078712B2 (en) 2014-01-14 2018-09-18 Energid Technologies Corporation Digital proxy simulation of robotic hardware
US9272418B1 (en) * 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
CN104400265B (zh) * 2014-10-08 2017-06-06 吴长兴 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
CN106141374A (zh) 2016-08-17 2016-11-23 广东工业大学 非熔化极气体保护焊3d增材修补装置及修补方法
US10445442B2 (en) 2016-09-01 2019-10-15 Energid Technologies Corporation System and method for game theory-based design of robotic systems
GB201614989D0 (en) * 2016-09-05 2016-10-19 Rolls Royce Plc Welding process
JP6998660B2 (ja) 2017-02-21 2022-01-18 株式会社安川電機 ロボットシミュレータ、ロボットシステム及びシミュレーション方法
CN107931830A (zh) 2017-11-16 2018-04-20 惠州市契贝科技有限公司 激光焊接方法、铝板及激光焊接设备

Also Published As

Publication number Publication date
EP3863791A4 (en) 2022-01-05
BR112021006894A2 (pt) 2021-07-20
WO2020076922A1 (en) 2020-04-16
EP3863791A1 (en) 2021-08-18
MX2021004142A (es) 2021-06-04
JP7439073B2 (ja) 2024-02-27
KR20210058995A (ko) 2021-05-24
EP3863791B1 (en) 2023-06-28
EP3863791C0 (en) 2023-06-28
US20200114449A1 (en) 2020-04-16
CN112839764A (zh) 2021-05-25
JP2022504377A (ja) 2022-01-13
US11440119B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN112839764B (zh) 用于焊接路径生成的***和方法
JP6551184B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
CA3016539C (en) Image processing method, display device, and inspection system
Jiang et al. An overview of hand-eye calibration
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP4153528B2 (ja) ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
Larsson et al. Motion control and data capturing for laser scanning with an industrial robot
JP2009006410A (ja) 遠隔操作支援装置および遠隔操作支援プログラム
JP2017111019A (ja) モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP2006072903A (ja) 画像合成方法及び装置
CN109816730A (zh) 工件抓取方法、装置、计算机设备和存储介质
JP2019128175A (ja) トンネル壁面検査装置及びトンネル壁面検査プログラム
TWI607814B (zh) 即時三維建模之雷射飛行打標系統及其方法
Ziaei et al. Real-time markerless Augmented Reality for Remote Handling system in bad viewing conditions
CN116188526A (zh) 一种轨迹生成方法、装置、设备及介质
JP2020179441A (ja) 制御システム、情報処理装置および制御方法
JP2010094777A (ja) 遠隔操作支援装置
Alarcon-Herrera et al. Viewpoint selection for vision systems in industrial inspection
Costa et al. Modeling of video projectors in OpenGL for implementing a spatial augmented reality teaching system for assembly operations
KR20120032681A (ko) 3차원 물체 추적 방법 및 장치
JP2010182210A (ja) ロボット教示プログラム修正装置
US20220143836A1 (en) Computer-readable recording medium storing operation control program, operation control method, and operation control apparatus
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム
KR102077934B1 (ko) 비디오를 이용하여 객체의 가상 리트로피팅을 수행하기 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
JP2010064161A (ja) 遠隔操作支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant