KR20180103467A - System and method for estimating position of end point of welding robot using 3d camera - Google Patents

System and method for estimating position of end point of welding robot using 3d camera Download PDF

Info

Publication number
KR20180103467A
KR20180103467A KR1020170030456A KR20170030456A KR20180103467A KR 20180103467 A KR20180103467 A KR 20180103467A KR 1020170030456 A KR1020170030456 A KR 1020170030456A KR 20170030456 A KR20170030456 A KR 20170030456A KR 20180103467 A KR20180103467 A KR 20180103467A
Authority
KR
South Korea
Prior art keywords
image
camera
inspection
acquiring unit
image acquiring
Prior art date
Application number
KR1020170030456A
Other languages
Korean (ko)
Inventor
하수영
나경진
정의태
김병익
Original Assignee
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주) filed Critical 아진산업(주)
Priority to KR1020170030456A priority Critical patent/KR20180103467A/en
Publication of KR20180103467A publication Critical patent/KR20180103467A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

According to the present invention, a position estimation system of a welding robot end is provided and comprises: a 3D image acquiring unit mounted on a welding robot to acquire a 3D image of an inspection object including a welded unit and having a 3D camera having a unique coordinate system; and a controller for processing 3D image data obtained from the 3D image acquiring unit. The controller estimates the position of the robot end from a coordinate change of the 3D camera obtained from the unique coordinate system.

Description

3차원 카메라를 이용한 용접 로봇 끝단의 위치 추정 시스템 및 방법 {SYSTEM AND METHOD FOR ESTIMATING POSITION OF END POINT OF WELDING ROBOT USING 3D CAMERA}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for estimating a position of a welding robot using a three-dimensional camera,

본 발명은 용접 로봇에 관한 것으로서, 더욱 상세하게는 용접 로봇 끝단의 위치를 추정하는 시스템 및 방법에 관한 것이다.The present invention relates to a welding robot, and more particularly, to a system and method for estimating the position of a welding robot end.

최근 연비, 안전성 및 품질은 자동차 업계의 화두로 떠오르고 있는 항목들이며, 이 중 안전성과 품질은 용접부와 밀접한 연관이 있다. 용접부의 불량은 사고 시 인명에 치명적인 영향을 미치며, 자동차 외관 품질에도 미치는 영향이 크다. 그에 따라, 용접부의 품질 검사는 샘플 검사 및 전수 검사가 이루어지고 있으며, 대부분의 전수 검사는 육안을 통한 외관 검사로 수행되고 있다. 숙련된 기술자의 경우 육안 검사를 통해 용접결함을 70~80%까지 검출이 가능하나, 기술 숙련에 많은 어려움이 있으며, 기술자에 따라 편차가 크다. 이러한 기술자에 의한 육안 검사의 단점을 개선하고자, 최근에는 비전을 이용한 외관 검사 기술이 개발되고 있으며, 2D 또는 3D 기반의 검사 시스템이 적용되고 있다.Recently, fuel efficiency, safety, and quality are the topics that are emerging as a hot topic in the automotive industry. Safety and quality are closely related to welds. Defects in welds have a devastating effect on human life in case of an accident, and have a great influence on the quality of automobile exterior. Accordingly, the quality inspection of the welded part is carried out by the sample inspection and the whole water inspection, and most of the whole water inspection is performed by the visual inspection through the naked eye. Experienced technicians can detect 70 ~ 80% of welding defects through visual inspection, but there are many difficulties in technical skill and there is a big variation depending on the technician. In order to improve the shortcomings of visual inspection by such technicians, visual inspection technology using vision has been recently developed and a 2D or 3D based inspection system is being applied.

종래의 비전 검사는 주로 2D 기반의 검사가 이용되고 있으며, 검사 이미지를 통한 제품 검사의 이력 관리가 가능하며, 빠른 검사 수행을 통해 전수 검사에 많이 이용되고 있다. 하지만, 2D 기반의 검사는 조명 조건에 따라 검사 성능이 좌우되며, 2차원 평면 형태의 외형 측정을 하므로 제품의 정확한 형태를 검사하기 어렵다.Conventional vision inspection is mainly used in 2D-based inspection, and it is possible to manage the history of product inspection through inspection image, and it is widely used for full inspection through quick inspection. However, the inspection performance depends on the illumination condition of the 2D-based inspection, and it is difficult to check the exact form of the product because the measurement is performed in a two-dimensional plane shape.

종래의 3D 카메라를 이용한 검사는 제품의 3차원 형상을 스캔하고 이를 기반으로 검사하는 방법으로서 최근 형상 측정을 위해 사용이 증가하고 있다. 하지만, 형상 만으로 제품을 검사하므로 제품과 용접부의 경계 구분이 어렵고, 많은 양의 데이터를 처리하므로 제품 검사에 많은 시간이 소요되어 생산라인에 전수 검사용으로 사용하기에는 적합하지 않다.The conventional 3D camera inspection is a method of scanning a three-dimensional shape of a product and inspecting it based on the three-dimensional shape. However, since the product is inspected only by the shape, it is difficult to distinguish the boundary between the product and the welded part, and since it processes a large amount of data, it takes a lot of time to inspect the product.

아울러, 용접 로봇에는 다양한 형태의 장비가 연결가능하며 이러한 형태의 유동성으로 인해 자동화에 위치 오차, 충돌 등의 문제가 존재하여 로봇 끝단의 정확한 위치 추정이 요구된다.In addition, various types of equipment can be connected to the welding robot. Due to this type of fluidity, there is a problem such as position error and collision in automation, and accurate position estimation of the robot end is required.

본 발명의 목적은 3차원 카메라를 이용하여 용접 로봇 끝단의 정확한 위치를 추정할 수 있는 시스템 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and method for estimating the exact position of a welding robot end using a three-dimensional camera.

상기한 본 발명의 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면,According to an aspect of the present invention,

용접 로봇에 장착되어서 용접부를 포함하는 검사 대상에 대한 3D 영상을 획득하고 고유 좌표계를 갖는 3D 카메라를 구비하는 3D 영상 획득부; 및 상기 3D 영상 획득부로부터 획득한 3D 영상 데이터를 처리하는 제어부를 포함하며, 상기 제어부는 상기 고유 좌표계로부터 획득되는 상기 3D 카메라의 좌표 변화로부터 로봇 끝단의 위치를 추정하는 것을 특징으로 하는 용접 로봇 끝단의 위치 추정 시스템이 제공된다.A 3D image acquiring unit mounted on the welding robot to acquire a 3D image of an object to be inspected including a weld and having a 3D camera having a unique coordinate system; And a controller for processing the 3D image data obtained from the 3D image acquiring unit, wherein the controller estimates the position of the robot end from the coordinate change of the 3D camera obtained from the eigen coordinate system, Is provided.

상기 3D 카메라는 유틸리티가 장착되는 플랜지에 함께 장착될 수 있다.The 3D camera may be mounted together with a flange on which a utility is mounted.

상기한 본 발명의 목적을 달성하기 위하여, 본 발명의 다른 측면에 따르면,According to another aspect of the present invention, in order to achieve the above object of the present invention,

용접 로봇에 장착되어서 용접부를 포함하는 검사 대상에 대한 3D 영상을 획득하고 고유 좌표계를 갖는 3D 카메라를 구비하는 3D 영상 획득부와, 상기 3D 영상 획득부로부터 획득한 3D 영상 데이터를 처리하는 제어부를 이용하여 용접 로봇 끝단의 위치를 추정하는 방법으로서, 상기 고유 좌표계로부터 획득되는 상기 3D 카메라의 좌표 변화 데이터가 상기 제어부로 전달되는 단계; 및 상기 제어부로 전달된 상기 3D 카메라의 좌표 변화 데이터를 이용하여 로봇 끝단의 위치가 추정되는 단계를 포함하는 용접 로봇 끝단의 위치 추정 방법이 제공된다.A 3D image acquiring unit mounted on the welding robot to acquire 3D images of an object to be inspected including a weld and having a 3D camera having a unique coordinate system, and a control unit for processing 3D image data acquired from the 3D image acquiring unit A coordinate transformation data of the 3D camera obtained from the inherent coordinate system is transmitted to the control unit; And a step of estimating a position of a robot end using the coordinate change data of the 3D camera transmitted to the control unit.

본 발명에 의하면 앞서서 기재한 본 발명의 목적을 모두 달성할 수 있다. 구체적으로는, 용접부 검사에 사용되도록 용접 로봇에 설치되는 3D 카메라에 설정된 고유 좌표계를 통해 로봇의 끝단 움직임이 정확하게 추정될 수 있다.According to the present invention, all of the objects of the present invention described above can be achieved. Specifically, the movement of the end of the robot can be accurately estimated through a unique coordinate system set in a 3D camera installed in the welding robot for use in welding inspection.

도 1은 본 발명의 일 실시예에 따른 영상 기반 용접부 검사 장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 용접 로봇을 개략적으로 도시한 도면이다.1 is a block diagram illustrating an image-based weld inspection apparatus according to an embodiment of the present invention.
2 is a schematic view of a welding robot according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예의 구성 및 작용을 상세히 설명한다.Hereinafter, the configuration and operation of an embodiment of the present invention will be described in detail with reference to the drawings.

도 1에는 본 발명의 일 실시예에 따른 영상 기반 용접부 검사 장치가 블록도로서 도시되어 있다. 도 1을 참조하면, 용접부 검사 장치(100)는 2D 영상을 획득하는 2D 영상 획득부(110)와, 2D 영상 획득부(110)를 이동시키는 제1 구동부(120)와, 3D 영상을 획득하는 3D 영상 획득부(130)와, 3D 영상 획득부(130)를 이동시키는 제2 구동부(140)와, 2D 영상 획득부(110), 제1 구동부(120), 3D 영상 획득부(130) 및 제2 구동부(140)를 제어하는 제어부(150)를 구비한다.FIG. 1 is a block diagram of an image-based weld inspection apparatus according to an embodiment of the present invention. Referring to FIG. 1, a weld inspection apparatus 100 includes a 2D image acquisition unit 110 for acquiring a 2D image, a first driver 120 for moving the 2D image acquisition unit 110, A 2D image acquiring unit 110, a first driving unit 120, a 3D image acquiring unit 130, and a 3D image acquiring unit 130. The 2D image acquiring unit 110, the 3D image acquiring unit 130, the 3D image acquiring unit 130, And a control unit 150 for controlling the second driving unit 140.

2D 영상 획득부(110)는 검사 대상에 대한 2D 영상을 획득한다. 이를 위하여, 2D 영상 획득부(110)는 2D 카메라를 구비하며, 제어부(150)에 의해 그 작동이 제어된다. 2D 영상 획득부(110)에 의해 용접부를 포함하는 검사 대상에 대한 2D 영상이 획득된다. 2D 영상 획득부(110)를 통해 획득된 2D 영상 데이터는 제어부(150)로 전송된다. 2D 영상 획득부(110)는 제1 구동부(120)에 의해 이동하여 그 위치가 변경될 수 있다.The 2D image acquisition unit 110 acquires a 2D image of the object to be inspected. To this end, the 2D image acquisition unit 110 includes a 2D camera, and its operation is controlled by the control unit 150. A 2D image of the inspection object including the welded portion is obtained by the 2D image acquisition unit 110. The 2D image data obtained through the 2D image acquiring unit 110 is transmitted to the controller 150. The 2D image acquiring unit 110 may be moved by the first driving unit 120 and its position may be changed.

제1 구동부(120)는 제어부(150)에 의해 제어되어서 2D 영상 획득부(110)를 이동시킨다. 제1 구동부(120)에 의해 2D 영상 획득부(110)는 용접부를 포함하는 검사 대상의 2D 영상를 획득할 수 있도록 적절한 위치로 이동한다.The first driving unit 120 is controlled by the control unit 150 to move the 2D image obtaining unit 110. The 2D image acquiring unit 110 moves to a proper position by the first driving unit 120 so as to acquire a 2D image of the inspection object including the weld.

3D 영상 획득부(130)는 검사 대상에서 특정된 검사 영역에 대한 3D 영상을 획득한다. 본 실시예에서는 3D 영상 획득부(130)는 레이저를 이용한 라인 스캔(line scan) 방법을 이용하여 3D 영상을 획득하는 것으로 설명한다. 레이저를 이용한 라인 스캔 방법은 검사 대상에 레이저를 투사하고 이에 의해 형성된 외관을 통해 검사하는 방법으로서 3D 카메라를 이용한 검사에서 통상적으로 사용되는 방법이다. 예를 들어, 레이저를 이용한 라인 스캔 방법을 이용하는 3D 영상 획득부(130)의 구성은 등록특허 제10-1162439호에 기재된 것을 수 있다. 레이저를 이용한 라인 스캔 방법 외에 3D 영상 획득부(130)는 일반적인 3D 카메라를 이용하여 3D 영상을 획득할 수도 있다. 3D 영상 획득부(130)를 통해 획득된 3D 영상 데이터는 제어부(150)로 전송된다. 3D 영상 획득부(130)는 제2 구동부(140)에 의해 이동하여 그 위치가 변경될 수 있다.The 3D image acquisition unit 130 acquires 3D images of the inspection region specified in the inspection object. In the present embodiment, the 3D image acquisition unit 130 acquires a 3D image using a line scan method using a laser. A line scan method using a laser is a method commonly used in an inspection using a 3D camera as a method of projecting a laser to an object to be inspected and inspecting the object through an appearance formed thereby. For example, the configuration of the 3D image acquisition unit 130 using a line scan method using a laser may be that disclosed in Japanese Patent Registration No. 10-1162439. In addition to the line scan method using a laser, the 3D image acquisition unit 130 may acquire a 3D image using a general 3D camera. The 3D image data obtained through the 3D image acquisition unit 130 is transmitted to the controller 150. [ The 3D image acquiring unit 130 may be moved by the second driving unit 140 and its position may be changed.

제2 구동부(140)는 제어부(150)에 의해 제어되어서 3D 영상 획득부(130)를 이동시킨다. 제2 구동부(140)에 의해 3D 영상 획득부(130)는 용접부에 대한 3D 영상를 획득할 수 있도록 적절한 위치로 이동한다. 본 실시예에서는 제1 구동부(120)와 제2 구동부(140)가 별도로 구비되는 것으로 설명하지만, 이와는 달리 2D 영상 획득부(110)와 3D 영상 획득부(130)가 하나의 모듈로 결합된 형태인 경우에는 하나의 구동부에 의해 위치가 제어될 수도 있다.The second driving unit 140 is controlled by the control unit 150 to move the 3D image acquisition unit 130. The 3D image acquiring unit 130 moves to an appropriate position by the second driving unit 140 to acquire a 3D image of the weld. The 2D image acquiring unit 110 and the 3D image acquiring unit 130 may be combined into a single module so that the 2D image acquiring unit 110 and the 3D image acquiring unit 130 are combined into one module. The position may be controlled by one driving unit.

제어부(150)는 2D 영상 획득부(110), 제1 구동부(120), 3D 영상 획득부(130) 및 제2 구동부(140)의 작동을 제어하며, 2D 영상 획득부(110)로부터 전송된 2D 영상 데이터와 3D 영상 획득부(130)로부터 전송된 3D 영상 데이터를 처리한다. 제어부(150)는 2D 영상 획득부(110)로부터 전송된 2D 영상 데이터를 처리하여 검사 대상에서 용접비드를 검출하여 검사 영역을 특정하고, 3D 영상 획득부(130)로부터 전송된 3D 영상 데이터를 처리하여 용접부에 대한 정확한 3차원 형상을 복원하여 이로부터 불량 여부를 판단한다.The controller 150 controls operations of the 2D image acquiring unit 110, the first driving unit 120, the 3D image acquiring unit 130 and the second driving unit 140. The controller 150 controls the operation of the 2D image acquiring unit 110, And processes the 2D image data and the 3D image data transmitted from the 3D image acquisition unit 130. The control unit 150 processes the 2D image data transmitted from the 2D image obtaining unit 110 to detect the weld bead at the inspection target to specify the inspection region and processes the 3D image data transmitted from the 3D image obtaining unit 130 Thereby correcting the accurate three-dimensional shape of the welded portion and determining whether or not the welded portion is defective.

이제, 도 1에 도시된 영상 기반 용접부 검사 장치를 이용한 용접부 검사 방법을 설명한다. 도 1에 도시된 영상 기반 용접부 검사 장치를 이용한 용접부 검사 방법은 용접부를 포함하는 검사 대상의 2D 영상을 획득하는 2D 영상 획득 단계와, 2D 영상 획득 단계로부터 획득한 검사 대상의 2D 영상으로부터 검사 영역을 특정하는 검사 영역 특정 단계와, 검사 영역 특정 단계를 통해 특정된 검사 영역을 촬영하도록 3D 영상 획득부를 이동시키는 3D 영상 획득부 이동 단계와, 3D 영상 획득부 이동 단계를 통해 이동한 3D 영상 획득부를 이용하여 검사 영역에 대한 3D 영상을 획득하는 3D 영상 획득 단계와, 3D 영상 획득 단계를 통해 획득한 검사 영역의 3D 영상을 이용하여 용접부의 품질을 판별하는 품질 판별 단계를 포함한다.Now, a method of inspecting a welded portion using the image-based welded portion inspection apparatus shown in FIG. 1 will be described. The welding inspection method using the image-based welder inspection apparatus shown in FIG. 1 includes a 2D image acquisition step of acquiring a 2D image of an object to be inspected including a weld, and a 2D image acquisition step of acquiring a 2D image of the object, A 3D image acquiring unit moving step of moving the 3D image acquiring unit to photograph the inspection area specified through the inspection area specifying step, and a 3D image acquiring unit moving through the 3D image acquiring unit moving step A 3D image acquiring step of acquiring a 3D image of the inspection area, and a quality discriminating step of discriminating the quality of the weld part using the 3D image of the inspection area obtained through the 3D image acquiring step.

2D 영상 획득 단계에서는 용접부를 포함하는 검사 대상의 2D 영상 데이터가 2D 영상 획득부(110)에 의해 획득된다. 2D 영상 획득 단계를 통해 획득된 2D 영상의 일예가 도 2에 도시되어 있다. 도 2를 참조하면, 용접 대상물(A)의 주변에 용접비드(W)가 형성되어 있다. 2D 영상 획득 단계가 완료된 후에는 검사 영역 특정 단계가 수행된다.In the 2D image acquiring step, the 2D image data of the object to be inspected including the welded portion is acquired by the 2D image acquiring unit 110. An example of a 2D image acquired through the 2D image acquisition step is shown in FIG. Referring to Fig. 2, a welding bead W is formed in the periphery of the object A to be welded. After the 2D image acquisition step is completed, the inspection region specification step is performed.

검사 영역 특정 단계에서는 2D 영상 획득 단계로부터 획득한 검사 대상의 2D 영상으로부터 검사 영역이 특정된다. 검사 영역 특정 단계는 제어부(150)에서 2D 영상 획득 단계에서 획득된 2D 영상 데이터를 처리하여 수행된다. 검사 영역 특정 단계에서 용접비드(도 2의 W)가 검출되고, 용접비드(W)를 포함하는 가능한 최소한의 영역(도 2의 파선 내부 영역)이 검사 영역으로 특정된다. 특정된 검사 영역의 위치 정보는 제어부(150)에 저장된다. 검사 영역 특정 단계가 완료된 후에는 3D 영상 획득부 이동 단계가 수행된다.In the inspection area specifying step, the inspection area is specified from the 2D image of the inspection object acquired from the 2D image acquisition step. The inspection region specification step is performed by processing the 2D image data obtained in the 2D image acquisition step in the control unit 150. [ The welding bead (W in Fig. 2) is detected in the inspection region specifying step, and the minimum possible area (the area inside the broken line in Fig. 2) including the welding bead W is specified as the inspection area. The position information of the specified inspection area is stored in the control unit 150. [ After the inspection region specifying step is completed, the 3D image acquiring unit moving step is performed.

3D 영상 획득부 이동 단계에서는 검사 영역 특정 단계를 통해 특정된 검사 영역(도 2이 파선 내부 영역)을 촬영하도록 3D 영상 획득부(130)가 제2 구동부(140)에 의해 이동한다. 제2 구동부(140)는 제어부(150)에 의해 제어되어서 3D 영상 획득부(130)를 이동시킨다. 3D 영상 획득부 이동 단계가 수행된 후에는 3D 영상 획득 단계가 수행된다.In the 3D image acquiring unit moving step, the 3D image acquiring unit 130 moves by the second driving unit 140 to photograph the inspection area (the area inside the broken line in FIG. 2) specified through the inspection area specifying step. The second driving unit 140 is controlled by the control unit 150 to move the 3D image acquisition unit 130. 3D image acquiring unit After the moving step is performed, a 3D image acquiring step is performed.

3D 영상 획득 단계에서는 3D 영상 획득부 이동 단계를 통해 이동한 3D 영상 획득부(130)를 이용하여 특정된 검사 영역에 대한 3D 영상이 획득된다. 3D 영상 획득 단계를 통해 획득된 3D 영상 데이터는 제어부(150)로 전송된다. 본 발명에서는 3D 영상이 검사 대상 전체가 아니라 2D 영상을 이용하여 특정된 검사 영역에 대해서만 획득되므로, 용접부에 대한 신속하고 정확한 검사가 가능하게 된다. 3D 영상 획득 단계가 완료된 후에는 품질 판별 단계가 수행된다.In the 3D image acquiring step, a 3D image of a specified inspection region is acquired using the 3D image acquiring unit 130 moved through the 3D image acquiring unit moving step. The 3D image data obtained through the 3D image acquiring step is transmitted to the control unit 150. In the present invention, since the 3D image is acquired not only for the entire inspection object but for only the inspection region specified using the 2D image, it is possible to quickly and accurately inspect the welding portion. After the 3D image acquisition step is completed, the quality determination step is performed.

품질 판별 단계에서는 3D 영상 획득 단계를 통해 획득된 특정된 검사 영역에 대한 3D 영상 데이터를 이용하여 용접부에 대한 불량 여부가 판단된다. 품질 판별 단계는 제어부(150)가 3D 영상 획득 단계를 통해 획득된 3D 영상 데이터로부터 특정된 검사 영역에 대한 3D 영상을 복원하고, 용접부의 정확한 3차원 형상으로부터 용접 품질이 판별된다.In the quality determination step, whether or not the welded portion is defective is determined by using the 3D image data of the specified inspection region obtained through the 3D image acquisition step. In the quality determination step, the control unit 150 restores the 3D image of the inspection region specified from the 3D image data obtained through the 3D image acquisition step, and the welding quality is determined from the accurate three-dimensional shape of the welding portion.

본 발명은 위에서 설명한 3D 영상 획득부에 구비되는 3D 카메라를 이용하여 용접 로봇의 끝단의 위치를 분석하여 추정한다. 도 2를 참조하면, 로봇(200)에는 플랜지(210)에 용접건 등의 유틸리티(220)가 장착되며, 이와 함께 상기한 3D 카메라(230)도 장착된다. 본 발명에서 로봇 끝단은 로봇에 장착되는 용접건 등의 유틸리티(220)의 끝단을 의미한다. 용접시 로봇에는 다양한 형태의 장비가 연결되는데, 유동성으로 인해 자동화에 위치 오차 및 충돌 등의 문제가 있다. 본 발명은 로봇에 설치되는 3D 카메라(230)에 설정된 좌표계(X)를 이용하여 로봇 끝단(221)의 움직임이 정확하게 추정될 수 있다. 이를 위하여, 제어부(150)는 3D 카메라(230)의 좌표 변화로부터 로봇 끝단(221)의 움직임을 추정한다. 본 실시예에서는 3D 카메라(230)가 플랜지(210)에 장착되는 것으로 설명하는데, 이와는 달리 로봇(200)의 다른 위치에 장착될 수도 있다.The present invention analyzes and estimates the position of the end of the welding robot using the 3D camera provided in the 3D image acquiring unit described above. Referring to FIG. 2, a utility 220 such as a welding gun is mounted on the flange 210 of the robot 200, and the 3D camera 230 described above is mounted. In the present invention, the end of the robot means the end of a utility 220 such as a welding gun mounted on the robot. Various types of equipment are connected to robots during welding, but there are problems such as position error and collision due to fluidity in automation. The motion of the robot end 221 can be accurately estimated by using the coordinate system X set in the 3D camera 230 installed in the robot. For this, the controller 150 estimates the movement of the robot end 221 from the coordinate change of the 3D camera 230. In the present embodiment, the 3D camera 230 is described as being mounted on the flange 210. Alternatively, the 3D camera 230 may be mounted on another position of the robot 200.

또한, 본 발명의 일 실시예에 따르면, 용접 로봇에 장착되어서 용접부를 포함하는 검사 대상에 대한 3D 영상을 획득하고 고유 좌표계(X)를 갖는 3D 카메라(230)를 구비하는 3D 영상 획득부(130)와, 3D 영상 획득부(130)로부터 획득한 3D 영상 데이터를 처리하는 제어부(150)를 이용하여 용접 로봇 끝단(221)의 위치를 추정하는 방법으로서, 고유 좌표계(X)로부터 획득되는 3D 카메라(230)의 좌표 변화 데이터가 제어부(150)로 전달되는 단계; 및 제어부(150)로 전달된 3D 카메라(230)의 좌표 변화 데이터를 이용하여 로봇 끝단(221)의 위치가 추정되는 단계를 포함하는 용접 로봇 끝단의 위치 추정 방법이 제공된다.According to an embodiment of the present invention, a 3D image acquiring unit 130 (see FIG. 1) having a 3D camera 230 that acquires a 3D image of an inspection object mounted on a welding robot and includes a welded portion and has a unique coordinate system X, And a controller 150 for processing the 3D image data acquired from the 3D image acquiring unit 130 to estimate the position of the welding robot end 221. The 3D camera image acquiring unit 130 acquires the 3D image data from the 3D coordinate system X, (230) is transmitted to the control unit (150); And a step of estimating a position of the robot end 221 using the coordinate change data of the 3D camera 230 transmitted to the controller 150.

이상 실시예를 통해 본 발명을 설명하였으나, 본 발명은 이에 제한되는 것은 아니다. 상기 실시예는 본 발명의 취지 및 범위를 벗어나지 않고 수정되거나 변경될 수 있으며, 본 기술분야의 통상의 기술자는 이러한 수정과 변경도 본 발명에 속하는 것임을 알 수 있을 것이다.Although the present invention has been described with reference to the above embodiments, the present invention is not limited thereto. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims.

100 : 용접부 검사 장치
110 : 2D 영상 획득부
120 : 제1 구동부
130 : 3D 영상 획득부
140 : 제2 구동부
150 : 제어부
200 : 용접 로봇
220 : 용접건
230 : 3D 카메라100: welding part inspection device
110: 2D image acquisition unit
120:
130: 3D image acquisition unit
140:
150:
200: welding robot
220: Welding gun
230: 3D camera

Claims (3)

용접 로봇에 장착되어서 용접부를 포함하는 검사 대상에 대한 3D 영상을 획득하고 고유 좌표계를 갖는 3D 카메라를 구비하는 3D 영상 획득부; 및
상기 3D 영상 획득부로부터 획득한 3D 영상 데이터를 처리하는 제어부를 포함하며,
상기 제어부는 상기 고유 좌표계로부터 획득되는 상기 3D 카메라의 좌표 변화로부터 로봇 끝단의 위치를 추정하는 것을 특징으로 하는 용접 로봇 끝단의 위치 추정 시스템.A 3D image acquiring unit mounted on the welding robot to acquire a 3D image of an object to be inspected including a weld and having a 3D camera having a unique coordinate system; And
And a controller for processing 3D image data obtained from the 3D image acquiring unit,
Wherein the controller estimates a position of a robot end from a coordinate change of the 3D camera obtained from the eigen coordinate system. 청구항 1에 있어서,
상기 3D 카메라는 유틸리티가 장착되는 플랜지에 함께 장착되는 것을 특징으로 하는 용접 로봇 끝단의 위치 추정 시스템.The method according to claim 1,
Wherein the 3D camera is mounted together with a flange on which a utility is mounted. 용접 로봇에 장착되어서 용접부를 포함하는 검사 대상에 대한 3D 영상을 획득하고 고유 좌표계를 갖는 3D 카메라를 구비하는 3D 영상 획득부와, 상기 3D 영상 획득부로부터 획득한 3D 영상 데이터를 처리하는 제어부를 이용하여 용접 로봇 끝단의 위치를 추정하는 방법으로서,
상기 고유 좌표계로부터 획득되는 상기 3D 카메라의 좌표 변화 데이터가 상기 제어부로 전달되는 단계; 및
상기 제어부로 전달된 상기 3D 카메라의 좌표 변화 데이터를 이용하여 로봇 끝단의 위치가 추정되는 단계를 포함하는 용접 로봇 끝단의 위치 추정 방법.A 3D image acquiring unit mounted on the welding robot to acquire 3D images of an object to be inspected including a weld and having a 3D camera having a unique coordinate system, and a control unit for processing 3D image data acquired from the 3D image acquiring unit And estimating a position of an end of the welding robot,
The coordinate change data of the 3D camera obtained from the inherent coordinate system is transmitted to the control unit; And
And estimating a position of a robot end using the coordinate change data of the 3D camera transmitted to the controller.
KR1020170030456A 2017-03-10 2017-03-10 System and method for estimating position of end point of welding robot using 3d camera KR20180103467A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170030456A KR20180103467A (en) 2017-03-10 2017-03-10 System and method for estimating position of end point of welding robot using 3d camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030456A KR20180103467A (en) 2017-03-10 2017-03-10 System and method for estimating position of end point of welding robot using 3d camera

Publications (1)

Publication Number Publication Date
KR20180103467A true KR20180103467A (en) 2018-09-19

Family

ID=63718859

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030456A KR20180103467A (en) 2017-03-10 2017-03-10 System and method for estimating position of end point of welding robot using 3d camera

Country Status (1)

Country Link
KR (1) KR20180103467A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125167B1 (en) * 2019-01-21 2020-06-19 한양대학교 에리카산학협력단 Automatic welding device, working method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125167B1 (en) * 2019-01-21 2020-06-19 한양대학교 에리카산학협력단 Automatic welding device, working method thereof

Similar Documents

Publication Publication Date Title
Li et al. Measurement and defect detection of the weld bead based on online vision inspection
JP4862765B2 (en) Surface inspection apparatus and surface inspection method
KR102056076B1 (en) Apparatus for weld bead detecting and method for detecting welding defects of the same
JP3930482B2 (en) 3D visual sensor
CN103231162A (en) Device and method for visual detection of welding quality of robot
US20210255117A1 (en) Methods and plants for locating points on complex surfaces
Liu et al. Precise initial weld position identification of a fillet weld seam using laser vision technology
CN110231352B (en) Image inspection apparatus, image inspection method, and image inspection recording medium
TWI493153B (en) Non-contact measurement device and method for object space information and the method thereof for computing the path from capturing the image
EP3775854A1 (en) System for the detection of defects on a surface of at least a portion of a body and method thereof
CN110238520B (en) Automatic precise laser welding method based on CCD visual detection
JP2005014027A (en) Weld zone image processing method, welding management system, feedback system for welding machine, and butt line detection system
KR20180103467A (en) System and method for estimating position of end point of welding robot using 3d camera
KR20170142379A (en) Apparatus for detect dimensional welding line of welding robot using image processing
CN113504239A (en) Quality control data analysis method
CN116912165A (en) Aluminum alloy sheet welding defect detection method based on improved YOLOv5
CN110849285A (en) Welding spot depth measuring method, system and medium based on monocular camera
Kim et al. Vision based automatic inspection system for nuts welded on the support hinge
KR20210061540A (en) Multifunctional device comprising lidar and camera
CN108072323A (en) For detecting the method for the accuracy to size of part retainer
Zou et al. Features extraction of butt joint for tailored blank laser welding based on three-line stripe laser vision sensor
KR20210120229A (en) Image-based jig inspection system and method
KR101803473B1 (en) Apparatus and method for inspecting parts using line scanning
KR20160125210A (en) Robot Control Method Interlocked with Conveyor
CN110455809A (en) A kind of machine vision detection device and method of rod surface defect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment