KR100640743B1

KR100640743B1 - A calibration equipment of laser vision system for 6-axis robot

Info

Publication number: KR100640743B1
Application number: KR1020040116502A
Authority: KR
Inventors: 우상혁; 양주웅; 은종호; 홍영화; 박영준
Original assignee: 삼성중공업 주식회사
Priority date: 2004-12-30
Filing date: 2004-12-30
Publication date: 2006-10-31
Also published as: KR20060077598A

Abstract

본 발명은 레이저 비젼 시스템의 가시 영역 내에 교정을 위한 V형 블록을 설치하여 레이저를 블록의 홈에 조사 후 카메라를 이용하여 영상 좌표 값을 추출하고 이 좌표 값을 레이저로 포인팅한 블록 상의 이미 알려진 좌표로 변환하여 매트릭스 값을 구하도록 한 로봇을 이용한 레이저 비젼 시스템 교정방법에 관한 것이다.The present invention installs a V-shaped block for correction in the visible region of a laser vision system, irradiates a laser into the groove of the block, extracts image coordinate values using a camera, and already known coordinates on the block that points the coordinate values with a laser A laser vision system calibration method using a robot to obtain a matrix value by converting to.

이러한 본 발명에 따른 교정 장치는 레이저 비젼 시스템을 로봇에 실장한 상태에서, 레이저 비젼 시스템의 가시 영역내에서 로봇제어기로 로봇을 이동시키면서 블록 지그상에 레이저를 조사하는 단계와; 상기 레이저 비젼 시스템의 레이저 다이오드 모듈을 이용하여 가시 영역내의 3개 이상의 위치를 빔을 조사하여 포인팅하는 단계와; 상기 레이저 비젼 시스템의 CCD 카메라를 이용하여 촬영된 영상에서 상기 단계에서 포인팅된 위치의 좌표값을 레이저 비젼 시스템에서 추출하여 컴퓨터에 저장하는 단계와; 상기 추출된 영상에서 3개 이상 위치의 실제 좌표값들을 로봇제어기로부터 추출하여 컴퓨터에 저장하는 단계와; 상기 단계별 측정된 6개 이상의 좌표값들을 이용하여 컴퓨터에서 3차원 공간상의 원래 좌표로 변환해 줄 수 있는 3×4 사이즈의 교정행렬 값을 구하는 단계와; 상기와 같이 상기 레이저 비젼 시스템이 실장된 로봇을 이용하여 일괄처리방식으로 3차원 공간상의 좌표로 교정시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 로봇을 이용한 레이저 비젼 시스템 교정방법을 제공함에 있다.The calibration device according to the present invention includes the steps of irradiating a laser on the block jig while moving the robot to the robot controller in the visible region of the laser vision system mounted on the robot; Irradiating and pointing a beam to at least three positions in a visible region using a laser diode module of the laser vision system; Extracting a coordinate value of the position pointed in the step from the image captured by the CCD camera of the laser vision system in the laser vision system and storing the coordinate value in a computer; Extracting actual coordinate values of three or more positions from the extracted image from a robot controller and storing them in a computer; Obtaining a calibration matrix value having a size of 3 × 4 that can be converted into original coordinates in three-dimensional space by a computer by using the six or more coordinate values measured by the step; As described above, using a robot mounted with the laser vision system, a laser vision system calibration method using a robot comprising the step of correcting coordinates in three-dimensional space in a batch processing method.

레이저 비젼 시스템(LVS), 교정, 로봇Laser Vision System (LVS), Calibration, Robot

Description

로봇을 이용한 레이저 비젼 시스템 교정방법{A calibration equipment of laser vision system for 6-axis robot} A calibration equipment of laser vision system for 6-axis robot

도 1은 본 발명에 따른 로봇을 이용한 레이저 비젼 시스템의 블록도이고, 1 is a block diagram of a laser vision system using a robot according to the present invention,

도 2는 본 발명에 따른 로봇을 이용한 레이저 비젼 시스템의 일 예를 도시한 측면도이고, 2 is a side view showing an example of a laser vision system using a robot according to the present invention,

도 3은 본 발명에 따른 로봇을 이용한 레이저 비젼 시스템 교정방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a laser vision system calibration method using a robot according to the present invention.

*도면의 주요 부분에 대한 부호 설명** Description of symbols on the main parts of the drawings *

10 : 용접로봇 20 : 레이저비젼시스템10: welding robot 20: laser vision system

30 : 피사체 50 : 제어기30: subject 50: controller

100 : 컴퓨터100: computer

본 발명은 로봇을 이용한 레이저 비젼 시스템 교정방법에 관한 것으로 보다 상세하게는 레이저 비젼의 가시 영역 내의 공간상에 알려진 3차원 포인트의 위치를 레이저로 포인트 한 후 카메라를 이용하여 영상 좌표 값을 추출하고 이 좌표 값을 레이저로 포인팅한 3차원 공간상의 원래 좌표로 변환해주는 매트릭스 값을 구하도록 한 로봇을 이용한 레이저 비젼 시스템 교정방법에 관한 것이다.The present invention relates to a method for calibrating a laser vision system using a robot, and more particularly, to extract the image coordinate values using a camera after a laser point on a location of a known three-dimensional point in space within a visible region of the laser vision. The present invention relates to a method for calibrating a laser vision system using a robot that obtains a matrix value that converts coordinate values into original coordinates in a three-dimensional space pointed with a laser.

통상적으로 용접용 다축 로봇은 용접선을 추적하기 위한 레이저 비젼 시스템(Laser Vision System : LVS 이하, 'LVS'라 칭함)을 구비하고 있다. Typically, a welding multi-axis robot is equipped with a laser vision system (hereinafter referred to as LVS, LVS) for tracking a weld line.

이 용접용 로봇의 끝단에 설치되어 용접선 추적용 LVS는 CCD 카메라와 레이저 다이오드 모듈로 구성되며, 조립후 기본적으로 교정(calibration) 과정을 거친 후 사용된다. Installed at the end of the welding robot, LVS for seam tracking consists of a CCD camera and a laser diode module, and after assembly, it is basically used after calibration.

기존의 LVS 교정 방법은 수동으로 이루어지며, 교정 지그(jig)에 LVS를 고정시킨 후 V형 홈을 가진 블록의 위치를 LVS의 가시 영역 내의 미리 정해진 위치에 일일이 이동시키면서 포인트 단위로 측정한 후, 포인트의 좌표 값을 이용해 교정 메트릭스(matrix)를 계산하는 방식이 이용되고 있다. The conventional LVS calibration method is performed manually, and after fixing the LVS in the calibration jig, the position of the block having the V-shaped groove is measured in point units while moving to the predetermined position within the visible area of the LVS. A method of calculating a calibration matrix using a coordinate value of a point is used.

그러나 이렇게 블록을 이동시키며 좌표 값을 구하는 방법은 좌표 값의 필요 개수에 따라 많은 시간을 요구하며, 이동 과정에서 경로를 벗어나거나 하는 등의 실수를 할 경우 LVS 교정이 정확하게 이루어지지 않아 이후 용접로봇의 구동시 정확한 위치에 용접을 수행하지 못하는 문제가 있었다.However, this method of moving the block and obtaining the coordinate value requires a lot of time according to the required number of coordinate values, and if you make a mistake such as off the path during the movement, the LVS calibration is not done correctly. There was a problem that welding cannot be performed at the correct position during driving.

또한 잦은 사용으로 인한 지그의 마모로 정밀도를 보장하기 힘든 문제가 있 었다.In addition, the wear of the jig due to frequent use was difficult to ensure the accuracy.

또한, 상기한 바와 같이 V형 홈을 갖는 블록을 이동시키며 교정된 LVS를 로봇에 장착하여 사용할 때 로봇과 LVS 상호간에 존재하는 물리적 위치의 오차는 보상 할 수 없는 문제가 있었다. In addition, there is a problem that the error of the physical position existing between the robot and the LVS cannot be compensated when using the mounted LVS by moving the block having the V-shaped groove as described above.

본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로 LVS를 용접로봇에 직접 설치한 상태에서 피사체를 대상으로 레이저를 조사하여 얻어진 좌표 값을 이용하여 교정 메트릭스를 계산함으로서 정확한 좌표 값을 얻을 수 있을 뿐만 아니라 LVS의 교정이 실제 상황과 동일한 환경에서 이루어지게 함으로서 실장되었을 때 오차를 줄일 수 있는 로봇을 이용한 레이저 비젼 시스템 교정방법을 제공함을 목적으로 한다. The present invention has been devised to solve the above problems, and the exact coordinate values can be obtained by calculating the calibration matrix using the coordinate values obtained by irradiating a laser on a subject while the LVS is directly installed on the welding robot. In addition, it aims to provide a laser vision system calibration method using a robot that can reduce the error when mounted by making the calibration of the LVS in the same environment as the actual situation.

삭제delete

본 발명은 레이저 비젼 시스템을 로봇에 실장한 상태에서, 레이저 비젼 시스템의 가시 영역내에서 로봇제어기로 로봇을 이동시키면서 블록 지그상에 레이저를 조사하는 단계와; 상기 레이저 비젼 시스템의 레이저 다이오드 모듈을 이용하여 가시 영역내의 3개 이상의 위치를 빔을 조사하여 포인팅하는 단계와; 상기 레이저 비젼 시스템의 CCD 카메라를 이용하여 촬영된 영상에서 상기 단계에서 포인팅된 위치의 좌표값을 레이저 비젼 시스템에서 추출하여 컴퓨터에 저장하는 단계와; 상기 추출된 영상에서 3개 이상 위치의 실제 좌표값들을 로봇제어기로부터 추출하여 컴퓨터에 저장하는 단계와; 상기 단계별 측정된 6개 이상의 좌표값들을 이용하여 컴퓨터에서 3차원 공간상의 원래 좌표로 변환해 줄 수 있는 3×4 사이즈의 교정행렬 값을 구하는 단계와; 상기와 같이 상기 레이저 비젼 시스템이 실장된 로봇을 이용하여 일괄처리방식으로 3차원 공간상의 좌표로 교정시키는 단계;를 포함하여 이루어진다.
이하, 본 발명에 따른 로봇을 이용한 레이저 비젼 시스템 교정 장치 및 방법의 일 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. The present invention comprises the steps of irradiating a laser on the block jig while moving the robot to the robot controller in the visible region of the laser vision system mounted on the robot; Irradiating and pointing a beam to at least three positions in a visible region using a laser diode module of the laser vision system; Extracting a coordinate value of the position pointed in the step from the image captured by the CCD camera of the laser vision system in the laser vision system and storing the coordinate value in a computer; Extracting actual coordinate values of three or more positions from the extracted image from a robot controller and storing them in a computer; Obtaining a calibration matrix value having a size of 3 × 4 that can be converted into original coordinates in three-dimensional space by a computer by using the six or more coordinate values measured by the step; And correcting coordinates in three-dimensional space in a batch process using a robot mounted with the laser vision system as described above.
Hereinafter, an embodiment of an apparatus and method for calibrating a laser vision system using a robot according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 따른 로봇을 이용한 레이저 비젼 시스템 교정 장치는 도 1 및 도 2에 도시한 바와 같이 용접로봇(10)에 설치된 레이저 비젼 시스템(20)을 구비하고 있다. The laser vision system calibration apparatus using the robot according to the present invention includes a laser vision system 20 installed in the welding robot 10 as shown in FIGS. 1 and 2.

상기 레이저 비젼 시스템(20, LVS)은 고도의 정밀도를 갖는 센서의 한 종류로서 고정밀도의 교정을 요구한다. The laser vision system 20 (LVS) is a kind of sensor with a high degree of precision and requires high precision calibration.

상기 레이저 비젼 시스템(20)은 종래와 동일 유사한 구조와 기능을 갖는 센서의 한 종류로서 CCD 카메라와 레이저 다이오드 모듈로 구성된다. The laser vision system 20 is a kind of sensor having a structure and a function similar to the conventional one, and is composed of a CCD camera and a laser diode module.

상기 레이저 비젼 시스템(20)의 레이저 다이오드 모듈은 가시 영역 내의 기 설정된 공간상의 3차원 포인트의 위치를 포인팅하고, 상기 CCD 카메라는 영상을 촬영하며, 컴퓨터(100)에서 상기 3차원 포인트의 영상에서 6개 이상의 좌표값을 얻어낸다.The laser diode module of the laser vision system 20 points the position of a three-dimensional point in a predetermined space in the visible region, the CCD camera captures an image, and in the computer 100 the image of the three-dimensional point 6 Get more than one coordinate value.

또한, 상기 컴퓨터(100)는 레이저 비젼 시스템의 교정을 위한 교정프로그램이 탑재된 통상의 컴퓨터이며, 용접 로봇을 제어하기 위한 제어용 컴퓨터는 도 1에서 제어기(50)로 표시되며, 이는 LVS용 컴퓨터(100)와 시리얼 통신에 의해 연결된다.In addition, the computer 100 is a conventional computer equipped with a calibration program for the calibration of the laser vision system, the control computer for controlling the welding robot is represented by the controller 50 in Figure 1, which is a LVS computer ( 100) and serial communication.

상기와 같이 구성된 본 발명에 따른 로봇을 이용한 레이저 비젼 시스템 교정 장치를 이용하여 레이저 비젼 시스템을 교정하는 방법을 아래에서 상세하게 설명한다. A method of calibrating a laser vision system using a laser vision system calibration apparatus using a robot according to the present invention configured as described above will be described in detail below.

레이저 비젼 시스템(20)으로부터 읽혀진 영상 및 좌표값을 처리하는 전산 과정은 종래와 동일하므로 이에 대한 상세한 설명은 생략한다. Since the computational process for processing the image and coordinate values read from the laser vision system 20 is the same as in the prior art, a detailed description thereof will be omitted.

본 발명의 로봇을 이용한 레이저 비젼 시스템 교정방법은 레이저 비젼 시스템(20)을 로봇의 해당 부분에 실장한다. The laser vision system calibration method using the robot of the present invention mounts the laser vision system 20 on a corresponding part of the robot.

상기 레이저 비젼 시스템(20)이 실장되는 위치는 용접토치의 윗 부분 일측으로 용접시 피 용접물의 용접부위를 잘 비출 수 있는 위치이다. The position where the laser vision system 20 is mounted is a position where the welding part of the welded object can be well projected when welding to one side of the upper part of the welding torch.

설치된 레이저 비젼 시스템의 레이저 다이오드 모듈을 이용하여 가시 영역 내의 기 설정된 공간상의 3 개 이상의 포인트 위치를 포인팅하고, CCD카메라를 이용하여 촬영된 영상에서 상기 포인팅된 위치의 좌표값을 6개 이상 선정한다. A laser diode module of the installed laser vision system is used to point to three or more point positions in a predetermined space in the visible region, and to select six or more coordinate values of the pointed positions in a captured image using a CCD camera.

선정된 영상 상의 6 개의 좌표값들을 3차원 공간상의 원래 좌표로 변환해 줄 수 있는 3×4 사이즈의 교정행렬 값을 구한다.
이때 상기의 레이저 비젼 시스템(20)과 컴퓨터 및 제어기에서는 레이저 비젼 시스템(20)에서 측정한 3차원 포인팅 위치를 컴퓨터(100)에 전송하며, 상기 컴퓨터(100)는 이를 저장하여 내장되어진 프로그램으로 상기 포인팅된 위치에서 6개 이상의 좌표값을 추출하여 3×4 사이즈의 교정행렬 값을 구한뒤 로봇제어기(50)로 전송한다. 그러면 로봇제어기(50)에서 레이저 비젼 시스템(20)을 교정하게 된다.
본 발명의 제어방법을 자세히 설명하면, 레이저 비젼 시스템(20)을 로봇(10)에 실장한 상태에서, 레이저 비젼 시스템(20)의 가시 영역내에서 로봇제어기(50)로 로봇(10)을 이동시키면서 블록 지그(30)상에 레이저를 조사하는 단계와; 상기 레이저 비젼 시스템(20)의 레이저 다이오드 모듈을 이용하여 가시 영역내의 3개 이상의 위치를 빔을 조사하여 포인팅하는 단계와; 상기 레이저 비젼 시스템(20)의 CCD 카메라를 이용하여 촬영된 영상에서 상기 단계에서 포인팅된 위치의 좌표값을 레이저 비젼 시스템(20)에서 추출하여 컴퓨터(100)에 저장하는 단계와; 상기 추출된 영상에서 3개 이상 위치의 실제 좌표값들을 로봇제어기(50)로 부터 추출하여 컴퓨터(100)에 저장하는 단계와; 상기 단계별 측정된 6개 이상의 좌표값들을 이용하여 컴퓨터(100)에서 3차원 공간상의 원래 좌표로 변환해 줄 수 있는 3×4 사이즈의 교정행렬 값을 구하는 단계와; 상기와 같이 상기 레이저 비젼 시스템(20)이 실장된 로봇(10)을 이용하여 일괄처리방식으로 3차원 공간상의 좌표로 교정시키는 단계를 포함하여 이루어진다.We obtain a 3x4 calibration matrix that can convert the six coordinates on the selected image into the original coordinates in three-dimensional space.
At this time, the laser vision system 20, the computer, and the controller transmit the three-dimensional pointing position measured by the laser vision system 20 to the computer 100, and the computer 100 stores the stored program as an embedded program. 6 or more coordinate values are extracted from the pointed position to obtain a calibration matrix value of 3 × 4 size and then transmitted to the robot controller 50. Then, the robot controller 50 calibrates the laser vision system 20.
The control method of the present invention will be described in detail. In the state where the laser vision system 20 is mounted on the robot 10, the robot 10 is moved to the robot controller 50 in the visible region of the laser vision system 20. Irradiating a laser onto the block jig 30 while being made; Irradiating and pointing beams at three or more positions in the visible region using a laser diode module of the laser vision system (20); Extracting a coordinate value of a position pointed in the step from the image captured by the CCD camera of the laser vision system 20 in the laser vision system 20 and storing the coordinate value in the computer 100; Extracting actual coordinate values of three or more positions from the extracted image from the robot controller 50 and storing them in the computer 100; Obtaining a calibration matrix value having a size of 3 × 4 that can be converted into original coordinates in three-dimensional space by the computer 100 by using the six or more coordinate values measured by the step; As described above, the laser vision system 20 includes a step of calibrating coordinates on a three-dimensional space in a batch process using the robot 10 mounted thereon.

공간상의 3차원 포인트의 위치로 옮겨주는 방법은 로봇을 이용하여 일괄 처리(batch processing)함으로써 수동 작업시 낭비되는 시간을 줄일 수 있고, 또한 수동 지그의 정밀도 문제도 해결할 수 있다. The method of moving to the position of the three-dimensional point in space can reduce the time wasted during manual work by batch processing using a robot, and also solves the precision problem of the manual jig.

또한, 공간상의 포인트 개수 역시 필요 정밀도에 따라 시간의 구애를 받지 않고 증가시켜 줄 수 있을 뿐만 아니라, 로봇에 직접 부착 설치된 레이저 비젼 시스템을 통해 교정을 하기 때문에 로봇에 레이저 비젼 시스템을 장착한 후에도 실제와 동일한 용접선 추적이 가능하며 물리적 위치의 차이에 따른 오차를 감소시킬 수 있다. In addition, the number of points in the space can be increased regardless of time depending on the required precision, and since the calibration is performed through a laser vision system attached directly to the robot, the robot can be used even after the laser vision system is mounted on the robot. Identical seam tracking is possible and errors due to differences in physical location can be reduced.

상기와 같이 구성되고 상기와 같은 방법에 의해 교정이 이루어진 레이저 비젼 시스템은 용접 로봇에 직접 장착된 상태에서 실제와 동일한 상황에서 교정이 이루어지므로 용접 로봇에 장착되었을 때 오차의 발생을 줄일 수 있다. The laser vision system configured as described above and calibrated by the above method can reduce the occurrence of an error when mounted on the welding robot because the calibration is performed in the same situation as the actual state in the state directly mounted on the welding robot.

또한, 용접로봇을 이동시켜 포인트를 선정함으로 보다 정밀한 포인트 선정을 할 수 있으며, 이에 따라 보다 정밀한 교정을 이룰 수 있다.
In addition, by selecting the point by moving the welding robot can be more precise point selection, thereby achieving a more precise calibration.

Claims

레이저 비젼 시스템(20)을 로봇(10)에 실장한 상태에서, 레이저 비젼 시스템(20)의 가시 영역내에서 로봇제어기(50)로 로봇(10)을 이동시키면서 블록 지그(30)상에 레이저를 조사하는 단계와;With the laser vision system 20 mounted on the robot 10, the laser is placed on the block jig 30 while moving the robot 10 to the robot controller 50 within the visible region of the laser vision system 20. Investigating;

상기 레이저 비젼 시스템(20)의 레이저 다이오드 모듈을 이용하여 가시 영역내의 3개 이상의 위치를 빔을 조사하여 포인팅하는 단계와;Irradiating and pointing beams at three or more positions in the visible region using a laser diode module of the laser vision system (20);

상기 레이저 비젼 시스템(20)의 CCD 카메라를 이용하여 촬영된 영상에서 상기 단계에서 포인팅된 위치의 좌표값을 레이저 비젼 시스템(20)에서 추출하여 컴퓨터(100)에 저장하는 단계와;Extracting a coordinate value of a position pointed in the step from the image captured by the CCD camera of the laser vision system 20 in the laser vision system 20 and storing the coordinate value in the computer 100;

상기 추출된 영상에서 3개 이상 위치의 실제 좌표값들을 로봇제어기(50)로 부터 추출하여 컴퓨터(100)에 저장하는 단계와;Extracting actual coordinate values of three or more positions from the extracted image from the robot controller 50 and storing them in the computer 100;

상기 단계별 측정된 6개 이상의 좌표값들을 이용하여 컴퓨터(100)에서 3차원 공간상의 원래 좌표로 변환해 줄 수 있는 3×4 사이즈의 교정행렬 값을 구하는 단계와; Obtaining a calibration matrix value having a size of 3 × 4 that can be converted into original coordinates in three-dimensional space by the computer 100 by using the six or more coordinate values measured by the step;

상기와 같이 상기 레이저 비젼 시스템(20)이 실장된 로봇(10)을 이용하여 일괄처리방식으로 3차원 공간상의 좌표로 교정시키는 단계를 포함하는 것을 특징으로 하는 로봇을 이용한 레이저 비젼 시스템 교정방법.The laser vision system calibration method using a robot comprising the step of calibrating the coordinates in the three-dimensional space by a batch processing method using the robot (10) mounted with the laser vision system as described above.

삭제delete